لى فنغ شبكة AI تقنية مراجعة من قبل: OpenAI صدر مؤخرا بيئة تدريبية جديدة CoinRun، ويوفر القدرة على مؤشر ومقياس وكيلها يتعلم من تجربة التعلم واستخدام الوضع الجديد، ولكن أيضا حل وجود طويل الأمد في تعزيز التعلم المشاكل الصعبة - حتى تحسين خوارزمية ونالت استحسانا كبيرا في عملية التدريب لا يشرف دائما تعلم استخدام التكنولوجيا، مثل هذا التسرب والتطبيع دفعة. ولكن آلية تعميم CoinRun في، وقد وجد الباحثون OpenAI أن هذه الأساليب مفيدة في الواقع، وأنها وضعت في وقت سابق تعزيز التعلم لدى MDP محدد الإفراط المناسب. جعل CoinRun من حيث التعقيد توازن مرض: البيئة، مثل "سونيك القنفذ" هو أبسط بكثير من لعبة منصة التقليدية، لكنه لا يزال هو تعميم من خوارزميات القائمة من التحديات الصعبة. ووصف لى فنغ شبكة AI تقنية مراجعة أدناه.
التحدي التعميم
وقد تم تعميم مهمة صعبة بين عمق الحالي لتعزيز التعلم (RL) الخوارزمية. وعلى الرغم من أن وكيل يمكن تدريبهم على حل المهام المعقدة، لكنها ستنقل تجربة تعلمت الصعبة مع البيئة الجديدة. حتى لو كان الناس يعرفون تعزيز كيل تعلم تميل إلى الإفراط في تركيب - وهذا هو، وليس المهارات العامة التعلم، وأكثر اعتمادا على تفاصيل بيئتهم - تعزيز التعلم وكيل دائما لقياس تدريبهم من خلال تقييم البيئة . هذا هو مثل، واختبار نفس مجموعة التدريب الخاص بك في التعلم تحت إشراف!
تعزيز استخدمت الدراسة والبحث في المعايير السابقة لعبة سونيك، البرنامج لدت شبكة متاهة العالم، وكذلك ألعاب الفيديو إطار منظمة العفو الدولية للتصميم العالمي هو حل هذه المشكلة. في جميع الحالات، والتعميم هو قياس من خلال التدريب وكيل الاختبار على مجموعة مختلفة من المستويات. في اختبارات OpenAI وتدريبهم في أداء صوتي معايير اللعبة وكيل المتميز على مستوى التدريب، ولكن إذا كنت لا تذهب من خلال تعديل غرامة (صقل)، فإنه لا يزال سوء الأداء على اختبار المستوى. في تركيب أكثر من عرض مماثل، تعلم برنامج لدت متاهة تدريب وكيل لتذكر الكثير من مستويات التدريب، وضعف الأداء في ظل صعوبة وكيل GVG-AI لم أر خلال إعدادات التدريب.
قواعد اللعبة
CoinRun لخوارزميات القائمة مصممة مشهد يريدون معالجتها، مثل أن يقلد أسلوب لعبة سونيك منصة. يتم إنشاء نقطة تفتيش CoinRun من قبل البرنامج، بحيث عامل يمكن الوصول إلى كبيرة وسهلة لقياس بيانات التدريب. كل هدف مستوى CoinRun بسيط: القفز فوق عدة ثابتة أو عقبات غير ثابتة، وعملة جمع في نهاية المرحلة. إذا عقبة الاصطدام، وكيل وسوف يموت على الفور. يتم الحصول على بيئة مكافأة الوحيد عن طريق جمع القطع النقدية، وهذه الجائزة هو ثابت ثابت. عندما وكيل الموت، وجمع القطع النقدية أو بعد 1000 خطوات الوقت، ومستوى الإنهاء.
تقييم تعميم
OpenAI تدريب للعب تسعة وكيل CoinRun، كل عامل لديه عدد مختلف من مستويات التدريب المتاحة. حيث بلغ عدد مستويات التدريب تتراوح بين 8 وكيل، وعدد من وكيل آخر نقطة تفتيش لا يقتصر 100-16000، لذلك لن نذهب من خلال مستوى التدريب نفسه. OpenAI باستخدام مشترك من ثلاث طبقات هندسة الشبكات الإلتواء (يسمونه الطبيعة-CNN) والسياسات على تدريب وكيل في. التي يستخدمونها الأمثل استراتيجية قرب نهاية (PPO) من وكيل وكان التدريب، وأكمل ما مجموعه 256M من الخطوات الوقت. منذ متوسط مدة كل جولة من تدريب 100 الخطوات الوقت، مع مجموعة ثابتة من تدريب كل وكيل سترى نفس المستوى من تدريب آلاف بل ملايين المرات. وأن وكيل غير المقيد الماضي، من خلال مجموعة من التدريب غير المقيد، وسوف نرى نحو مليوني مستويات مختلفة، مع كل واحد.
تم جمع البيانات OpenAI وتآمر في FIG التالية، تمثل كل نقطة متوسط الأداء من وكيل في 10،000 التدريب. استخدام عامل الوقت لاختبار مستوى لم يسبق له مثيل من قبل. ووجد الباحثون أنه عندما يخفض عدد النقاط التدريب من 4000، سيكون هناك الشديد إزاء لتركيب. في الواقع، حتى مع وجود تدريب 16000 نقطة، سوف يكون هناك لا يزال أكثر من المناسب! وكما كان متوقعا، وافق على أداء وكيل لا يقتصر على مستوى تدريب أفضل، لأنه لا يمكن الوصول إلى البيانات احتياطيا. وكيل يمثله خط كسر في FIG.
وسوف تستخدم شبكة IMPALA الأساس التفاف الطبيعة-CNN تمت مقارنة وجدت يجب أن يكون لها تأثير تعميم وكيل IMPALA- سي إن إن في أي مجموعة التدريب أفضل بكثير، كما هو مبين أدناه.
تحسين أداء التعميم
في التجربة القادمة، وتستخدم OpenAI 500 مستوى CoinRun من مجموعة التدريب الثابتة. OpenAI كيل القياسي في عدد نقاط التفتيش تعميم القليل جدا، مما يجعل من مجموعة التدريب قاعدة مثالية. انهم تشجيع الآخرين على تقييم أساليب خاصة بهم، مقارنة مباشرة من اختبارات الأداء التي أجرتها التدريب على نفس 500 نقطة. مع هذه المجموعة التدريب، درسوا آثار عدة تقنيات التنظيم:
التسرب (عندما شبكة التغذية إلى الأمام العصبية المعقدة تدريبهم على مجموعات البيانات الصغيرة يؤدي بسهولة إلى الإفراط في تركيب. النظام في منع هذا من الحدوث، يمكنك في وقت مختلف عن كشف ميزة مختلفة لا يشاركون في ممارسات التدريب لتحسين أداء الشبكات العصبية) وL2 دفعة تسوية (وهذا هو، وعمق العملية التدريبية الشبكة العصبية، بحيث يكون لكل طبقة من مدخلات الشبكة العصبية تبقى نفس دفعة من توزيع موحدة): كل من جلب تعميم أفضل الأداء، وتأثير أكبر L2 تسوية
تعزيز البيانات دفعة والتوحيد: تعزيز البيانات دفعة وتوحيد تحسن بشكل كبير من التعميم.
العشوائية البيئة: بالمقارنة مع أي من التقنيات المذكورة أعلاه، عشوائية تدريب لتحسين التعميم (انظر ورقة https://arxiv.org/abs/1812.02341) إلى حد أكبر.
إضافية البيئية
كما وضعت OpenAI اثنين من بيئة أخرى لدراسة مدى المناسب: أ-CoinRun منصة CoinRun المتغيرات وبيئة متاهة الملاحة بسيطة تسمى RandomMazes اسمه. في هذه التجارب، استخدموا الأصلية العمارة IMPALA-CNN وLSTM، لأنها تحتاج إلى التأكد من ذاكرة كافية لتشغيل جيدا في هذه البيئات.
في CoinRun-المنصات، وكيل تحاول جمع بعض النقود في الخطوات الساعة 1000. وفرقت النقود بشكل عشوائي إلى نقطة على منصات مختلفة. في CoinRun-المنصات، والمزيد من النقاط، وأكثر ثابتة، وبالتالي فإن وكيل يجب استكشاف بنشاط أكبر، ولكن أيضا في بعض الأحيان الخطوات إلى الوراء.
عند تشغيل أنها اختبار CoinRun-المنصات وRandomMazes عامل في التجارب خط الأساس، وكيل وخطيرة للغاية على مدى المناسب في جميع الحالات. في RandomMazes، لاحظوا أنه حتى مع 20،000 مستويات التدريب قوية بشكل خاص في تركيب أكثر هو أنه لا تزال هناك فجوة كبيرة بين وكيل نقاط التفتيش التعميم غير محدودة.
الخطوة التالية
النتائج OpenAI كشفت مرة أخرى مشكلة إمكانية تعزيز التعلم. تم إنشاؤها باستخدام برنامج البيئة CoinRun يمكن كميا بدقة من خلال هذا المناسب. مع هذا الإجراء، يمكن للباحثين تقييم أفضل الحرجة العمارة صنع القرار والخوارزميات. ويعتقد أن الدروس المستفادة من هذه البيئة سيتم تطبيقها على بيئة أكثر تعقيدا، وأنها تريد استخدام هذا المعيار، ومعايير أخرى مماثلة، متكررة إلى الأمام إلى وكيل لتعميم العالمي.
للبحث المستقبل، توصيات OpenAI هي كما يلي:
العلاقة بين تعقيد البيئة البحثية وعدد من النقاط اللازمة لتعميم جيد
التحقيق في ما إذا كانت العمارة دورة مختلفة هو أكثر ملاءمة التعميم في هذه البيئات
استكشاف سبل الجمع بين فعالية أساليب مختلفة من تنظيم
إذا كنت مهتما في هذه السلسلة من الدراسات، OpenAI نرحب بكم للانضمام لهم!
ويمكن الاطلاع على التفاصيل في ورقة https://arxiv.org/abs/1812.02341
عبر blog.openai.com، شبكة لى فنغ جمعت AI تقنية مراجعة
