الأنفس جي تجميع جديد

وضعت بايدو AI يحتاج إلى القيام به هو العثور على شيء في متاهة ثنائية الأبعاد، ولكن معظم الدراسات السابقة تسمح لنفسك لاستكشاف مختلف AI البيئة الجديدة، استخدم الباحثون بايدو "مدرب" الخوارزمية التي أوامر لغة الاستخدامات لمنظمة العفو الدولية إلى أماكن مختلفة لفعل الأشياء.

هنا، AI لإكمال المهمة، بالإضافة إلى الإشارات البصرية من عملية التنقل، وأيضا بحاجة إلى أن نتعلم لفهم إشارات لغة وهذه لغة الإشارات والمعلومات البصرية بالتعاون مع. هذا المزيج من تحليل الصور، معالجة اللغات الطبيعية والقدرة على التصرف في العالم الحقيقي، هو استخدام البشري القيادة لغة الروبوت لإكمال المهمة التي لا غنى عنها. وبالتالي، فإن هذه الدراسة للتطبيقات الروبوتية لديها امكانات كبيرة.

الكتاب، بايدو التعلم العميق أكاديمية الكرام عالم شو وي في مقابلة مع مقابلة وسائل الإعلام الأجنبية التي يأملون لتعليم الروبوت طريقة صاحب العمل للقيام بهذه الأمور، التي هي أكثر ملاءمة للمستخدمين البشري، و "اللغة هي جزء مهم جدا من تبادل المعرفة ".

بايدو AI على وجه التحديد كيف يمكن لهذا العمل؟ في متاهة من 7 7، الحاجة AI العثور على الفاكهة، وجدت بعد مكافأة، تصل إلى جدار أو في الاتجاه الخاطئ سوف يعاقب. أطروحة خوارزمية AI تتكون من أربعة أجزاء: وحدة اللغة لفهم الأمر وتوليد جوابا، وحدة نمطية تقديرا لكلمات محددة (مثل التفاح)؛ نموذج البصرية إلى "رؤية" المتاهة، وهناك نموذج قرار لاتخاذ القرارات.

وذكرت أن خوارزمية "مدرب" تعليمات ستصدر فوق (اللغة الإنجليزية)، مثل "الانتقال إلى الجانب الشرقي من أبل"، بعد تجربة الملايين من التكرارات، وAI تكون قادرة على تعلم ما هو "الشرق" وما هو "أبل" وكيفية ربط هذين المفهومين.

ليس ذلك فحسب، ووجد الباحثون أيضا أن تجربة منظمة العفو الدولية من خلال دراسة مكثفة، بعد تلقي عدم التعرض السابق للغة الأوامر، ولكن أيضا لتنفيذ المهمة بشكل صحيح.

على الرغم من أن أطروحة AI أيضا قادرة على إكمال المهمة بسيطة جدا، الخوارزمية لا يمكن أن تولد استجابة الجملة كاملة، لكنه قال شو كانت الدراسة "دليل على مفهوم" (إثبات المفهوم)، الخوارزمية يمكن استخدامها لاستكشاف في نفس الوقت اللغة وتعلم كيفية التنقل في المتاهة.

وقال الباحثون في ورقتهم، ويخطط سيتم تمديد التجربة المقبلة لبيئات ثلاثية الأبعاد.

ومن الجدير بالذكر، فإن هذا النظام إلى استخدام إطار بايدو PaddlePaddle كتابة.

هذه التجربة والبحث أهداف شو وى هو صدى. 2 مارس، تكنولوجيا التعلم عميقة وتطبيق الندوة الوطنية مختبر الهندسة الذي عقد في بكين (وقال روبن لي بايدو تفعل فريق الكرة الطائرة النسائية باعتبارها الذكاء الاصطناعي)، شو وى في مكان الحادث قال: "الآن لدينا آلات والناس لا تزال لديها جدا فجوة كبيرة، ينبغي لنا أن نتعلم من بداية المشهد بسيط جدا، والسماح للآلة كما الأطفال من خلال التفاعل في بيئة لتعلم بعض القدرات الأساسية تصور مثل هذه، والعمل، واللغة ".

وفي اليوم نفسه، ألقى شو وى خطابا حول AI العام، والحديث عن كيفية إنشاء برنامج مشترك للأبحاث الذكاء الاصطناعي. وقال شو وى في خطاب له: "أنا هنا لأشاطركم لدينا الأمل في المستقبل للتنمية الذكاء الاصطناعي ونحن نقوم ببعض الأعمال أريد ولا سيما التأكيد عليه هو أن ننظر الآن في التطور التقني للذكاء الاصطناعي العام. ".

أدناه، ونحن نلقي نظرة على هذه الدراسة تحديدا.

البيئات الافتراضية عمق جنبا إلى جنب إطار مماثل لاكتساب اللغة البشرية (A إطار ديب التركيبية للالإنسان مثل اكتساب اللغة في بيئة افتراضية)

ملخص

نحن جعل مهمة وكيل الملاحة الدراسة كما هو معروف بيئة متاهة 2D في XWORLD. في كل جولة، وكيل الحصول على تسلسل الأصلي إطار بكسل، أمر صدر من قبل المدرب (المعلم)، ومجموعة من الحوافز. وكيل مدرس لغة للتعلم من الصفر، وبعد التدريب من أجل أن تكون قادرة على تنفيذ بشكل صحيح الأوامر الصفر شوت: 1) عبارات الأوامر التي تظهر في بيان لم يظهر من قبل؛ و / أو 2) أمر من بيان آخر يحتوي على مهمة لتعلم مفهوم جديد للكائن (المفاهيم وجوه جديدة)، ولكن هذه المفاهيم تكن أبدا في الملاحة (الملاحة) مدرسة المهمة.

نحن نقوم بتدريب الأطر عميقة وكيل هو نهاية لهذه الغاية: أنه في الوقت الذي تعلم التمثيل البصري للبيئة، وتركيب اللغة ومعاني الكلمات، وحدة عمل مقابل عمل الانتاج (وحدة العمل). تعلم قدرة الإطار من مزيج من (compositionality) وحدات (ونمطية) وجود معلمة القيد (المعلمة ربط) صفر-النار. أجرينا الانتاج المرئي من الإطار الأوسط، مما يثبت وكيل يفهمون حقا كيفية حل المشكلة. ونحن نعتقد أن نتائجنا توفر الإلهام الأولي للتدريب وكيل لديها قدرات مماثلة في بيئة 3D.

مقدمة

تطوير نظام اللغة المعقدة هو المفتاح لتحقيق مستوى الإنسان المخابرات الآلة. دلالات اللغة يأتي من إدراك الخبرة، ونحن يمكن ترميز المعرفة حول النظرة إلى العالم. هذه المعرفة يمكن أن تتحرك من مهمة واحدة إلى أخرى، نظرا لقدرة التعميم آلة (القدرة التعميم). وتشير بعض الدراسات إلى أن الجهاز يجب أن تخضع التجربة المادية، لمعرفة المستوى الإنساني من دلالات، وهذا هو، يجب أن تذهب من خلال الإنسان مثل لغة عملية الاستحواذ. ومع ذلك، لم تكن التكنولوجيا تعلم الآلة الحالية قادرة على تحقيق هذه الطريقة بكفاءة عالية. لذلك، اخترنا أن نموذج هذه المشكلة في بيئة افتراضية، والتدريب البدني كخطوة أولى في آلات ذكية.

عندما تعلم مفاهيم ومهارات جديدة من خلال توجيه اللغة الطبيعية، والبشر هم بشكل جيد للغاية قادرة على إعطاء أولوية قصوى لتعزيز التعميم. كنا قادرين على تطبيق المهارات الموجودة لتعلم مفاهيم جديدة، وبدون عناء. على سبيل المثال، عندما يكون الشخص تعلم كيفية تنفيذ "مع X سكين"، X يساوي أبل هذا الأمر، عندما X هو أي شخص معرفة شيء ما، مثل الكمثرى أو البرتقال، أو حتى غيرها X انه لم يكن ابدا طلب قبل عندما يكون هناك شيء، وانه يمكن تنفيذ هذا الأمر بشكل صحيح.

الشكل 1: يوضح بيئة XWORLD صفر النار والمهام الملاحة. ويشمل (A) اختبار قيادة مجموعة من الكلمات يلتق قط، ويشمل الأوامر (ب) اختبار والمفاهيم وجوه جديدة في الجولة السابقة (أ) مهمة التعرف على الأشياء مدرسة.

وتصف هذه الورقة الإطار الذي يدل على القدرة على التعلم وكيل الصفر بالرصاص في مهمة معينة، وهذا هو، وتعلم الملاحة (الشكل 1) في متاهات مثل البيئة ودعا XWORLD في. نحن نحاول حل مشاكل مماثلة في تعلم المشي والتنقل واجهتها عندما الهذيان الطفل. الآباء قد يعطي بعض بسيطة الأوامر المفيد، والذي يتضمن في البداية سوى اثنين أو ثلاث كلمات، ثم مع مرور الوقت أصبحت الأوامر التي تزداد تعقيدا. وفي الوقت نفسه، فإن الآباء تعليم الأطفال اللغة في بعض المهام الأخرى، مثل مهمة التعرف على الأشياء. بعد الطفل على فهم وإتقان مهارات الملاحة اللغة، وكان قادرا على تحديد على الفور وجوه مفاهيم يتم تعلمها لمهمة استكشاف جديدة، حتى لو لم تظهر هذه المفاهيم في الأوامر الملاحة الأصل.

ندرب أطفالنا تعلم نوبة كيل المستخدمة في XWORLD متعددة. في كل جولة، وكيل الحصول على سلسلة من صورة بكسل الأصلية على إدراك البيئة، وهو شكل من أوامر لغة الطبيعية الصادرة من قبل المعلم، ومجموعة من الحوافز. عندما يتم تشغيل ظروف معينة، وكيل أيضا تتلقى أحيانا أسئلة حول الكائن من المعلمين التي تم تحديدها. بيئات التعلم من خلال استكشاف البيئة، وكيل في حين أن التمثيل البصري، وتركيب اللغة ومعاني الكلمات، وكيفية التنقل في بيئتهم. وكيل إطار كامل من اقصاه الى اقصاه من الصفر باستخدام التدريب التدرج النسب. اختبرنا في ثلاث قيادات مختلفة أداء وكيل حالة، الأمر الذي يتطلب الأمرين وكيل يمكن تعميمها والمفردات لشرح لم يسبق له مثيل من قبل، وهيكل الإطار هو وحدات، بحيث حدات أخرى (مثل وحدة الإدراك البصري وحدة العمل) لا تزال تعمل في هذه الحالة. تظهر تجاربنا أن وكيل في كل الظروف تتصرف تقريبا أفضل (متوسط نسبة النجاح حوالي 90). وبالإضافة إلى ذلك، فإن نتائج الإطار الأساس العديد من المفاصل جزءا لا يتجزأ من الصور وتعلم اللغة بسيطة فقيرة.

نظرة عامة، ومساهمتنا الرئيسية للدراسة هي:

• لغة بصرية وتتكامل مع المهام الملاحة الجديدة، وذلك باستخدام التعلم عمق التعزيز (RL). وبالإضافة إلى ذلك، لم تكن لغة (قبل تحليل) أو تتصل بالبيئة، تحليل قبل. بدلا من ذلك، يجب على وكيل التعلم من الصفر كل محتوى واللغة والمكان على أساس الرؤية.

• احصل على التعلم الصفر شوت من خلال استخدام مزيج من اللغة والعمارة نموذج (compositionality). ونحن نعتقد أن هذه القدرة هي عنصر أساسي من المخابرات على مستوى الإنسان.

البيئة XWORLD

أولا، دعونا شرح لفترة وجيزة البيئة XWORLD. لمزيد من التفاصيل انظر ورقة الملحق 8.3. XWORLD هو شبكة 2D (الشبكة) في العالم (الشكل 1). وكيل في عدد وافر من الوقت الخطوات T التفاعل مع البيئة، والتي لديها أربع عمليات: العلوي، وانخفاض، اليسار، واليمين. هناك العديد من جولات عملية التدريب. عندما بداية كل جولة، المدرب (المعلم) لبدء الموقت ويصدر أوامر لغة الطبيعية، الأمر الذي يتطلب وكيل للوصول إلى موضع كائن محدد في البيئة. حيث قد تكون هناك أشياء أخرى تظهر كما interferents. ولذلك، فإن الحاجة كيل للتمييز بين الأشياء المختلفة، وانتقل إلى الموقع الصحيح. وكيل الاستشعار عن بعد في البيئة (الشكل 2C) وجود بكسل RGB من وجهة نظر أناني. إذا كان العامل في الوقت الصحيح قبل نهاية تنفيذ الأمر، فإنه سيعطي حافزا R إيجابي +؛ موقع كلما كان يصادف جدار ليس هو الكائن الهدف أو الوصول إليها، على التوالي، وسوف تكون سلبية أو الإثارة R- ث R- س ، وإذا كان وكيل في مسدود، سوف تحصل على مكافأة R السلبي - ر. في نهاية كل جولة، والبيئة، وكيل وسوف تكون إعادة تعيين.

وفيما يلي بعض الأمثلة على الأوامر (بين قوسين تشمل البيئي المدورة من تكوين عامل، وهو نفس أدناه):

• انتقل إلى شركة أبل. (هناك تفاحة، موزة، برتقالة والعنب).

• يمكنك الانتقال إلى الشبكة بين التفاح والموز لا؟ (هناك تفاحة والموز، مفصولة بمسافة هناك بين التفاح والموز).

وتكمن الصعوبة في أن مهمة الملاحة، بداية، وكيل يجهل اللغة: كل كلمة ويبدو أن لا معنى له. بعد التجربة والخطأ، يجب على وكيل فهم بناء الجملة ودلالات اللغة، من أجل تنفيذ الأمر بشكل صحيح.

نضيف مهمة التعرف على وجوه إضافية للمساعدة وكيل لتعلم اللغة. في حين استكشاف البيئة، وعندما يتم تشغيل ظروف معينة، فإن المعلم يسأل بعض الأسئلة حول الكائن، والجواب هو كلمة واحدة، والجواب المقدم من قبل المعلم. وفيما يلي بعض الأمثلة على QA:

• س: ما هي الأشياء شمال هي؟ A: الموز. (وكيل الموز في الجنوب، والتفاح شمال والخيار غرب).

• Q: أين الموز؟ A: الشمالية. (وكيل في الموز جنوب والتفاح إلى الشرق.)

• س: ما هو لون الكائنات أبل الغرب هو؟ A: الأصفر (الجانب الغربي أبل لديها الموز والخيار شرق).

ونحن نأمل ان يكون هذا الوكيل مع مساعدة من مهام المساعدة، لتعلم اللغة بسرعة أكبر.

صفر شوت إطار مزيج الملاحة

يتكون الإطار من أربعة وحدات رئيسية هي: وحدة اللغة، وحدة الهوية، الإدراك البصري وحدة وحدة العمل. إطار تصميم أساسا بسبب الحاجة إلى التنقل إلى تأثير كائن جديد (FIG. IB)، لا تظهر هذه الكائنات الجديدة في مفهوم بيان القيادة (يظهر وحدة الهوية فقط في العرض كما جوابا، وليس في لغة الشكل 2A وحدة).

هذا الإطار ثلاثة سمات أساسية:

• يجب أن تكون وحدات لغة مزيج من (التركيبية). وحدة معالجة تتطلب حكما، فيما حافظت (كبير) بناء الجملة. ومن الأمثلة على ذلك الناتج من شجرة في التحليل (شجرة في التحليل) محلل (محلل).

• التحيز الاستقرائي (التحيز الاستقرائي) يجب أن يتعلم من الجملة الحالية. إذا كنت تعرف وحدة اللغة نفدت الكلمات لملء هيكل جديد لوضع المعروفة في كلمة، وكيفية تحليل الجملة.

• يجب تخفيض لغة الأرض (لغة التأريض) (الشكل 2A)، وحددت (الشكل 2B) إلى (تقريبا) نفس المشكلة. هذا يضمن أن اللغة يرتكز ن 1 كلمة لا تزال تعمل مدربة تدريبا جيدا على المهمة الاعتراف ن الكلمة من التدريب.

الشكل 2: يسار: إطار مثالي. صورة البيئية المدخلات والجملة (أمر الملاحة أو مشكلة). المخرجات هي الحل لمشكلة التنقل أو العمل. (A) في خطوط حمراء وزرقاء تمثل عملية مماثلة المهام المختلفة. الحق: وحدة اللغة. كلمة المدخلات هي تسلسل التضمين. الإخراج هو الخطوة الأخيرة من اهتمام على الخريطة.

تجربة

كنا Adagrad، دعونا أصل التدرج العشوائية (SGD) معدل 05/10 التعلم. في كل التجارب، تم تعيين حجم نحن دفعة في 16، وتدريب 200K دفعات. سيتم تحديث كل في J = 2K دفعات - المعلمة الهدف . جميع المعلمات لديها الوزن الافتراضي من الركود، وهو ما يعادل حجم حمام 10-4x. لكل طبقة من الشبكة العصبية، وهو من المعلمة الافتراضية هي 0، واشتقاق القياسية 1 / N، حيث N هو عدد المعلمات في كل طبقة. ما مجموعه استكشاف 500K وكيل نسبة التخفيض خطوة البحث (معدل الاستكشاف) هو الخطي، 1-0. تم تصحيح عدد من برمجة الخطوات S 3. كنا أربعة التهيئة عشوائية لتدريب كل نموذج. يستخدم إطار كامل PaddlePaddle 4 لوضع حد للنشر والتدريب. وسوف نتناول المزيد من التفاصيل عن نشر في الملحق 8.1.

الشكل (3): التدريب الشخصي الإثارة. حافز يظهر هو الخصم التراكمي لكل جولة من الحوافز، ومتوسط نصيب 8K الأمثلة التدريبية تأتي. ويمثل كل منحنى منطقة مظللة بين الفرق من التهيئة عشوائية 4. (A) لدينا إطار منحنيات الإثارة في ظل ظروف مختلفة من الأمر. (B) في ظل ظروف قيادة خط منحنى أربعة القياسية.

صفر شوت الملاحة

مشكلتنا الرئيسية هي "عينة صفر" (صفر شوت) ما إذا عامل القدرة الملاحة أبدا التقى قبل تنفيذ الأمر. لقد قمنا بتصميم أربعة شروط التدريب أمر وكيل:

• المعيار (معيار) . مجموعة الأوامر واختبار مجموعة التدريب من الأوامر لها نفس التوزيع.

• NC . التركيز في قيادة التدريب لحذف مجموعة معينة من الكلمات، على الرغم من أن مجموعة الأوامر التدريب لا يزال يحتوي على كل الكلمات. على وجه التحديد، ونحن نعتبر ثلاثة أنواع من مزيج من الكلمات: (وجوه، الموقع)، (كائن أو اللون) و (وجوه، وجوه). نحن قائمة جميع أنواع مجموعات في الولايات المتحدة، وعشوائية في الأوامر الملاحة المعلم لإزالة 10 من المحفظة.

• NWNav وNWNavRec . يتم استبعاد بعض وجوه الكلمات (كلمات الكائن) من تصفح التدريب، ولكن هناك تدريب فقط مهمة الاعتراف، والمفهوم الجديد. NWNavRec ضمان أن لا تظهر كلمة جديدة في السؤال، لكن الجواب يمكن أن يحدث فقط في، NWNav لا تظهر في إجابتك. استثنينا عشوائيا 10 من كلمة الكائنات.

في إطار بيئة التدريب لدينا لا يمكن أن يكون نفس المعلمات فائقة. في تجاربنا، نحن الاحتفاظ (المحتفظ بها) شاملة الظهر البدنية / كلمة إلى الأوامر (على سبيل المثال، الظروف القياسية)، واختبار 10K الدورة لمدة أربعة الملاحة مهمة الثانوي: nav_obj، nav_col_obj، nav_nr_obj، وnav_bw_obj (الملحق 8.3).

10. أمثلة على خرائط لمختلف الاهتمام جلسة الرسم. الأعلى: أوامر الملاحة. الأوسط: صورة البيئية لحظة. القاع: خريطة الاهتمام المقابلة، خرج اللغة من خلال وحدة. وتجدر الإشارة إلى أن والخرائط الاهتمام هي أناني، مركز الخريطة لتحديد مكان الوكيل.

أمثلة الرقم 11. اثنين تصف عملية البرمجة اللغوية. مع الأخذ بعين الاعتبار الصورة الحالية من البيئة المحيطة والأوامر الملاحة وتوليد إجراء ثلاث خطوات بالخريطة الاهتمام.

في كل خطوة، وسوف يركز البرنامج على أجزاء مختلفة من الجملة. هو تصور الاهتمام من قبل خطوط كلمة اللون، حيث تمثل الأجزاء الساطعة المزيد من الاهتمام. على اليسار، كل خريطة الاهتمام المقابلة وخطوط ملونة تمثل البيئة الحالية، و(الحق في FIG 2) المخزنة مسبقا. يتم استخدام خريطة اهتمام والإخراج النهائي للبرنامج.

الشكل 12: أمثلة على تجاوز جدران طويلة. في كل قناة، سوى ثلاث خطوات رئيسية للحصول على العرض.

حسبنا معدل النجاح، وهو ما يعني أن النجاح هو استهداف وكيل ليصل في غضون الوقت المحدد لكل دورة. ويبين الشكل 3A منحنى استجابة من التدريب، ونسبة نجاح الجدول 1A يحتوي. بين منحنى هي قريبة جدا من بعضها البعض، وهو ما يتسق والترقب، لأن تعليمات (أوامر) تخفيض بنسبة 10 تقريبا لن يغير من صعوبة التعلم. في جميع الظروف وحققنا تقريبا نفس نسبة النجاح، والحصول على نسبة نجاح عالية من الصفر شوت. وأظهرت النتائج NWNavRec أنه على الرغم من بعض من مفهوم كائن جديد هو التعلم من مشاكل مختلفة تماما، لكنها لا يمكن أن يتطلب أي الميل إلى إطار نموذج التدريب والتكيف المعلمة، واختبار في الملاحة هذا الصدد.

الجدول 1: نسبة النجاح ()، (أ) إطارنا وSimpleAttention (SA) معدل التحلل من أربع مهام فرعية في ظل ظروف مختلفة قيادة التدريب (عمود). الخطوط الأربعة الأخيرة من العرض التي تحتوي على جلسة اختبار، وشملت التدريب حتى لا نرى. أوامر (B) معيار نسبة النجاح الشامل لجميع الطرق وفقا للشروط.

استنتاج

إطار لدينا هو تنفيذ ممكن واحد فقط. بعض مكونات الإطار لا يزال هناك مجال للتحسين. مطالبة لدينا ليست وكيلا يجب أن تظهر مثل ورقة وجود النماذج العقلية (نموذج العقلي)، ولكن يجب أن يكون عدة سمات المفتاح في الباب 1 والباب 4 مناقشتها. في الوقت الحاضر، هو استكشاف وكيل فقط في بيئة 2D. في المستقبل، ونحن نخطط لوضع وكيل مثل بيئات 3D كما هو الحال في مالمو. هذا وسوف يقدم بعض التحديات الجديدة، مثل الإدراك البصري والتحول الهندسي سيكون أكثر صعوبة للنموذج. نأمل أن الإطار الحالي يقدم بعض التفكير الأولي على كيفية 3D البيئة وكيل تدريب مماثل.

27 مارس، عقد تشي يوان جديدة مفتوحة المصدر البيئية القمة وفاز جي AI التكنولوجيا حفل 2017 جوائز مسابقة أفضل خطة عمل جديدة، بما في ذلك "BAT" التيار منظمة العفو الدولية، بما في ذلك الشركات الصينية، تجمع أكثر من 600 النخبة الصناعة معا من أجل الصين 2017 تنمية الذكاء الاصطناعي رسمت أثرا لا يمحى.