الكاتب | بيير إيمانويل Mazare، الخ

المترجم | هاو يي

تحرير | ديبرا

جبهة مصدر شو AI

AI استعراض الأمامي: Chatbot هو نوع شعبية جدا من أنظمة الذكاء الاصطناعي. معظم التقارب الحالي للبوت ليست جيدة جدا، والمدربين، خصوصا في ظل غياب النشطة سياسة إعادة ضبط النظام إلى النهاية. بعض العروض الأبحاث أنه في نهاية نموذج تدريب عملية الحوار في النموذج لإضافة بعض خلفية قصة شخصية "تجسيد" من سد الحوار يمكن أن تحسن بشكل فعال النموذج. ومع ذلك، هذه قاعدة بيانات مخصصة من قبل الاصطناعية وتحتوي فقط 1K شخصية متميزة من الشخصيات. ونتيجة لهذا الضعف، صدر الفيسبوك قاعدة بيانات الحوار الجديدة، التي تحتوي على أكثر من خمسة ملايين شخصيات مختلفة من الشخصيات وسبعة ملايين يقوم على الحوار بين الأحرف. جعل الترجمة وجيزة مقدمة إلى قاعدة البيانات، وتناقش تأثيرها على تطوير نظام الحوار شخصية.

خلفية

نظام الحوار نهاية القائمة على الشبكة العصبية، في كثير من الحالات، ونحن قد حققت نتائج باهرة، مثل استخدام اتجاهين LSTM أو تدريب نموذج الشبكة الذاكرة مباشرة على قاعدة بيانات الحوار. واحد الميزة الرئيسية لهذا النهج هو الحق، استنادا إلى عدد كبير من مصادر البيانات، والنموذج دون الحاجة إلى خبرات إضافية، ويغطي تعلم مختلف المجالات الحوار. ومع ذلك، في سياق حوار قصير، سوف حوار سد هذا النموذج تكون أوجه قصور مهمة. ويرجع ذلك إلى عدم وجود اتساق الصفات الشخصية، وعدم استخدام استراتيجية ضبط النشطة.

لحل هذه المشكلة، الفيسبوك AI البحوث استخدم الباحثون قاعدة بيانات يتم تدريب دعا PERSONA-CHAT، ورقة (https://arxiv.org/abs/1801.07243) نشرت في NIPS2018. حيث تحتوي قاعدة بيانات شخص CHAT أكثر من 160،000 الحوار، والحوار مع قاعدة البيانات التقليدية المختلفة، وتغيير قاعدة البيانات إعطاء كل شخصية مثيل الكائن، والتي سوف تساعد على تحسين اتساق النموذج في عملية الحوار. وكتب العلماء، من شأنه أن يحد حدا لنظام غاية في شخصية معينة بيئة معينة، يمكن أن تحسن بشكل فعال اتساق الحوار دردشة الروبوت. وقد أصبح هذا التدريب الروبوت دردشة خطوة الحجر إلى نهاية شخصية. ومع ذلك، قاعدة بيانات PERSONA-CHAT هي مجموعة البيانات يدويا، والتي تم إنشاؤها بواسطة نظام يقوم على الترك الميكانيكية. ولذلك، إذا كانت محادثة أو عدد الأحرف لا يمكن أن تغطي المستخدم الحقيقي - مشهد الروبوتية التفاعلية، مجموعة البيانات يحتوي فقط على أكثر من 1000 اشخاصا مختلفة.

عن أوجه القصور في PERSONA-CHAT، أنشأ الباحثون Fackbook قاعدة بيانات واسعة النطاق تقوم على الحوار الحرف. بعد بسيطة قبل العلاج، استخدم الباحثون الحوار (كبير الاجتماعي موقع الأخبار) تم جمعها من رديت لفرز، وحصلت على أكثر من 5 ملايين أنواع شخصية أكثر من 700 مليون المحادثات. الباحثون تدريب على مجموعة البيانات هذه، مقارنة مع نفس نموذج هيكل على التدريب PERSONA-CHAT، وتحقيق نتائج أفضل. وبالإضافة إلى ذلك، قام نموذج في قاعدة البيانات بعد PERSONA-CHAT ما قبل التدريب أيضا في جعل النتائج الحالية الرائدة في قاعدة البيانات.

إنشاء نطاق قاعدة الحوار مليون شخصية

هدفنا هو أن نتعلم في مجموعة متنوعة من الشخصيات على أساس طبيعة الرد واحد. من وجهة النظر هذه، ونحن نستخدم البيانات من رديت لإقامة شكل من قاعدة البيانات:

• دور:
• السياق: "أحب الركض."
• الرد: "أنا أيضا ولكن فقط في عطلة نهاية الأسبوع!".

"دور" هو عبارة عن سلسلة من الأحرف يمكن تمثيل دردشة بيان الروبوتات الميزة، يشير "السياق" لحكم يلزم إجراء الرد، "الرد" هو الحاجة الجواب في هذا الشأن. هذا هو الشكل الأساسي لقاعدة البيانات، وإنشاء قاعدة بيانات مثل هذه عادة ما يتطلب الخطوات التالية:

بيانات ما قبل المعالجة: العمل الرئيسي من هذه الخطوة هو علامة من البيان الأصلي، وبعد العلاج، والباحثين الحصول على أكثر من 250،000 رمز المشترك.

دور استخراج: من خلال جمع نفس التعليقات المستخدم وفحص باستخدام القواعد المعمول بها، يمكنك الحصول على "دور" من شخصيات وخلفيات مختلفة، و "دور" في "سياق" المقابلة و "الرد". وترد تفاصيل قواعد محددة في القسم 3.2 من الورق، ويمكن للقراء المهتمين قراءة من تلقاء نفسها. المثال أعلاه هو نتيجة لهذا الجزء من شخصية نتوقع، ولكن في بعض الأحيان، "رد" لا يتبع بالضرورة "الدور" "هناك ارتباط واضح، لأنه قد ينشر مع مستخدم تصريحات متناقضة.

إنشاء مجموعات البيانات: "السياق" و "رد" يتم الجمع، وسوف يكون لديك مجموعة من العينة. و "رد" الموافق الأحرف المستخرجة من الخطوة الثانية من هذه الطريقة. ثم يتم تقسيم قاعدة البيانات بشكل عشوائي في مجموعة التدريب، والتحقق من صحة واختبار مجموعات. تحقق أكثر من 50000 مجموعة من جمع العينات والاختبار مع CHEP. فإنه لا ينطبق إلا على مجموعة التدريب لاستخراج اشخاصا: مجموعة اختبار "رد" لا يمكن إدراجها صراحة في محددة "الدور".

نهاية نموذج محادثة

هذه الورقة تضع نظاما الحوار لاستخدام استرجاع اللغة (المقبل استرجاع الكلام)، وطريقة لغة استرجاع يشير إلى اختيار مجموعة الأمثل للبيانات المرشح في بيان كرد على الحوار، بدلا من تلقي استجابة الناتجة عن هذه الطريقة.

1، وهيكل الشبكة

FIG 1: بنية الشبكة القائمة على شخصية-

إطار النموذج هو موضح في الشكل 1، تستخدم ورقة وحدتين منفصلتين إلى أحرف ترميز والسياق، ومن ثم استخدام الذاكرة شبكة 1-هوب وطريقة لترميز التعلم المتبقية يتم الجمع بين النتائج للحصول على مجتمعة ممثلة. إشارة رقة PERSONA-CHAT، والكتاب المستخدمة هنا هي أيضا مشابهة أسلوب بها الرد مرشح يتم ترميز، وتحسب نقطة المنتج ممثلة المشتركة المذكورة أعلاه. يجب أن يكون العائد المتوقع من هذا القبيل أن الجمل مرشح نقطة تعظيم المنتج.

عملية التدريب المصنف Softmax استخدام المنتج نقطة من تأثير تقييد الحق في الرد وتعظيم نسبة احتمال السجل. خلال التدريب، لعينة، وتستخدم أيضا ردود أمثلة أخرى من التدريب كعينات السلبية من أجل تحسين القدرة تعميم هذا النموذج.

2، السياق والاستجابة لترميز

رد التشفير السياق الاستخدامات وهيكل الشبكة، وجزءا لا يتجزأ من نفس الكلمة، ولكن مع أوزان مختلفة. يستخدم كاتب هذا المقال على ثلاث هيكل ترميز مختلفة التالية كهيكل السياق وعودة التشفير:

• حقيبة من بين الكلمات: تم تضمين استخدام اثنين من رسم الخرائط خطية من بيان الدخل كلمة (كلمة التضمين)، ثم كل كلمة تتلخص ومقسوما على الجذر التربيعي المشفرة تمثيل (ن)، حيث n هو طول هذه الجملة (ملاحظة المترجم: سيكون موضع تقدير على أنها عملية التطبيع).
• LSTM: LSTM باستخدام اثنين من شبكة اتجاهين، سوف تستمر لطبقة خفية من الناتج المشفرة كعقوبة.
• محول: يتكون هيكل فاسواني وآخرون في عام 2017 من اقصاه الى اقصاه الذكريات. واستنادا إلى آلية التركيز على الذات، أخذنا تأثير الرصاص على المهام استرجاع اللغة (المقبل استرجاع الكلام). كما المستخدمة هنا، والتشفير فقط جزء من الشبكة، ومن ثم تطبيع لإعطاء حجم ثابت ممثلة.

3، وشخصيات التشفير

لكل من الشخصيات، وترميز الحروف ترميز. ويستخدم سياق التشفير ونفس الأسلوب كلمة التضمين. ثم هذه الجملة الجمع من كل تمثيل المشفرة. لأن لكل شخصية، يتطلب ترميز مختلفة يتم تدريب، والكتاب من هذه الورقة اختار على وجه التحديد بنية الترميز بساطة كأحرف التشفير. ويرجع ذلك إلى a-دفعة صغيرة، وعدد من الشخصيات التشفير أمر من حجم أكبر من عدد من الترميز الأخرى. أيضا، فإن معظم الشخصيات هي بعض من هذه العبارة البيانات، استخدمت الكتاب تمثيل حقيبة من بين الكلمات كما ترميز المباشر.

القسم التجريبية

لالتشفير المذكورة أعلاه، استخدمت الكتاب تحسين Adamax الشبكة، حيث أن معدل التعلم 8E-4، حجم مصغرة دفعة من 512. في الوقت نفسه، ونحن نستخدم متجه التهيئة كلمة FastText، وفي تحسين العملية التدريبية وتنفيذها. يمكن المعلمات تدريب محددة أخرى قراءة النص الانكليزي الأصلي.

1، تؤثر على معلومات شخصية

المهام رديت على النتائج، كما المستخدمة هنا، والهياكل تجارب مختلفة، والنتائج هو مبين في الجدول التالي:

يمكن أن ينظر إليه لمدة ثلاثة هيكل ترميز مختلفة، وزيادة المعلومات شخصية يمكن أن تحسن بشكل فعال دقة البحث. الرقم 2 هو قسم من خلال نتائج العينة بعد نموذج التدريب، يمكننا أن نرى الجواب نظام الروبوت دردشة تمشيا مع سمات الشخصيات شخصية لها.

FIG 2: أفضل نموذج تنبؤ.

جميع السيناريوهات شخصية تتكون من جملة واحدة تتألف من الرد يقتصر على العبارات التي تحتوي على 10 رمز، واسترجاعها من مليون 1 تم اختيارها عشوائيا من مجموعة التدريب على الجملة مرشح.

2، والتعلم نقل

يقارن هذا المقال أثر استخدام PERSONA-CHAT رديت على حد سواء قواعد البيانات ودراسة الهجرة، والنتائج التجريبية هو مبين في الجدول التالي:

كما أنه يمكن أن ينظر إليها في قاعدة البيانات POERSONA-CHAT نموذج القطار للتحقق من تأثير على الفقراء قاعدة بيانات رديت مباشرة، وقاعدة بيانات على نموذج رديت تدريبهم على مجموعة البيانات PERSONA-CHAT يمكن أن تظهر نتائج جيدة. الجدول سائل FT-PC: التدريب على رديت وصقل قاعدة البيانات PERSONA-CHAT. يمكن أن ينظر إليه باستخدام نموذج تدريبا مسبقا بعد رديت الترحيل لتأثير PERSONA-CHAT أعلى بكثير في تأثير التدريب المباشر قاعدة بيانات PERSONA-CHAT.

الإنجليزية نص الورقة:

https://arxiv.org/pdf/1809.01984.pdf