مذكرة لى فنغ الشبكة: في الآونة الأخيرة، والمثلث الوحش تقنية AI مختبر من الورق، هو أعلى اللغة الطبيعية عشرات اجتماع معالجة EMNLP القبول في العالم، ورقة بعنوان: العصبية الجيل الرد عبر GAN مع طبقة تضمين تقريبية، من خلال فريق البحث ومعهد هاربين للتكنولوجيا المثلث الوحش بالتعاون مختبر ITNLP. ويعرض ورقة جيل جديد من المواجهة نص الحوار التعلم الإطار تهدف إلى حل المشاكل العملية ولدت خلال النص عملية أخذ العينات من الخطأ تسبب التوصيل ليس العكس، وبالتالي تحقيق يستند نموذج الجيل الرد التعلم المواجهة الدردشة.
ما يلي هو كتب فريق البحث الوحش الثلاثي أوراق استعراض جوهر، لى فنغ مبتدئين ترخيص الشبكة:
مقدمة
في السنوات الأخيرة، واصل التعلم العميق (ديب التعلم، DL) إلى الأرض تفقد في مجال معالجة اللغة الطبيعية، بحيث صعوبة في الماضي كان يعتبر من الصعب تحقيق انفراجة في البحث قد انخفض، أكثر تحدث عن الناس في حالة شك تسلسل إلى تسلسل (S2S) في الترجمة الآلية الإحصائية (الترجمة الآلية الإحصائية، SMT) اختراق تخريبية في هذا المجال، وبالتالي خلق نموذج جديد العصبية القائمة على شبكة الترجمة الآلية (العصبية الترجمة الآلية، NMT). حتى انتشر تأثير النموذج الجديد إلى مناطق أخرى، بما في ذلك نظام توليد دردشة التلقائي (الجيل أساس الدردشة النظام) ورقة للمناقشة.
يعتبر عموما نظام الدردشة التلقائي (تلقائي الدردشة الأنظمة) لا يمكن أن يتحقق من قبل اثنين من تقنيات: واحد هو مبني النظام على الحوار قواعد البيانات على نطاق واسع لاسترجاع المعلومات، من خلال إنشاء مطابقة فعالة من الأسئلة والأسئلة والإجابات النموذجية درجة للذات الصلة الاستعلام المستخدم الرد معقول، وهذا النص لا أخوض في التفاصيل، طريق تقنية أخرى تحاول بناء النهاية (نهاية إلى نهاية) نموذج التعلم العميق، والتعلم التلقائي للجمعية الدلالي بين البيانات الاستعلام واستجابة من الحوار الشامل ، وذلك لتحقيق لأي مستخدم يمكن أن تولد تلقائيا الرد الاستعلام. إذا كان التركيز على تنفيذ خارطة الطريق هندسة تكنولوجيا المعلومات و مقرها، ثم ولدت على أساس خارطة الطريق التكنولوجيا هو أكثر الأكاديمية.
NMT دردشة مع النموذج التوليدي المقترحة لديها ارتباط وثيق جدا، ورابطة يمكن أن تعزى إلى التعلم العميق لم يكن شائعا حتى في عهد: في نظام سؤال البحث الإجابة في وقت مبكر (سؤال وردا الأنظمة)، وكان الناس إلى SMT ذات الصلة النماذج والأساليب المستخدمة في الإجابة الفرز في فرز وحدة، وحققت نتائج جيدة. والسبب وراء ذلك هو أن يجد يمكن أن ينظر إلى الإجابة على سؤال واحد عملية كنوع خاص من عملية الترجمة، في هذه العملية ترجمة معينة، تقع الأسئلة والأجوبة على طرفي نموذج الترجمة، وبهذه الطريقة، والسؤال، الجواب الزوج يعادل أساسا إلى جسم مواز للتعامل مع SMT، عملية التدريب SMT في واقع الأمر وهو ما يعادل دلالات المرتبطة بعملية بناء أسئلة وأجوبة بين الكلمات. بعد النجاح الكبير في NMT، هذا النموذج الجديد بشكل طبيعي أن تطبق على الرد إنشاؤه تلقائيا للدردشة، والفكر أولا حتى بديهية كانت هذه المادة التي سيتم مناقشتها: يمكن رؤية دردشة كنوع خاص من عدم الحصول على ويمكن استخدام المعلومات لغرض الأسئلة والأجوبة، وSMT للعثور على الجواب، وNMT شكل متقدم من SMT، ثم من المتوقع أن يتم استخدامها لتوليد تلقائيا الرد الدردشة نموذج NMT. اليوم، ونحن ندعو هذا الهيكل الآلي نموذج دردشة جديدة باسم العصبية الجيل الاستجابة (NRG).
التحديات التي تواجهها NRG
وباعتراف الجميع، واستخدام جزء من الاستجابات دردشة نموذج NRG ولدت يمكن حقا تتزامن مع الاستعلام المقابلة على هذا الموضوع، وربما حتى الفردية أهمية الدلالات العالية وسهولة قراءة استجابة جيدة يمكن أن تتولد من هذا هو الحال، أخشى أن لا أحد يعتقد NRG تكرار نجاح النموذج NMT في مجال الترجمة الآلية، والسبب الرئيسي هو أن هذا النموذج يولد الغالبية العظمى من نهاية الجواب التقارب خطيرة، وليس له أي قيمة حقيقية، وهذا هو المستحيل على أي شخص لمزيد من آلة الحوار المضي قدما، على سبيل المثال، على أي استفسار المستخدم، فإن النتائج هي على الأرجح إلى أن ولدت، "أعتقد" أو "أنا أعتقد ذلك." أم نفذت في نموذج البيانات الصيني في بيانات التدريب الإنجليزية، هذه الظاهرة واضحة جدا، لأن النموذج يولد الغالبية العظمى من نتائج أي استفسار بالكاد كرد، لذلك وضعنا هذه النتيجة صورة ولدت اسمه استجابة آمنة .
ومن الواضح أن هناك والكثير من استجابة آمنة تظهر تلقائيا نظام الدردشة مملة التي تتيح للمستخدمين التفاعل مع النظام لحماس تفقد، لذلك لا يزال يستند إلى نظام الدردشة العملي الحالي على المعلومات نموذج استرجاع باعتبارها الهيكل الرئيسي. باختصار، NRG نموذج إذا كنت تريد أن تلعب دورا في المنتج الفعلي، وتجنب توليد استجابة آمنة ضروري لحل المشكلة، لا مفر منه.
قد تكون مشاكل استجابة ولدت آمنة نتيجة العديد من العوامل، والمادة فقط أكثر بديهية قطع الاتجاه في هذه المشكلة. هنا يمكننا أن نتأمل هذا السؤال: في حالة من نفس المؤسسة من البيانات، ونفس هيكل نموذج، وهو افتراض معقول، لماذا كان NMT نموذج أية مشاكل حتى اضحة آمنة ترجمة نتيجة؟ هذه المرة لسير عمل مراجعة NMT نموذج ضروري: NMT نموذج يتكون من جزأين، جزء واحد هو المسؤول عن التمثيل الدلالي الجملة المصدر، والتي يتم ضغطها إلى البعد الدلالي ناقلات المحدد، فإنه يمكن أن يسمى التشفير، والجزء الآخر مسؤولة عن تلقي الدلالي التشفير ناقلات المقدمة، وتحت عنوان "التوجيه" ناقلات الدلالي للكلمات ألحان الجملة الهدف اختيار واحد، وهذا جزء عادة ما تسمى وحدة فك ترميز. باختصار، إشارة التشفير المدخلات هي المسؤولة عن توفير التمثيل الدلالي، وينفذ فك الواقع ويمثل نموذجا اللغة كشروط أولية لدلالات.
الشكل 1 الكلاسيكية نموذج تسلسل إلى تسلسل
وبهذه الطريقة، جوهر استجابة آمنة واحد هو شبه مؤكد: إذا كانت المقارنة بين الترجمة الآلية والدردشة بيانات التدريب ليس من الصعب العثور عليها، والكلمات بيانات الدردشة في التوزيع موقع الاحتمالات المختلفة لحكم لها ذيل طويل مميزة واضح للغاية، وهذه الميزة عادة في بداية بضع كلمات غير واضحة خاصة، على سبيل المثال، فإن نسبة كبيرة من الرد الدردشة "أنا"، "أيضا" على أنها بداية الجملة، نسبيا، إلى المصدر الرئيسي للبيانات النص رسمية تشكلت في نصوص موازية الجملة SMT ، وربما يتم تخفيض هذا الوضع وفقا لأوامر من حجمها. في هذه الحالة، عبارة عن نموذج التوزيع الاحتمالي سوف تتعلم نموذج اللغة تفضيلي فك، وتثبيط شديد من الكلمات المرتبطة مع وضع استجابة بين عملية توليد الاستعلام، حدسي، حتى مع الاستعلام الدلالي ناقلات كشرط، فك يزال اختيار الأكثر احتمالا "I" كرد الكلمة الأولى، ولكن أيضا بسبب خصائص نموذج اللغة، فإن المدة المقبلة من المرجح أن يكون "جدا" ...... وهلم جرا، استجابة آمنة ومنذ ذلك الحين تم إنشاؤه.
حل بديهية
NRG نموذج المشكلة تنتج استجابة آمنة يمكن أن يقال هو ما يجعل من المنطقي غير متوقع، حتى يتمكن الناس تحدى بقوة على هذه المشكلة. وتشمل حلول مشتركة: يعززها إدخال آلية الاهتمام الاستعلام الدلالي في التركيز، وضعف فك نموذج اللغة، بصفة عامة، وإدخال المعلومات أو المعرفة النمذجة المستخدم الخارجية يمكن أن تعزز التنوع الرد إنشاؤه.
وعندما نقفز إلى نموذج أو المعطيات الحسية الجزئية، والقضايا استجابة آمنة من وجهة نظر أكثر عالمية للعرض، عند برنامج تهب بديهية جدا: S2S نموذج ينتج استجابة آمنة يمكن أن تعتبر واقعة في الأمثل المحلية حل، ولكن ما نحتاج إليه هو اضطراب تطبيقها على نموذج لجعله من الحل المحلي إلى دولة أكثر الأمثل، ثم أبسط التدخل الإيجابي هو إبلاغ النموذج الذي ينتج استجابة الآمنة هي نتيجة سوء، على الرغم من أن هذا الجيل فقدان النتائج أصغر.
الفكر بديهية، فتح صيغة المواجهة شبكة (الخصومة شبكات المولدة، GAN) لاستكشاف التحولات والانعطافات في مشاكل صيغة الدردشة.
وقال أسهل من القيام به
وقدم GAN الردود دردشة ولدت الفكرة قد حان لذلك: استخدام الهندسة المعمارية التشفير فك لبناء مولد الرد G، هي المسؤولة عن توليد ردا على استفسار معين، وبناء الممي D المسؤول عن توليد عزم نتيجة للاستجابة حقيقية على قيد الحياة كثيرا ثغرات، وضبط مولد G وفقا لإخراج الممي، وذلك لتوليد الوضع الأمثل المحلي من الاستجابة آمنة.
ومع ذلك، عندما حاولنا تحقيقها من خلال التعلم المواجهة النص التي يتم إنشاؤها عند وجود مشكلة في GAN نموذج صورة ولدت لم يظهر قبل المواجهة، وهذه هي الطريقة تدريب الخطأ الممي D إلى G مولد العودة انتشار (العكسي ). توليد نموذج صورة على أساس GAN، وهذا يعود انتشار الخطأ أمر طبيعي جدا، لأن العملية برمتها توليد صورة G مستمرة مستقاة، وبالتالي تدريب الخطأ D يمكن إجراء من الطبقة الإخراج مباشرة إلى D طبقة G الإدخال. لتوليد النص، فإنه يولد عينة النص يجب أن تكون مصحوبة G في عملية أخذ العينات طبقة الإخراج إلى الكلمات، وإذا كان هذا المبدأ هو لتحديد عينة تليها أقصى احتمال الأفكار الجشع أو شعاع البحث، فإنه يدخل في الواقع عمليات منفصلة، وهذا لا يمكن أن تؤدي عملية جرف مثل ظهرت فجأة على الطريق، وعرقلة خطى العودة نشر، مما يجعل لتدريبات قتالية G لا يمكن المضي قدما.
من أجل حل المشاكل العملية أخذ العينات تسببت النص العملية عملية توليد لا يمكن إجراء الخطأ من أجل تحقيق ردود الجيل النموذج القائم على المواجهة دردشة تعلم فريق البحث مثلث الوحش في ورقة العصبية الجيل الرد عبر GAN مع التقريبي تضمين طبقة اقترح أنواع جديدة من نص الحوار ضد تولد تعلم الإطار، حاليا هذه الورقة تم قبول EMNLP عام 2017.
ويستند الرقم 2 على مواجهة إطار التعلم GAN-AEL
ويبين الشكل 2 GAN مع طبقة تضمين التقريبية (GAN-AEL) من أوراق الإطار الأساسية المقدمة. نحن نستخدم ولدت الرد GRU بناء نموذج G من الجسم، والتي شيدت مع CNN الممي D يستخدم لتحديد الاستعلام (أو الحقيقي جود لدت نموذج) بين الاستجابة الدلالي هي ذات الصلة. في الحالة التي يكون فيها، نظرا استعلام، G نموذج الناتجة عن عملية فك ترميز استجابة وهمية، واستجابة وهمية يشكلون عينة سلبية مع الاستعلام، في حين الاستعلام استجابة حقيقية للبيانات التدريب في تكوين عينة إيجابية، يتم تحديد ذلك تدريب الهدف D، أي التمييز بين قال العينات الإيجابية والسلبية من الممكن.
القضايا الرئيسية كما هو موضح سابقا، هو عرض لتحسين النص ولدت ضد تعلم كيفية حل مشكلة عدم التوصيل خلال جيل نص الناجمة عن العينة، وذلك لتحقيق التواصل السليم إلى المولد خطأ الممي. تواجه هذه المادة مشكلة بناء طبقة تضمين التقريبية للمولد G (AEL أحمر مربع مستطيل هو مبين في الشكل، أي تفاصيل ترد في الجزء الأيمن من FIG)، ويعبر عن دور هذه الطبقة تقريبا لكل عينة العملية، في كل خطوة جيل لم يعد محاولة للحصول على كلمات محددة، ولكن يتم احتساب توزيع احتمال استنادا إلى قول من ناقلات العينة. عملية محددة هي، في كل خطوة الجيل، الإخراج من GRU h_i الدولة الخفية بعد إضافة z_i اضطراب عشوائي، بعد طبقة اتصال كامل واحتمال كل كلمة حصلت softmax توزيع المفردات بأكمله، ونحن هذا التوزيع الاحتمالي كما وزن كل الكلمات في المفردات تضمين المبلغ المرجح، للحصول على عينة من الكلمة الحالية يمثله تقريب ناقلات (الجانب الأيمن في FIG 2 بإطار أخضر)، وسمح كخطوة الجيل القادم من الإدخال. في نفس الوقت، ويمكن استخدام هذه النواقل نفسه تقريبي تكوين الربط تمثيل استجابة وهمية للقطار D. من السهل أن نرى أن هذا يمثل عينة نتيجة عملية تقريبية وتوجيه مستمر وإدخال هذا التدريب لا يغير التعبير التقريبي للنموذج الهدف G.
ونحن على خطوة صغيرة
كما تستخدم وسيلة اقتران لتوليد والممي، التي أنشئت AEL لضمان معقولية إطار التعلم المواجهة تطبيقها في توليد استجابة دردشة الموجهة للمشكلة. من أجل التحقق من مدى معقولية هذا، كنا في نموذجنا الآن شائعة في الصينية والانجليزية الحوار التحقق من صحة البيانات، وأظهرت نتائج أدناه:
الجدول Seq2Seq، MMI-مكافحة وADVER-البندان تمثل الكلاسيكية التشفير فك، وإدخال نموذج معاداة اللغة على أساس آلية S2S وتعزيز GAN نموذج العمارة التعلم. حاولنا مقارنة العديد من النماذج، يمكن أن ينظر إليه من نتائج ولدت أهمية دلالية (الصلة) والتنوع (البيولوجي) جانبين من جوانب الضمانة المقترحة في حالة ارتباط الدلالي GAN-AEL، إلى زيادة كبيرة في تشكيل استجابة التنوع.
من أجل تعزيز التنوع نموذج عرض مرئي، نعطي بعض الأمثلة على النتائج ولدت في الواقع، كما هو مبين في الجدول التالي.
لدينا نموذج يعطي تفاصيل حول النماذج النظرية والوصف التفصيلي للمؤشرات التقييم وطرق أساسية، يمكن للقراء المهتمين مواصلة التركيز أوراق إطلاق سراحنا.
خاتمة
اثنين من فكرة بديهية، فتح نموذج البحوث على أساس دراسة معمقة لنظام نهاية دردشة التلقائي، ويؤدي إلى المواجهة في تعلم لاستكشاف التحولات والانعطافات في الجيل الرد الدردشة. في الواقع، إلى جانب أكبر نموذج للاهتمام مع سخونة البحث عن أي الباحثون الذين لديهم نداء قويا، ومع ذلك، للقيام القضايا الحرجة الوجه، وتكريس أنفسهم لإيجاد سبل لحل المشكلة، ضرورة هو دراسة واقعية، من المرجح أن تجعل العمل البحثي تصبح في نهاية المطاف مملة الري أي وقاحة.
دع آلة تولد تلقائيا أي رد الاستعلام مشكلة صعبة للغاية، لأننا نحاول أن يتحدى القدرة اللغة البشرية. هذه العملية هي مثل مشكلة التحدي تسلق الجبال، أي المقترحة نهجا جديدا لا يعني بالضرورة أننا يمهد الطريق إلى الأعلى، ولكن لتزويد الناس مع القطب الرحلات، حتى أن الناس تذهب أبعد من ذلك.
مراجع
ايليا Sutskever، أوريول Vinyals، وكووك V. لو. 2014. تسلسل إلى تسلسل التعلم مع الشبكات العصبية. وفي وقائع المؤتمر الدولي 27 على العصبية أنظمة معالجة المعلومات، NIPS'14، الصفحات 3104-3112، كامبردج، MA، الولايات المتحدة الأمريكية. معهد ماساتشوستس للتكنولوجيا الصحافة.
Kyunghyun تشو، بارت فان Merrienboer، كاجلار Gulcehre، دزمتري Bahdanau، فتحي Bougares، هولغر SCHWENK، ويوشوا بيجيو. 2014. التعلم عبارة التمثيل باستخدام RNN التشفير فك للترجمة الآلة الإحصائية. وفي وقائع المؤتمر 2014 على طرق تطبيقية في اللغة الطبيعية تجهيز (EMNLP)، الصفحات 1724- 1734، الدوحة، قطر. جمعية اللسانيات الحاسوبية
BAOTIAN هو جين تاو، تشنغ دونغ لو، هانغ لي، وQingcai تشن 2014. التلافيف بنى الشبكة العصبية للمطابقة الأحكام اللغة الطبيعية في التقدم في العصبية أنظمة معالجة المعلومات (27): .. المؤتمر السنوي عن العصبية نظم المعلومات تجهيز 2014، الصفحات 2042-2050
يفنغ شانغ، تشنغ دونغ لو، وهانغ لي. 2015. العصبية الاستجابة آلة للمحادثة النصية القصيرة. وفي وقائع الاجتماع السنوي 53 لجمعية اللسانيات الحاسوبية والمؤتمر الدولي المشترك 7TH على معالجة اللغات الطبيعية، وصفحات 1577-1586، بكين، الصين. جمعية اللسانيات الحاسوبية.
اليساندرو Sordoni، ميشال مخزن، مايكل Auli، كريس Brockett، Yangfeng جي، مارغريت ميتشل، جيان يون نيه، جيان فنغ غاو، وبيل دولان. 2015. نهج الشبكة العصبية إلى جيل حساسة للسياق الردود التخاطب. وفي NAACL HLT عام 2015، الصفحات 196-205
. بوين وو، Baoxun وانغ، وهوى شيويه 2016. الردود ترتيب الموجهة إلى أهمية التخاطب في الدردشة السير في COLING عام 2016، المؤتمر الدولي 26 حول اللسانيات الحاسوبية، وقائع المؤتمر ورقات التقنية :.، 11-16 ديسمبر، 2016، أوساكا واليابان، وصفحات 652-662.
دلفين برنارد وإيرينا Gurevych، الجمع بين علم المعاني اللغوي الموارد مع سؤال وجواب المرسلة في الترجمة القائمة على الإجابة الحقائق
جى وى لى ميشال مخزن، كريس Brockett، جيان فنغ غاو، وبيل دولان. 2016a. A التنوع المعززة للدالة الهدف لنماذج محادثة العصبية. وفي وقائع NAACL-HLT، الصفحات 110-119.
جى وى لى ميشال مخزن، كريس Brockett، جورجيوس P. Spithourakis، جيان فنغ غاو، ويليام ب دولان. 2016b. استنادا شخصية-A نموذج محادثة العصبي. وفي وقائع الاجتماع السنوي 54 لجمعية اللسانيات الحاسوبية، ACL عام 2016، 07-12 أغسطس، 2016، برلين، ألمانيا.
شينغ تشن، وو وى، وو يو، وليو جي، وهوانغ Yalou، تشو مينغ، وما وى يينغ. 2017. الموضوع موضوع علم الجيل استجابة العصبي. وفي وقائع المؤتمر AAAI الحادية والثلاثون على الذكاء الاصطناعي، 04-09 فبراير، عام 2017، سان فرانسيسكو، كاليفورنيا، الولايات المتحدة الأمريكية، الصفحات 3351-3357.
إيان غودفلوو جان بوجيه-آبادي، مهدي ميرزا، شو بينغ، ديفيد وردة-فارلي، Sherjil عزير، هارون كورفيل، ويوشوا بيجيو. 2014. شبكات الخصومة التوليدية. وفي التقدم في أنظمة معالجة المعلومات العصبية، الصفحات 2672-2680.
