لى فنغ شبكة AI تقنية مراجعة من قبل: التشفير مقرها - يستخدم تسلسل مولد نموذج العمارة فك على نطاق واسع المهام النص، مثل العصب الترجمة الآلية، هضم جيل، ونظم الحوار. ومع ذلك، يتم إنشاء النماذج القائمة مرة واحدة فقط عند إنشاء تسلسل، من دون عملية تكرارية من "التدقيق" من. قام التدقيق في ترجمتنا، عند كتابة المقالات هو ممارسة شائعة جدا. لذا الباحثون ان "صقل" نموذج الجيل تسلسل مقدمة، وشبكة التدقيق المقترحة، لتحسين نوعية الجيل التسلسل.

في الآونة الأخيرة لى فنغ شبكة GAIR قاعة المحاضرات في الفئة المفتوحة الخط، من الصين HKUST - الصيف أن تخطط زميل دورات تدريبية مشتركة الدكتور مايكروسوفت لتبادل مقال المدرجة في ورقة NIPS 2017: شبكات المداولة: تسلسل الجيل راء باس واحد فك. وهو أيضا عمل هذه الورقة.

أوراق العنوان: http: //papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf

يجب أن يكون الصيف السياسة، الدكتور الصف الخامس، تدرس الآن في الصين للعلوم - دورات التدريب المشترك الدكتور مايكروسوفت، والبحث في التعلم الآلي (بما في ذلك التعليم المزدوج، والترجمة الآلية العصبية وMAB)، وهي واحدة من جائزة الباحث مايكروسوفت عام 2016.

حصة موضوع توليد سلسلة من بنية الشبكة - شبكة التدقيق:

حصة الخطوط العريضة

• نموذج تطبيق هيكل وتسلسل الأساسي جيل (يدخل الترجمة الآلية العصبية)

• هيكل والخوارزميات تحسين الشبكة التدقيق

• نتائج التدقيق الشبكة

• شبكة التمحيص والتعلم الثنائي المشترك

البنية الأساسية للنموذج والجيل تسلسل تطبيق

فحص الشبكة

يستخدم تسلسل مولد نموذج العمارة فك على نطاق واسع المهمة نص الترجمة الآلية العصبية، هضم جيل، ونظم الحوار - التشفير القائمة. على سبيل المثال، في الشكل من المكونات الكلام - قراءة الجهاز على الخريطة، وصفا عن مضمون الصورة؛ ملخص النص - نظرا نص طويل، والجهاز يعطي فكرة تقريبية عن المادة بأكملها.

ومع ذلك، يتم إنشاء النماذج القائمة مرة واحدة فقط عند إنشاء تسلسل، من دون عملية تكرارية من "التدقيق" من. قام التدقيق في ترجمتنا، عند كتابة المقالات هو ممارسة شائعة جدا. ولذلك، فإننا سوف "صقل" نموذج الجيل تسلسل مقدمة، وشبكة التدقيق المقترحة، لتحسين نوعية الجيل التسلسل. في هذه الدراسة، واضاف نحن لالمبرمج عملية التدقيق - إطار فك والشبكة المقترحة المكرر (شبكات المداولة) لتوليد التسلسل. شبكة التدقيق وجود فك مرحلتين، حيث وحدة فك الترميز من أجل فك رموز المرحلة الأولى لتوليد التسلسل الأصلي، والمرحلة الثانية من عملية فك للتدقيق من قبل طحن وتلميع البيان الأصلي. منذ المرحلة الثانية من التدقيق فك أي نوع من الحكم الذي ينبغي أن تولد المعلومات العالمية بحيث يمكن أن تنتج مستقبل أفضل من خلال النظر في سلسلة من الكلمات من الجملة الأصلية للمرحلة الأولى. العصب الترجمة الآلية والتجارب تلخيص النص التلقائي تثبت فعالية لدينا التدقيق في الشبكة المقترحة. في WMT 2014 المهام الإنجليزية إلى الفرنسية الترجمة بين نموذجنا لتحقيق النتيجة BLEU من 41.5.

عقب آلة للترجمة، الترجمة مهمة تتطلب التشفير الكامل وفك الهيكل.

آليات الإنتباه

بعد البنية الأساسية لكيفية الحصول على نظام التدريب؟ الآن الجيل تسلسل العام أو معالجة اللغات الطبيعية وتعتمد على أساليب التدريب نهاية، وتنقسم الى ثلاث عمليات: التدريب، والمنطق والتقييم.

العصب الترجمة الآلية بحث الاتجاه (البحث شعاع) عملية

شبكة تدقيق موضوعية

يتم إنشاء النماذج القائمة مرة واحدة فقط عند إنشاء تسلسل، من دون عملية تكرارية من "التدقيق" من. و "تداول" في ترجمتنا، عند كتابة المقالات هو ممارسة شائعة جدا. على سبيل المثال، في قراءة المقال عندما التقى لا يعرف كلمة إلى القاموس قد لا يكون فوريا، ولكن تخطي كلمة القراءة إلى نهاية المقال، ثم تتحول إلى تخمين ما تعني الكلمة. مثال آخر هو عندما ورق الكتابة، فإنه قد يكون أول لكتابة مشروع، ثم الاستمرار في تعديل أو أن يكون إطارا عاما، للحصول على المعلومات العالمية، وربما تريد أن تعرف ما التعبير، ومن ثم الاستمرار في صقل الكتابة في النهاية ما يقصده. وتوضح هذه الأمثلة اثنين على أهمية النظر إلى الأمام والحصول على المعلومات العالمية.

ولذلك، فإننا سوف "صقل" نموذج الجيل تسلسل مقدمة، وشبكة التدقيق المقترحة، لتحسين نوعية الجيل التسلسل. الآن الجيل الأعصاب تسلسل ومهمة الترجمة الآلية، وحدة فك الترميز ليست "واستشرافا للمستقبل" لهذه العملية.

ما يلي هو على الارجح إطار شبكة المراقبة، يتم ترك التشفير، على الجانب الأيمن هو فك. الأزرق والأصفر والأخضر، على التوالي، والتي تبين التشفير جزء E، المرحلة الأولى والمرحلة الثانية فك فك D1 D2. عملية تفسير برنامج معين ووتش تشغيل الفيديو.

هذه هي جزء من نموذج، فيما يلي وصف لتطبيق ونتائج محددة الاختبار.

مهمتين هي عصبية الترجمة الآلية والنص ملخصات. ويستخدم نموذجين، نموذج واحد هو الضحلة، في حين التحقق أيضا من تأثير نموذج العمق.

نموذج الضحلة، وهذا نموذج طبقة واحدة وعلى نطاق واسع التطبيقية GRU اسمه استنادا RNNSearch؛ نموذج العمق، على غرار نموذج LSTM القائم على عمق GNMT. يتم تنفيذ هذين النوعين من النماذج في Theano.

تأثير الترجمة الآلية على نموذج الضحلة العصبية

الترجمة الآلية العصبية (وNMT) هي مجموعة البيانات المستخدمة في بريطانيا وفرنسا ومجموعة البيانات المملكة المتحدة. يتكون النموذج القياسي NMT من المبرمج (الترميز لعقوبة المصدر)، وفك (لتوليد معينة الجملة) التكوين، منذ الشبكة يمكن أن تتحسن باستخدام التدقيق المقترحة لدينا. على WMT '14 البيانات الإنجليزية الفرنسية تعيين بناء على النتائج التجريبية على احد GRU النموذج المستخدم على نطاق واسع أظهرت أن: بالمقارنة مع عدم استخدام نماذج التدقيق، التدقيق يمكن استخدامها لتعزيز عشرات BLEU 1.7.

لقد طبقنا أيضا نموذجنا على الترجمة الصينية الإنجليزية، وعلى أربع مجموعات اختبار مختلفة لتحسين المعدل أدركت BLEU 1.26. وبالإضافة إلى ذلك، على WMT '14 مهمة الترجمة الإنجليزية الفرنسية، من خلال التدقيق تطبيقها على نماذج عمق LSTM، أدركنا النتيجة BLEU من 41.50.

ملخص النص، مقالات طويلة القادمة تجميعها في المهام الموجزة القصيرة. هذه المهمة يمكن استخدام التشفير - إطار فك، فإنه يمكن استخدامها لشبكة معالجة غرامة صقل. وقد اظهرت النتائج أن البيانات المكررة مجموعة شبكة Gigaword قد ROUGE-1، ROUGE-2 وROUGE-L، على التوالي 3.45،1.70 و3.02 الرفع.

التعلم المزدوج

لماذا الدراسة التعلم المزدوج؟ لأن طبيعة العديد من المهام المزدوجة، مثل اللغة الإنجليزية - الفرنسية، الفرنسية - اللغة الإنجليزية هي زوج من الأطفال مهمة مزدوجة، صوت إلى نص، تحويل النص إلى خطاب هو أيضا زوج من الأطفال مهمة مزدوجة، تصنيف الصور وتوليد صورة أيضا زوج من الأطفال مهمة مزدوجة. هم كل منهما بين مهمة العكسي، سيكون هناك بالتأكيد بعض اتصال بينهما، ونحن نريد للاستفادة من هذه الازدواجية بينهما، وتحسين أداء المهام. معظم التعبير المباشر قادر على بكفاءة عالية استخدام البيانات، بما في ذلك البيانات وعدم وجود بيانات التسمية القياسية. يجب أن ازدواجية تعلم كيفية استخدام؟ انقر على النص في نهاية عرض الفيديو.

الاستنتاجات والعمل المستقبلي

في هذه الدراسة، فإننا نقترح شبكة للجيل المهام تسلسل متعمدة، وتبين التجارب أن لدينا وسيلة يمكن أن تحقق نتائج أفضل من العديد من الطرق القياسية في الترجمة الآلية ومهمة تلخيص النص.

هناك يمكن استكشاف المزيد في المستقبل، مع إمكانية البحث. أولا، سوف ندرس كيف أن فكرة التدقيق المطبقة على المهام خارج الجيل تسلسل، مثل تحسين GAN لدت جودة الصورة؛ وثانيا، سندرس كيفية صقل، ومستويات مختلفة البولندية الشبكات العصبية، مثل إخفاء أو RNN CNN خريطة ميزة، وثالثا، ما زلنا نتساءل إذا كان هناك المزيد من مرحلة فك (أي عدة طحن تسلسل البولندية ولدت)، وتسلسل الناتجة إذا كانت ستكون أفضل؛ الرابع، سندرس كيفية تسريع شبكة التدقيق المنطق والمنطق لتقصير وقتهم.

هذا كل الضيوف تقاسم، الفيديو عنوان القراءة: HTTP: //www.mooc.ai/open/course/424.

لى فنغ بث شبكة الفئة المفتوحة، حتى لا تنزعج لقناة الصغرى أكثر عدد العام "AI تكنولوجي ريفيو". إذا غاب الدورات الحية، ولكن أيضا لفصول الكلية AI مو العثور على فترة تشغيل الفيديو.