الكاتب | الشمس Zewei

هذه المادة من لا الجمهور " جنوب NLP "

لحظة الجهاز العصبي الترجمة (الترجمة الآلية العصبية، NMT) بالفعل أداء قويا ترجمتها، من بين العديد من النماذج الأخرى، محول نموذج تحقيق أفضل النتائج. انها مختلفة عن النموذج التقليدي بطريقتين: من آلية الانتباه (الذاتي الانتباه)، وكذلك آليات الاهتمام طويلة (متعدد رئيس الاهتمام).

مقالة ابتدائي لهذا الأخير، فإن آلية رئيس واحد التقليدية المزيد من الاهتمام للبحوث، اهتماما واسعا إلى استنتاج مفاده أن تمثل كلمة المحاذاة. ولكن الآلية الثيران الاهتمام تمثل ما تفتقر للبحث. في هذه الورقة توسعت لمراقبة طويلة من محول القائم الاهتمام: وحدة فك الترميز (فك) الطبقة النهائية من آليات للاهتمام طويل التشفير (التشفير)، وهو ما يمثل محاذاة كلمة متعددة. والاستفادة من هذه الظاهرة، وتوليد الترجمة متنوعة. وعلاوة على ذلك، فإن استخدام الترجمة متنوعة، بمساعدة تكنولوجيا الترجمة باستخدام العكسية (ترجمة الظهر)، ونموذج الترجمة لتعزيز الأداء. وأخيرا، تظاهر مسألة ذات صلة والتجارب المهام الجواب أيضا تحسين الأداء.

ظاهرة

أولا، من أجل التحقق من صحة تخمين لدينا: فك (فك) للطبقة الأخيرة من التركيز على المدى آلية التشفير (التشفير)، وهو ما يمثل محاذاة كلمة متعددة، أي مصدر آخر كلمة فك الرموز المقابلة احد من الاهتمام ل، هو في اليوم التالي على الأرجح لتوليد كلمة، وقد فعلنا ثلاث تجارب التحقق من الصحة:

1، ونحن سوف يتوجه كل فك المقابلة لمصدر كلمة كحد أقصى قيمة الاهتمام مختارة من نموذج خط الأساس باستخدام ترجمة كلمة ترجمة لتوليد الجانب الهدف، ومشاهدة هذه لدت كلمة اللغات الجانب الهدف، softmax الجدول احتمال في الجيل التالي لانتهاء الهدف المرتبة المثال لا الحصر، كما هو موضح في الشكل رقم 1، وتوزيع حاد جدا، يتم ترتيب معظم الكلمات المقابلة في الصدارة.

الشكل (1): يكون للكلمات الأولى التركيز المختارة هي رتبة الجبهة جدا

2، و في وبالمثل، ونحن نرى هذه الكلمات السلبية سجل-احتمالات (سلبي دخول-الاحتمالات، خط الحد الشمالى)، وحساب متوسط خط الحد الشمالى المرتبة الكلمات R من جميع الحالات (على سبيل المثال، K = 1، وهذا هو، كل في المرتبة رقم 1 من حيث خط الحدود الشمالي)، وتمت مقارنة، كما هو مبين في الجدول 1، اختار خط الحد الشمالى كلمة صغيرة جدا.

الجدول 1: الرتبة جميع الحالات الكلمات R من خط الحدود الشمالي، خط الحد الشمالى كل رأس صغير جدا

3. وعلاوة على ذلك، وجدنا أنه من خلال السيطرة على رؤساء مختلف من الاهتمام للسيطرة على الجيل القادم. انظر على وجه الخصوص المثال التالي، الجملة المصدر هي "، وقال انه، منذ سبتمبر الماضي، وانخفاض في الصادرات أدى إلى تدهور الاقتصاد في الهند." ترجمت نماذج "قال"، فإن الخطوة التالية هي تنتظر الترجمة. اخترنا الحالة التي يكون فيها انتباه كل الرأس، كما هو مبين في الشكل. المقبل، ونحن اختيار 4،5،6 رؤساء الأول الموافق "منذ"، ثلاث كلمات "القاعدة"، "تصدير"، لاحظ كل رأس الأخرى التي تغطي الرأس مع قيمة اهتمام رئيس المقابلة يتم إنشاء الكلمات على الفور، كما هو مبين في الجدول 2.

الشكل 2: رئيس مختلفة المقابلة لكلمة مصدر

الجدول 2: رؤساء مختلف حدد (الموافق الكلمات مصدر مختلفة)، والجيل القادم يمكن السيطرة عليها

طرق

علينا أن نستفيد من هذه الظاهرة، تستخدم الخوارزمية المقترحة آلية الثيران الانتباه إلى تعزيز التنوع الترجمة.

على وجه التحديد، في كل مرة التي يتم إنشاؤها، عينة عشوائية من الرأس وغطاء الرأس مع انتباهها إلى قيم أخرى. لكن إذا كان كل عينات في كل خطوة ولدت، على الرغم من زيادة كبيرة في التنوع، ولكن أيضا يقلل من جودة الترجمة. لذلك، نقترح خوارزمية محددة: إذا متعددة يتوافق الرأس إلى كلمة مصدر مختلف، يعني أن لحظة هناك أكثر من مرشح معقول، في هذا الوقت ونحن عينات.

على وجه التحديد، ما يلي الخطوات الفرعية:

1، بحيث في كل مرة قيمة انتباه ATT (ط، ت، ح)، وتوليد أول مرة ر ممثل المحطة المستهدفة، أول رئيس ح، انتباه الكلمات ط عشر مصدرا، ونحن نأخذ علما رأس ح أقوى كلمة مصدر المرشح (ر، ح) = argmax (توري (ط، ت، ح)، ط).

2، بحيث تمثل يتم تحديد مصدر المرشح كلمة كرقم، T هو طول من المصدر. ومن الواضح أن مبلغ (ن) = H، H يمثل العدد الإجمالي للرؤساء.

3، إذا كان الحد الأقصى (ن) < = K، ثم أخذ عينات، K هو hyperparametric. هذه الخطوة يمكن أن يفهم على أنه، مبعثرة الاهتمام، يمكن أن يكون هناك مرشح اخر.

كما هو مبين في خوارزمية 1 محددة الخوارزمية.

خوارزمية 1: استراتيجية أخذ العينات

النتائج التجريبية

أجرينا تجارب على مجموعات البيانات NIST في بريطانيا، ومجموعات البيانات WMT14 ينجدي، ومجموعة البيانات WMT16 Yingluo. تقييم ابتدائي على حد سواء، وتنوع جودة الترجمة والترجمة، جودة الترجمة لا يزال يستخدم BLEU التقليدي، وهذا هو بالمقارنة مع ترجمة إشارة (المرجع-BLEU، RFB)، وارتفاع وأفضل نوعية، والتنوع بين استخدام نتائج الترجمة متعددة ولدت وBLEU (زوج حكيم BLEU، برنامج العمل والميزانية)، وانخفاض التنوع أفضل.

وأخيرا، فإننا نقترح مؤشر شامل: لكل وحدة كتلة ترقية التنوع (تنوع تحسين في النوعية، DEQ)، يمثل بالمقارنة مع خط الأساس، فإن نسبة الترويج BLEU BLEU من تنوع وجودة الترجمة خفض، وأكبر كلما كان ذلك أفضل ، مشيرا إلى أن التنوع يمكن تحقيق جودة أعلى بالسعر نفسه.

يتم عرض النتائج في الجداول 3، 4، مقارنة مع الأعمال السابقة، حرصنا على الحفاظ على الجودة العالية نسبيا الترجمة الأساس، لتحقيق مجموعة متنوعة من الترقية.

الجدول 3: تجارب في بريطانيا

الجدول 4: الأنجلو ألمانية التجربة

الجدول 5: يينغ لوه التجربة

وسنعمل من قبل، مجموعة الضوضاء (من أجل إزالة إمكانية الضوضاء لتحقيق التنوع) من يتم رسم النتائج في الشكل (3)، والمحور الأفقي هو RFB، المحور الرأسي هو برنامج العمل والميزانية، الحق السفلى زاوية هو معظم المزايا، فقد بينت النتائج أن طريقة لدينا هي الحق السفلى زاوية.

FIG 3: زوج حكيم BLEU المرجعية BLEU

أكثر الحق السفلى زاوية أكثر ممتازة، وأساليب لدينا هي في الحق السفلى زاوية.

هو الجدول 6 مثالا على ذلك:

الجدول 6: أمثلة الترجمة التنوع

بحثنا أيضا في نتائج أطوال مختلفة، كما هو مبين في الشكل. من الناحية النظرية، مع طول التنوع المتزايد الترجمة ينبغي زيادة، لأن بحث مساحة أكبر، ولكن شعاع البحث بسبب عيوب خلقية، ويعد وطول، وتنوع ما هو أسوأ. ويتحقق نهجنا، مع زيادة الطول، وزيادة تنوع النتائج.

التغيير التنوع مع زيادة طول الجملة: 4

نحن نستخدم هذا التنوع للقيام ترجمة الترجمة العكسية (العودة-الترجمة)، في المملكة المتحدة وتحسنت التجربة البريطانية، كما هو مبين في الجدول 7-8

الجدول 7: عكسي التجارب الترجمة في بريطانيا

الجدول 8: عكس الإنجليزية التجارب الترجمة

وأخيرا، هناك حوار التجريبية، ولكن أيضا التحقق من صحة استنتاجنا، كما هو مبين في الجدول رقم 9. انظر أوراق التقييم.

الجدول 9: تجربة الحوار

ملخص

في هذه المقالة، ونحن قد وجدت الخصائص الهيكلية الكامنة في نموذج محول واستخدامها لوضع خوارزمية الترجمة إلى الأمام ولدت التنوع من الأعمال السابقة، والتي يمكن الحصول على المزيد من التنوع على أساس من نوعية متساوية. الاستفادة من أسلوبنا في خوارزمية الترجمة العكسية، وقد حققت استراتيجية الحوار نتائج أفضل من أي وقت مضى.

جنوب NLP مجموعة دراسة

بدأت جامعة نانجينغ الطبيعية المجموعة المعالجة الآلية للغات في مجال البحوث معالجة اللغة الطبيعية في 1980s. قامت وفي هذا المجال 18 بلد المشاريع العلمية والتكنولوجية، 863 مشاريع، بلد مؤسسة العلوم الطبيعية ومؤسسة العلوم الطبيعية في مقاطعة جيانغسو وتطوير عدد من مشاريع التعاون الدولي. من بينها، تحمل بلد خمسة وسبعون في مشروع علمي وتكنولوجي "اليابانية-الصينية بحث نظام الترجمة الآلية" خمسة وسبعون بلد تخصص جوائز الإنجاز العلمي والتكنولوجي، ومجلس تعليم العلوم والتكنولوجيا جائزة التقدم والعلم وجيانغسو والتكنولوجيا جائزة التقدم.

الفهم التحليلي من لغة الإنسان هي واحدة من المشاكل الهامة الذكاء الاصطناعي، قامت مجموعة الدراسة الكثير في اتجاه معالجة اللغة الطبيعية، والعمل في العمق. في السنوات الأخيرة، والتركيز اهتمام تحليل النص، والترجمة الآلية، وسائل الاعلام الاجتماعية التحليل توصية، ومسابقات، وغيرها من القضايا الساخنة، دمج الأساليب الإحصائية وعمق أساليب التعلم نمذجة وحل المشكلات، وحققت نتائج مثمرة. في هذه الدراسة، وهي مجموعة دولية من الشركات الرائدة معالجة اللغة الطبيعية اجتماع لمدة ثلاث سنوات متتالية نشرت العديد من الصحف على ACL، ويتصدر الذكاء الاصطناعي الدولي اجتماع وقد نشر العديد من المقالات حول IJCAI وAAAI، النظم ذات الصلة في الترجمة الآلية، كلمة تجزئة الصينية، والتعرف على كيان اسمه، والحوسبة الوجدانية وغيرها التقييم الدولي والمحلي من بين أفضل.

المختبر العزم على دراسة وحل المشكلات والتحديات التي تواجهها في معالجة النصوص التقليدية وتحليل موارد الإنترنت، والعمل بنشاط على استكشاف مختلف تطبيقات معالجة اللغة الطبيعية. إذا كنت أيضا ولدينا مصلحة مشتركة أو هدف، مرحبا بكم في الانضمام إلينا!