لى لين مترجم الانتهاء

تقارير و qubit | عدد ملفه QbitAI

دعونا الشبكات العصبية لفهم معنى كل كلمة سهلة، ولكن العلاقة بين السياق، كلمات، لا يزال معالجة اللغة الطبيعية (NLP) في هذه المشكلة.

وجدت مجموعة Salesforce NLP من الباحثين من أقرانهم التعرف على الصور لديك فكرة جيدة، فمن يستحق المحاولة.

في مجال التعرف على الصور، أصبح على ImageNet CNN وانها جلبت في مع غيرها من نموذج التعرف على الصور وتدريب ما قبل تقليدا. هذه الهجرة إلى معالم النموذج تدريبهم على طريقة النموذج الجديد، وهو انتقال الحرارة كبير التعلم من خلال العامين الماضيين.

فهم السياق، بل هو مشكلة كبيرة لدراسة الهجرة.

تعلمت في الترجمة

يمكننا أن نفكر في معظم المهام البرمجة اللغوية العصبية، و"فهم السياق" من الطلب.

احتياجات الترجمة الآلية نموذج لمعرفة الجمل الإنجليزية من هذه الكلمات يتم تجميعها معا كيفية ترجمتها بشكل صحيح إلى لغة أخرى، التلقائي ضرورة النص نموذج تلخيص لفهم السياق من أجل معرفة الكلمات التي هي الأكثر أهمية، ونماذج Q في حاجة الى معرفة المشكلة كيف كلمة المرتبطة كلمة في الوثيقة.

منذ احتياجات الجميع، وهي مهمة لا يمكن اختيار التدريب "لفهم السياق" من المكونات، ومن ثم استخدامها في مهام أخرى؟

 قبل التدريب والتعلم الآلي مع التشفير، متجه السياق الناتج (كوف) يمكن أن تحسن أداء النماذج NLP أخرى

ورقة Saleforce جديد تعلمت في الترجمة: سياقها كلمة المتجهات قل هي المشكلة.

بريان مكان وغيرهم من الباحثين لأول مرة من قبل الإنجليز - فهم الكلمات في الترجمة الألمانية في المهام المذكورة أعلاه، وتدريب نموذج الشبكة العصبية، الحصول على استدعاء " السياق ناقلات (ناقلات السياق، كوف) "إخراج.

وبعد ذلك استخدام تحليل المشاعر كوف الدلالي، مشاكل التصنيف، يحتوي على النص، على الأسئلة والإجابات والمهام NLP أخرى، تم تحسين أداء هذه النماذج.

ناقلات كلمة

اليوم، معظم نموذج التعلم NLP العمق، تعتمد على ناقلات كلمة (كلمة ناقلات) لتمثيل معنى. قبل نموذج التدريب للقيام بمهام محددة، قد تكون ناقلات المدى أرقام عشوائية، يمكن أن تستخدم أيضا تهيئة مع أساليب word2vec، والقفازات، FastText أخرى.

word2vec والقفازات لدت كلمة ناقلات المرتبطة اللغة الطبيعية غالبا ما ترتبط كلمة المشارك قوع الكلمة، التي من شأنها أن توقع نموذج word2vec على أساس إدخال الكلمات ذات الصلة في جميع أنحاء كلمة، والقفازات وعلى هذا الأساس، سوف يكون هناك كلمتين إحصاءات وتيرة شارك في حدوثها.

استخدام word2vec ومهمة تدريب قفاز NLP في كلمة كلمة ناقلات من تأثير ناقلات التهيئة العشوائي هو أفضل، ولكن هناك مجال للتحسين:

نماذج في حاجة الى معرفة كيفية استخدام هذه الكلمات ناقلات وهذا هو، كيفية وضعها في سياقها.

فهم السياق

لفهم الكلمات في سياقها، التي تستخدم عادة الشبكة العصبية المتكررة (RNN). RNN يعتبر مثاليا لمعالجة النصوص تسلسل ناقلات، المؤلف من أجل التعامل بشكل أفضل مع تسلسل طويلة، وذلك باستخدام هيكل RNN خاص: طول الفترة الزمنية شبكة الذاكرة (LSTM).

هذا هو التشفير LSTM، الذي الكلمة كما ناقلات المدخلات، والمخرجات ناقلات مخفية. لذا يحاول الباحثون إلى ما قبل تدريب التشفير، فمن الإخراج على مجموعة متنوعة من NLP المهام المشتركة لمكافحة ناقلات الاختباء.

ما هي المهمة قبل التدريب أن تفعل؟ اختاروا الترجمة الآلية.

مقارنة مع المهام NLP أخرى، والترجمة الآلية لديها مجموعة بيانات أكبر، وأكثر ملاءمة للغرض العام ناقلات التدريب اخفاء: فهو أكثر حاجة إلى فهم معنى لغة البرنامج من المهام تصنيف النص.

بعد الانتهاء من مرحلة ما قبل التدريب والباحثين الحصول على LSTM، ودعا MT-LSTM، ويمكن استخدامها لإخفاء ناقلات الناتج هو جملة جديدة. يسمونه هذه النواقل مخفية كوف، ويمكن استخدامها كمدخل لنماذج البرمجة اللغوية العصبية الأخرى.

تأثير انتقال

استكشاف الباحثين Salesforce استخدام كوف في تصنيف النص ونتائج النموذج Q.

استخدموا قواعد البيانات التالية:

• تصنيف المشاعر

• SST-2

  https://nlp.stanford.edu/sentiment/treebank.html

• SST-5

  https://nlp.stanford.edu/sentiment/treebank.html

• شجونه

• قضايا التصنيف

• TREC-6

• TREC-50

• يحتوي تصنيف

• SNLI

  https://nlp.stanford.edu/projects/snli/

• أسئلة وأجوبة

• فرقة

  https://rajpurkar.github.io/SQuAD-explorer/

على كل نوع من المهمة، وأنهم جميعا لا مقارنة بين أساليب مختلفة، وهذا هو، واستخدام الأنواع التالية من تسلسل المدخلات: عشوائية التهيئة ناقلات كلمة مع قفاز كلمة متجه تهيئة بواسطة قفاز + كوف ناقلات كلمة التهيئة.

عند استخدامها معا القفاز وكوف، يحتاج إلى أن يعامل مع المدربين قبل MT-LSTM قفاز الناتج تسلسل للحصول على تسلسل كوف، كل واحدة منها ثم تضاف إلى سلسلة ناقلات على ناقلات قفاز المعنيين.

وتظهر النتائج، والقفازات كوف معا ومع تحقيق أفضل النتائج:

في هذه المهام، وأكبر وآلة التعلم مجموعة التدريب، وذلك باستخدام كوف للأفضل:

استنتاج

بسيطة لتلخيص، فإن هذه الدراسة هو القول، والسماح للAI تعلم ترجمة العلوم، لمساعدته على فهم أفضل للغة، على التصنيف، وأجوبة، والكثير من المهام NLP أخرى سيكون لها أداء أفضل.

روابط ذات علاقة

مقالات مقالات:

https://einstein.ai/research/learned-in-translation-contextualized-word-vectors

ورقة:

بريان مكان، جيمس برادبري، Caiming شيونغ، وريتشارد سوشر. 2017.

تعلمت في الترجمة: سياقها كلمة المتجهات

https://einstein.ai/static/images/layouts/research/cove/McCann2017LearnedIT.pdf

كود PyTorch:

https://github.com/salesforce/cove

word2vec:

https://www.tensorflow.org/tutorials/word2vec

القفازات:

https://nlp.stanford.edu/projects/glove/

FastText:

https://github.com/facebookresearch/fastText

- كامل  -

التسجيل الحدث

8 يو 9 ري (Zhousan) ليلة، المكدسة دعوة مثلث رئيس الوحش عالم انغ Baoxun، وتوليد الحوار سهم التعلم نموذج يقوم على المواجهة، مرحبا بكم في تطبيق

المكدسة تقوم بتجنيد محرر / مراسل، ومقرها في تشونغ قوان تسون في بكين. نتوقع الموهوبين والطلاب المتحمسين للانضمام إلينا! مزيد من التفاصيل، يرجى و qubit عدد الجمهور (QbitAI) واجهة الحوار والرد "تجنيد" كلمة.

و qubit QbitAI

' " تتبع تقنيات AI دينامية جديدة والمنتجات