بينك وبين "فهم AI"، سوى ورقة رقيقة

العديد من القراء مرة أخرى إلى الرسالة الأساسية للملك، ويقول شهد الكثير من منهجية منظمة العفو الدولية ومنظمة العفو الدولية بسيطة نسبيا من العلم، نريد أن نرى نقطة من العمق، سمك، لديه رؤية ...... وأوراق النكهات المهنية.

تحقيقا لهذه الغاية، وذلك بمساعدة عدد من الخبراء والعلماء في مجال AI، نفسر أن مجموعة أعلى تترجم الأوراق. اكتمال كل ترجمة التدقيق المقال، فإن الملك والمعلمين الأساسية التحرير يضحكون تعطل معا، وبطبيعة الحال، ونحن نرى بعض الصحف بكت.

الطلاب كان بوكان أن نفهم أنه لا يهم الآن، ولكن ضمان العاهل الأساسية التي سوف تقع يوما واحدا في الحب، وبالتالي عالما جديدا من منظمة العفو الدولية.

القراء الأساسية قراءة أوراق مجموعة التبادل جراحة، الرجاء إضافة سلسلة صغيرة مايكرو إشارة: zhizhizhuji . في انتظاركم.

هذا هو تفسير العملية الأساسية للقراءة 17 أوراق

ACL 2017 ورقات قصيرة

واستنادا إلى دراسة الهجرة على نطاق واسع من أسئلة المسابقة إشراف البيانات الحبيبات غرامة

مسألة الرد من خلال نقل التعلم من واسع الحبيبات الجميلة بيانات الإشراف

جامعة سيول الوطنية

جامعة سيول الوطنية

مجردة عن طريق التحويل التدريب نموذج التعلم في مختلف على نطاق واسع، يمكن أن مجموعات البيانات QA-الحبيبات غرامة تحسن ملحوظ في النتائج المهمة Q (QA). كما المستخدمة هنا، ونقل فرقة تعلم التقنيات الأساسية لتحقيق أفضل النتائج في مجموعتي البيانات QA مدروسة جيدا والحالية WikiQA SemEval-2016 (مهمة 3A) في. لWikiQA، لدينا نموذج تأثير تحسنا 8 خلال أفضل نموذج السابق. كما وجدنا أنه من خلال التحليل البصري والنتائج الكمية وأساليب أكثر تطورا من الرقابة يمكن أن توجه أفضل من تعلم المفردات وتركيب المعلومات الإشراف خشن الحبيبات. كما أظهرت أحدث نتائج دراسة مماثلة لبرنامج الهجرة على النص يحتوي على المهمة.

1 مقدمة

، قدم أسئلة وأجوبة (QA) والمشكلة هي أن معالجة اللغة الطبيعية (NLP) تحديا على المدى الطويل في مجال الباحثين في السنوات القليلة الماضية بعض الأمثلة ومجموعات البيانات لهذه المهمة. هذه الأمثلة تختلف في السؤال، والجواب على نوع وحجم بيانات التدريب، مثل من بضع مئات إلى عدة ملايين.

السياق علم QA نموذج يمكن الحصول على إجابات على كل سؤال من السياق (الفقرة أو قائمة الجملة) التي تأتي مع إشارته. في هذه الحالة، وهما من أبرز ما في هذا النوع من مستوى الجملة إشراف (على مستوى الجملة) الحبيبات الخشنة ومستوى الكلمة الحبيبات غرامة (على مستوى العمر). QA في مستوى الجملة، والمهمة لاختيار الأكثر ملاءمة لقضية الحكم في قائمة المرشحين (يانغ ETAL.، 2015). في QA-مستوى الكلمة، والمهمة لإيجاد الحد الأدنى كلمة تباعد على الأسئلة إجابة لفقرة معينة (Rajpurkar وآخرون، 2016).

في هذه المقالة، والهجرة القياسية من خلال نموذج التعلم دربنا إلى مجموعات بيانات QA-مستوى الكلمة كبيرة للتعامل مع القضايا QA مستوى الجملة عورة. علينا أن نبرهن على الأهداف والمهام لا تستفيد فقط من حجم مجموعة البيانات المصدر، ولكن أيضا الاستفادة من القدرة على الحبيبات غرامة طريقة تجزئة أفضل أشرف تعلم المفردات وتركيب المعلومات.

لمجموعة من البيانات المصدر، نحن فرقة مسبقا المدربين (Rajpurkar وآخرون، 2016)، والذي صدر مؤخرا كلمة إشراف مجموعات البيانات QA. لنماذج المصدر والهدف، ونحن نستخدم BiDAF (سيو وآخرون، 2017)، والرسوم البيانية جمع البيانات أداء واحدة من أفضل النماذج. بالنسبة لبعض مجموعات البيانات، قمنا بتقييم اثنين من أحدث البيانات المنصوص QA، WikiQA (يانغ ETAL.، 2015) وSemEval 2016 (3A المهام) (Nakov وآخرون، 2016)، الذي فرقة لها خصائص مختلفة. وتشير النتائج التي توصلنا اليها WikiQA زيادة بنسبة 8، SemEval 1 تحسن. وبالإضافة إلى ذلك، فإننا الإبلاغ عن هجرة مماثلة في المرضى عملية التعلم (Marelliet الله.، 2014) الصينية هذا يعني الاعتراف (RTE) من أحدث الإنجازات التكنولوجية.

(2) وخلفية البيانات

نماذج التعلم الآلي الحديثة، وخصوصا الشبكات العصبية العميقة، وغالبا ما تستفيد بشكل كبير من دراسة الهجرة. وقد تبين شبكات عميقة التفاف العصبية في رؤية الكمبيوتر، على النحو ImageNet (دنغ وآخرون، 2009)، وأخرى على نطاق واسع مجموعات البيانات تصنيف الصور للتدريب لتكون النماذج المستخدمة لتهيئة المهام البصرية الأخرى، مثل الكشف عن وجوه (زيلر وفيرغوس، 2014). في معالجة اللغة الطبيعية، فن التكيف تحليل عموما (McClosky وآخرون، 2010) والاعتراف كيان اسمه (Chiticariuet الله.، 2010) بموضوع الهامة. مع شعبية التمثيل الموزعة، مثل word2vec (Mikolov وآخرون، 2013b، أ) والقفازات (بنينجتون وآخرون، 2014) من قبل الأجل نموذج التدريب الموجه يستخدم أيضا على نطاق واسع في مهمة اللغة الطبيعية (Karpathy وفي في، 2015؛. كومار وآخرون، 2016). وبالإضافة إلى ذلك، ونحن نستخدم مجموعة البيانات QA تهيئة النموذج، وتبين كيفية نقل التعلم تركز المعايير على تحقيق أفضل نتيجة في البيانات QA الهدف.

NLP لديها العديد من سبيل المثال QA، يمكن تصنيفها وفقا لطريقة الإشراف على الأسئلة الخلفية والجواب. هذه الخلفية يمكن أن يكون من المعرفة منظم ومحدود (Berant وآخرون، 2013)، إلى اللغة الطبيعية غير منظم وغير محدود (على سبيل المثال، وهي وثيقة (فورهيس وتايس، 2000) على الشبكة) وغير منظم ولكن قيود (على سبيل المثال، الجملة أو الفقرة (Hermannet الله.، 2015)). التقدم الأخير من الشبكة العصبية المتقدمة إلى الإجابة على هذه الأمثلة من العديد من النماذج والبيانات الناجحة مجموعات (Rajpurkar، الخ، 2016؛ يانغ وآخرون، 2015؛ نغوين وآخرون، 2016؛ Trischler وآخرون، 2016). إنتاجها. هذه مجموعة بيانات نوع الجواب يمكن تقسيمها إلى ثلاث فئات: مستوى الحكم، في كلمة السياق التباعد ومجدد. في هذه المقالة، فإننا نشعر بالقلق بشكل خاص إزاء الأولين، ويعرض كلمة نموذج الإشراف على التعلم بشكل أفضل بناء الجملة وميزات المفردات. في هذه المجموعة البيانات، وصفنا لفترة وجيزة مجموعات البيانات الثلاث QA المستخدمة هنا للتجربة. كما انه يعطي وصفا لمجموعة من البيانات RTE، على سبيل المثال المهام غير QA. رؤية مجموعات البيانات سبيل المثال عرض في الجدول 1.

فرقة (Rajpurkar وآخرون، 2016) هي مجموعة البيانات استنادا إلى أحدث الفاصلة كلمة QA، الذي يحتوي على سبيل المثال 100K / 10K التدريب / التنمية. كل مثال من سياق الفقرة من ويكيبيديا والإنسان خلق من هذه المشكلة، فإن الجواب هو كلمة الفاصلة السياق.

SQUAD-T فرقة تعديل مجموعة البيانات لدينا، للسماح للQA الجملة المختارة. ( 'T' الحكم). وسيتم تقسيم السياق نحن من الفقرة أسفل إلى الجمل، والمهمة هو وضع تصنيف يتضمن أجوبة على كل جملة. وهذا يتيح لنا للإشراف بين كلمة في الإشراف الجملة و البيانات QA يحدد مقارنة عادلة تدريب مسبقا.

WikiQA (يانغ ETAL.، 2015) هو الجملة مجموعة البيانات على مستوى QA تحتوي على 1.9k / 0.3k أمثلة التدريب / الجواب التنمية. بنج كل سبيل المثال يحتوي الاستعلام المستخدم الحقيقي واسترداد قصاصات المادة بنج ويكيبيديا، تحتوي على ما معدله 18.6 الجملة. تتمثل مهمتها في تقديم إجابة على سؤال ما إذا كانت العقوبة على كل تصنيف.

SemEval 2016 (3A المهام) (Nakov وآخرون، 2016) هي مجموعة البيانات QA مستوى الجملة، حيث تضمنت 1.8k /0.2k / 0.3k التدريب / تطوير / اختبار العينة. ويتكون كل سبيل المثال من 10 أسئلة المستخدمين وتعليقاتهم. كل مهمة هي التعليق على ما إذا كانت المشكلة تتصل التصنيف.

SICK (Marelliet الله.، 2014) يستخدم لتحديد النص يحتوي على (RTE) مجموعات البيانات، حيث تضمنت 4.5K / 0.5K / 5.0K التدريب / تطوير / اختبار العينة. يحتوي كل المثال افتراض وفرضية، والهدف هو تحديد ما إذا كانت فرضية يحتوي على افتراضات متناقضة أو محايدة (وبالتالي مشكلة التصنيف). وتبين لنا أيضا نتائج المرضى، لإظهار يمكن أيضا الإشراف كلمة من مجموعة البيانات QA أن تستخدم لمجموعات البيانات غير QA.

3 نموذج

من بين العديد من نموذج مستوى الكلمة اقترح مهمة QA، ونحن نستخدم نموذج مفتوح المصدر، BiDAF (سيو وآخرون، 2017).

BiDAF . مساهمة في هذا النموذج هو مشكلة وسياق الفقرة ف س. ثم، واختيار أفضل مجموعة الإجابة النموذجية، وهما

حيث كنت < = J. هنا،

و

هي بداية ونهاية احتمال ط عشر عنصرا.

وهنا وصفنا لفترة وجيزة لنقل التعلم إلى مستوى الجملة QA مهم جدا وحدة مستجيب. أدخل وحدة الارسال هو عبارة عن سلسلة من نواقل

، كل ناقلات ترميز العلاقة بين المعلومات سياق ط عشر وما يكفي من الكلمات في كلمة وعبارة المشاكل المحيطة. ثم تأثير وحدة الارسال هو تعيين كل ناقلات مرحبا في بداية ونهاية مواقف احتمال

و

.

BiDAF-T وهو يشير إلى نسخة معدلة من BiDAF لجعلها متوافقة مع QA مستوى الجملة. ( 'T' الحكم). في هذه المهمة، وإدخال عبارة عن قائمة من الأسئلة والجمل ف،

حيث T هو عدد الجمل. علما بأن إجابات مختلفة على كل من المثال الناتج الفردي BiDAF، نحن بحاجة لتصدير تصنيف C لكل من ك ث الجملة.

منذ BiDAF نموذج اختيار الكلمات ينقسم، وبالتالي لا يمكن استخدامها مباشرة للتصنيف على مستوى الجملة. ولذلك، فإننا استبدال BiDAF مع مختلف حدة وحدة مستجيب استجابة الأصلية، ويحافظ على نفس وحدة وBiDAF غيرها من وحدات. ونظرا لحدة باقة جديدة

المدخلات، حيث الجمل مؤشر مرتفع (1kT)، نحصل على C ك عشر درجة تصنيف الجملة باستخدام طريقة تجمع أقصى حد أقصى تجميع،

:

بين

وهي قابلة للتدريب الوزن المصفوفة والتحيز، وظيفة لكل ماكس تطبيقات عنصر ().

لWikiQA وSemEval عام 2016، وعدد من الفئات (C) هو 2، وهذا هو، كل جملة (أو مراجعة) هي ذات الصلة أو غير ذات صلة. وذلك لأن لبعض المؤشرات من هذه مجموعات البيانات تحتاج إلى ترتيب كاملة، لذلك نستخدم الاحتمال المتوقع "ذات" علامة التبويب لفرز الجملة.

لاحظ أنه يمكن استخدامها BiDAF-T أيضا مجموعة البيانات RTE، يمكننا أن نفترض كمشكلة، كما تصنف الجمل السياق مسبق (T = 1)، وينقسم إلى كل من الأمثلة، "يحتوي على"، "محايد"، أو "التناقض" (C = 3).

التعلم نقل . التعلم نقل بين العمارة نموذج نفس واضح وصريح: نحن أولا استخدام الحق في نموذج مصدر مجموعات بيانات المصدر قبل المدربين التهيئة الوزن الثقيل من طراز الهدف، ومن ثم استخدام مجموعة البيانات المستهدفة مزيد من التدريب (صقل) نموذج الهدف. من BiDAF (على فرقة) نقل إلى BiDAF-T، ونحن ترحيل كافة الأوزان من نفس وحدة، وتهيئة وحدة باقة جديدة BiDAF-T هو قيمة عشوائية. لمزيد من التفاصيل التدريب، انظر الملحق A.

الجدول 1 من المشكلة QA من مجموعة البيانات السياق ومجموعة البيانات قدمت من RTE إلى مثال افتراضي. Q يمثل مشكلة، C يدل السياق، A يمثل الجواب، P يمثل فرضية، ومن المفترض H.

التجربة 4

الجدول 2 WikiQA SemEval-2016 والنتائج (3A مهمة). نتائج غير قابلة للمرحلة ما قبل التدريب نموذج من الصف الأول، * يمثل مجموعة من الأساليب. استخدام متوسط الدقة متري (MAP)، يعني رتبة النسبية (MRR)، التصنيف 1 (P @ 1) ومتوسط نذكر (AvgR). رتبة 1،2،3 إظهار نتائج الأعمال السابقة التي أمر بها MAP. لWikiQA، وأنها تأتي من وانغ andJiang (2017a)؛ تيموشينكو وآخرون (2016) ؛. ميلر وآخرون (2016)، .. لSemEval2016، وأنها تأتي من Filice ETAL (2016)؛. Joty وآخرون (2016)؛. ميهايلوف وNakov (2016) .. فرقة * & هي نتائج أحدث التقنيات في كل من مجموعات البيانات.

نتائج الإجابة على الأسئلة . ويبين الجدول 2 نتائج لدينا الأكثر تقدما في WikiQA وSemEval-2016 للهجرة الدراسة، وأداء النموذج السابق وعدد من طريقة مبسطة لا تستخدم قبل المدربين أو لا صقلها. الجدول 2 هناك عدد وافر من ملاحظة مثيرة للاهتمام التالية:

نموذج (الصف الأول من الجدول 2) التدريب BiDAF-T (أ) مجموعة البيانات الهدف إذا لم نفعل ذلك فقط في المدربين قبل، النتائج السيئة. وهذا يدل على أهمية دقيقة قبل التدريب والتدريب.

(B) للSQUAD فرقة-T وقبل التدريب (الصف الثاني والثالث) يمكنك الحصول على مقربة من تركيز تكنولوجيا أحدث النتائج البيانات WikiQA، ولكن لا يمكن تنفيذها في SemEval-2016. ومن المثير للاهتمام، والنتائج التجريبية لدينا على SemEval-2016 ليست أفضل من لا تنطبق على نقل التدريب إلى تعلم أفضل. نحن التكهن بأن هذا يرجع إلى اختلافات كبيرة بين SemEval-2016، على التوالي، من المجتمع والمناطق ويكيبيديا وفرقة.

(C) باستخدام طريقة ضغط (الصف الرابع والخامس) من تشكيلة المنتخب-T وتدريبا قبل على WikiQA، أثره هو أفضل بكثير من أعلى نظام التصنيف (أكثر من 5). بل هو أيضا أفضل من المركز الثاني نظام التصنيف SemEval 2016، والثانية فقط إلى 1 من النظام الأول.

(D) واسطة نقل التعلم ما قبل التدريب في الرقابة على مستوى كلمة (فرقة)، ويمكن مقارنة ما يقرب من الجملة الإشراف (فرقة-T)، للحصول على نتائج أفضل،

وأخيرا، كنا 12 طرق مختلفة تدريبية متكاملة لا تزال نفس العمارة BiDAF، الذي ركز على أفضل النتائج الحالية تحققت في البيانات اثنين. النظام WikiQA من أعلى نظام التصنيف يتجاوز 8، ونسبة أفضل نظام في كل SemEval-2016 في كل من متري أفضل من 1. ومن المهم أن نلاحظ أنه في حين انتقلنا إلى WikiQA أصغر في نطاق واسع SQUAD حقا فائدة، ولكن نظرا فرقة-T وفرقة ( > الفجوة بين 3)، نجد أن الإشراف كلمة يلعب دورا هاما للغاية.

تغيير حجم مجموعة البيانات قبل التدريب . فرقة نغير حجم مجموعة البيانات المستخدمة خلال مرحلة ما قبل التدريب، واختبار WikiQA من صقل. وتظهر النتائج في الجدول 3. كما هو متوقع، خريطة على WikiQA فرقة مع حجم الانخفاض. والجدير بالذكر، وانخفاض قبل المدربين في MAP (الجدول 2) تنتج عن فرقة T-ما قبل المدربين على نسبة 50 SQUAD 0.5 نقطة. وبعبارة أخرى، فإن قيمة ما قبل التدريب نحت إشراف على مستوى الكلمة هي ضعف مستوى البيانات وإشراف الجملة أعلاه. وبالإضافة إلى ذلك، حتى الصغير ذو الحبيبات غرامة إشراف البيانات أيضا مفيدة، 12.5 من لاعبي الفريق مع ميزة أكثر من سبع نقاط خلال دون شروط مسبقة، التدريب قبل التدريب.

تحليل . ويبين الشكل 1 مخطط 1 مشاكل في التعلم المحتملين WikiQA ومثال واحد من الجمل السياق. رسم خرائط أعلى فرقة-T (الجدول 2 يتوافق مع فرقة-T & نعم) وقبل المدربين، والجزء السفلي من التعيين غير مدربين تدريبا قبل على فرقة (فرقة ونعم). أكثر أحمر اللون، وارتفاع العلاقة بين الكلمات. وهنا اثنين من الظواهر المثيرة للاهتمام لوحظ.

أولا، والتشكيلات ما قبل تدريب نموذج (القاع)، ونحن نرى وجود علاقة ارتباط عال بين السؤال وطائرات ايرباص السياق والفضاء، ولكن فرقة-T قبل المدربين النماذج لا تعلم هذه المراسلات.

الجدول 3 نتائج المنتخب وجود أحجام مختلفة من مجموعة البيانات المستخدمة في مرحلة ما قبل التدريب. كل هذه على ما يرام ضبطها واختبارها على WikiQA.

ويبين الشكل 1 المراسلات بين WikiQA (أعلى) فرقة-T ونموذج تدريب ما قبل (القاع) مسألة SQUAD تدريب ما قبل نموذج (الرأسي) والسياق فرعية (أفقي). أكثر الحمراء، وارتفاع الارتباط.

ثانيا، نرى الشكل فرقة نموذج ما قبل التدريب هو أكثر متفرق، كما هو موضح لتحديد أكثر دقة المراسلات بين القضايا وسياق الكلام. في الواقع، نحن مقارنة فرقة & Y وتبعثر فرقة-T & Y في عينات الاختبار WikiQA. تبعثر هيرلي وريكارد (2009)، الذي يعرف من FIG.

حيث الرسم عبارة عن مجموعة من القيم بين 0 و 1، نحدد قيمة أصغر من 0.01. تبعثر الرسم البياني هو مبين في الشكل. متوسط سبيل المثال اختبار تبعثر WikiQA بين فرقة ونعم وفرقة-T ونعم 0.84 و 0.56 على التوالي.

مزيد من التحليل، بما في ذلك تحليل تحليل الأخطاء والتصور، الملحق B.

يحتوي النتائج . بالإضافة إلى التجارب QA، وتبين لنا نموذج الإشراف والتدريب QA في كلمة يمكن استخدامها للنص يحتوي على المهام (RTE). ويبين الجدول 4 نتائج BiDAF-T على المرضى مجموعة البيانات التعلم نقل (Marelliet الله.، 2014)، مع مختلف برامج ما قبل التدريب. يرجى ملاحظة، SNLI (بومان آخرون 2015) هي مهام مماثلة المرضى، وأكبر بكثير (150K / 10K / 10K التدريب / تطوير / اختبار سبيل المثال). نحن هنا لاحظ الظواهر الثلاث التالية:

(A) تدريبا قبل على المنتخب BiDAF-T ليس أفضل حالا من 6 من أي مرحلة ما قبل التدريب، وأفضل من 2 على تدريب ما قبل فرقة-T، مما يدل على أن دراسة الهجرة توفر تحسينات هامة لكلمة كبيرة الرقابة QA .

(B) قبل التدريب SQUAD + SNLI من فقط على SNLI المدربين قبل. نظرا SNLI أكبر من التشكيلات، والفارق في الأداء هو مؤشر قوي على أننا لن تستفيد فقط من حجم المنتخب أيضا الاستفادة من الحبيبات غرامة منهجية الرصد التي توفرها.

(C) استخدام برنامج التدريب الشامل قبل SQUAD + SNLI، أفضل من 2 أعلى المستوى السابق.

والجدير بالذكر أن مذكرة التفاهم وآخرون (2016) أيضا SNLI قبل التدريب، وأظهرت فعالية المرضى.

تبعثر FIG. المدربين قبل 2 فرقة T-نموذج (فرقة-T & نعم، الأزرق) نموذج تدريب قبل وSQUAD (فرقة ونعم والأحمر) هو مبين في (المعادلة 2) الرسم البياني. SQUAD قبل التدرب نموذج (0.84) أعلى بكثير من متوسط تبعثر فرقة T-نموذج ما قبل المدربين (0.56).

الجدول 4: SICK تحسب بالضبط النتائج. الصف الأول يشير التدريب فقط المرضى. * تشير إلى طريقة التكامل.

5. الخاتمة

في هذه الورقة، وتبين لنا WikiQA وSemEval-2016 (3A مهمة) من معظم نتائج متقدمة، فضلا عن المهمة على المرضى، على التوالي 8 من الطريقة السابقة، 1 وزيادة بنسبة 2. لقد وجدنا أن نقل معيار التعلم للإشراف على مستوى الجملة التي كتبها Q & Q نموذج تحت إشراف مستوى الكلمة كبير المدربين، يمكن أن يعزز إلى حد كبير تأثير الرقابة على مستوى الجملة من الأسئلة والأجوبة. وفي الوقت نفسه، يمكن تطبيق هذه الدراسة الهجرة إلى المهام NLP أخرى، مثل يحتوي على النص.

ورقة رابط التحميل:

إرسال رسالة الابهام دائرة الأصدقاء

معا نستكشف AI الهبوط الكيلومتر الأخير

الصحافة وتحديد رمز ثنائي الأبعاد التي يمكن أن تضاف الاهتمام

يونيو القراءة الأساسية أحبك