هذه المقالة نشرت في 2018 في جامعة ستانفورد العمل ACL، ويعرض المقال إطار BabbleLabble تستخدم لتدريب المصنفات لحل التقليدي التدريب الدقة المصنف يتطلب الكثير من التسميات، كل تسمية ولكن تقديم معلومات محدودة فقط (تصنيف ثنائي أ) من المشكلة. ملاحظة توفر تفسير اللغة الطبيعية، تفسير هذه الدلالات محلل تحويل البرمجة وظيفة العلامة، الذي يولد الضوضاء مثل أي عدد من الملصقات تحمل اسما البيانات لتدريب المصنف لكل قرار علامة. في مهمة استخراج ثلاثة العلاقة، وجدنا أنه من خلال توفير الترجمة الشفوية بدلا من مجرد التسمية، يمكن للمستخدم تدريب بسرعة مع كبير المصنف جزء F1.
مقدمة
بروتوكول قياسي للحصول على مجموعة البيانات علامة هو لعرض كل مثال الحواشي الإنسان، لتقييم أهميتها، وتقديم تسميات (على سبيل المثال، تصنيف ثنائي إيجابية أو سلبية). ومع ذلك، بت واحد فقط لكل عينة يوفر المعلومات. هذا يطرح السؤال: إذا كان المعلقون قد أنفقت الكثير من الجهد لقراءة وفهم على سبيل المثال، ثم كيف يمكننا الحصول على المزيد من المعلومات حول هذا الموضوع؟
الأعمال السابقة تعتمد على تحديد جزء المدخلات ذات الصلة، حيث دلائل، وإسقاط حد كبير في عبارة النص، أو صورة العلامة في المنطقة المعنية. ومع ذلك، وأنواع معينة من المعلومات لا يمكن تبسيط بسهولة كجزء من مساهمة الشرح، مثل عدم وجود كلمة أو اثنين على الأقل من الكلمات. في هذا العمل، ونحن الاستفادة من قوة اللغة الطبيعية، ويسمح المعلقين تفسير لتوفير الإشراف على المصنف من خلال اللغة الطبيعية.
على وجه الخصوص، نقترح الإطار، حيث يتم تعيين كل كلمة دلالية لشروح على سبيل المثال أنها توفر تفسير اللغة الطبيعية (انظر أدناه). يتم حل هذه التفسيرات لتمثيل وظيفة المنطق في شكل علامات (LF). يتم تعيين هذه المهام إلى عينة تجريبيا التسمية. ثم، التي أجريت على العديد من الأمثلة تحمل اسما وظيفة علامة، بحيث كمية كبيرة من إشراف أدنى تدريب مجموعة، ثم مجموعة التدريب لتدريب المصنف.
التحليل الدلالي في شكل اللغة الطبيعية هي مشكلة تحدي، وتمت دراسة على نطاق واسع. واحدة من النتائج الرئيسية لدينا هو أنه في الإعداد لدينا، حتى بسيط قائم على قواعد محلل الدلالي بما فيه الكفاية، لثلاثة أسباب: أولا، وجدنا أن يتم تصفيتها LF الأكثر صحيحة تلقائيا (مثل غويا وهو يتفق مع المثال صلة ذلك؟) أو فائدة (على سبيل المثال، سواء كان يتجنب مجموعة التدريب بأكمله تعيين نفس التسمية؟) LF أشكال الفضاء الثانية منطقية بالقرب من LF الذهب عادة ودقيقة (وأحيانا أكثر دقة) . ثالثا، مزيج من ضعف الرقابة وإنشاء مصادر التقنية يمكن أن يتسامح مع بعض الضوضاء. بمعنى أن نتمكن من نشر نفس محلل الدلالي بين المهام، دون الحاجة للقيام بمهام تدريبية محددة.
العمل ونحن نعمل مع معظم سريفاستافا مماثل، سريفاستافا باستخدام مترجم اللغة الطبيعية إلى المصنفات القطار، ولكن هناك اثنين من الاختلافات الهامة. فهي، أولا، مساهمة مهمة محددة التدريب اللغوي الدلالي والمصنفات، ونحن نستخدم محلل بسيط قائم على قواعد. في الربع الرابع، وجدنا إطار تنظيمي ضعيف لدينا، والكمال محلل الدلالي محلل قائم على قواعد يولد تقريبا نفس الأداء المصب. ثانيا، على الرغم من أنها تستخدم المنطق لشرح شكل ميزة المباشرة المتاحة للمصنف، لكننا استخدامها بمثابة علامة على تدريب مجموعة أكبر. وجدنا أن تحسن 9.5F1 (26 تحسن نسبي) من التي أنتجت باستخدام وظيفة مميزة، حيث وصل عدد من النقاط المتاحة F1 والتحجيم البيانات الخالي من الملصقات.
اختبرنا أسلوبنا على مجموعة البيانات الأدب واثنين من حالات الاستخدام في العالم الحقيقي، لدينا الطب الحيوي المستخرج التعاون مع تحركات البروتينات المرتبطة بمرض الشلل الرعاش من التفاعل النص الحالي. وفقا لخبرة وجدنا أنه عندما يوفر للمستخدم مترجم للغة الطبيعية بدلا من تسمية واحدة، انهم دربوا بسرعة أكثر من المصنف F1 جزء، ما يصل الى اثنين من حيث الحجم. لدينا رمز والبيانات يمكن أن يكون HTTP: // جيثب COM / HasyReals / وجد Bable.
BabbleLabble تفسير إطار اللغة الطبيعية ومجموعة التدريب الخالي من الملصقات البيانات المسمى إلى الضوضاء (انظر الشكل أدناه). هناك ثلاثة عناصر رئيسية هي: محلل الدلالي، ومجموعة من الأكواد مرشح مجمع. محلل الدلالي هي لغة طبيعية مترجم المتحولين مجموعة من الوظائف المنطقية في شكل علامات (LF) من. عامل التصفية دون الحاجة إلى إزالة الملصق LF غير صحيح صحيح قدر الإمكان. وLF الخالي من الملصقات المتبقية على سبيل المثال لإنتاج مصفوفة التسمية. يتم تمرير هذه المصفوفة إلى مجمع تسمية العلامة، والصراعات تتداخل هذه المجموعات المحتملة من التسميات وتسمية إلى كل عينة. ثم يتم استخدام العينة الناتجة لوضع علامة أي نموذج القطار التمايز.
لخلق تفسير المدخلات، المستخدم لعرض الخالي من الملصقات مجموعة البيانات D هو مجموعة فرعية من S (حيث | S | "| D |)، ويي التسمية وتفسير اللغة الطبيعية لكل إدخال xiS EI، وهو على سبيل المثال لشرح السبب في أن الحكم ينبغي أن تحصل على التسمية. تشير بصفة عامة إلى تفسير الصناعات الاستخراجية جوانب مثالية معينة (على سبيل المثال، في FIG. 2، وسلسلة أحرف محددة "زوجته" موقف).
محلل الدلالي: محلل الدلالي تصنيف ثنائي
إن استخدام تفسير اللغة الطبيعية والعوائد مجموعة من LFS الصناعات الاستخراجية (المسمى شكل منطقي أو وظيفة) {F1، .......، FK}، حيث 0 يمثل امتنعوا عن التصويت. ونحن نؤكد أن هذا الهدف محلل الدلالي هو عدم اصدار قرار صحيح واحد، ولكن يغطي العديد من LFS يمكن أن تكون مفيدة.
لقد اخترنا قائم على قواعد بسيطة محلل الدلالي يمكن استخدامها بدون أي حالة التدريب. يستخدم محلل مجموعة من القواعد من النموذج ، حيث بيتا] [ألفا] يمكن استبدال رمزي (انظر أدناه). من أجل تحديد مرشح LF، نحن بناء قواعد النحو بديلة محددة لتحليل مجموعة من التفسيرات صالحة لكل فترة شيدت بشكل متكرر. وأخيرا، والعودة إلى محلل تحليل تفسير كامل عن نشط المقابلة (ومسح القوى العاملة في المثال الحالي).
نسمح أيضا إلى تجاهل أي عدد من الرموز في فترة معينة من الوقت للعثور على قواعد مطابقة. هذا يحسن من القدرة على التعامل مع مدخلات محلل غير متوقع (مثل كلمة غير معروفة أو خطأ مطبعي)، وقسم مدخلات للحل لا يزال يؤدي إلى إيجاد حل فعال. على سبيل المثال، في الشكل أعلاه، فإن مصطلح "شخص" يتم تجاهل.
وتقدم كل المسندات (أدناه) المدرجة في بناء الجملة إلى مترجم، وذلك باستخدام المثال كل المسند نادرا. الأهم من ذلك، لديهم جميع القواعد علاقة مع المجال لا شيء (على سبيل المثال، كل العلاقات ثلاث استخراج مهمة اختبرنا استخدام نفس بناء الجملة)، بحيث محلل الدلالي من السهل نقل إلى مجال جديد. وعلاوة على ذلك، على الرغم من أن تركز المادة على العلاقة بين مهمة المستخرجة، ولكن في إطار BabbleLabble المبدأ باستخدام الأوليات الضرورية بمد جملة (على سبيل المثال، الصفوف والأعمدة ويمكن أن يضاف لشرح اليجنر الخلية) أو ترتيبها ليتم تطبيقها على مهام أخرى. TS قائمة الكلمات). من أجل بناء دليل النحو ونجتمع من موظفي الأمازون آلات الترك 500 تفسير نطاق الزوج، ويضيف دعما للالأفعال الأكثر شيوعا. تحتوي القاعدة النحوية 200 قالب.
تصفية البنك: مدخلات مجموعة المرشح هو مجموعة من القوى العاملة للمرشح الناتجة عن محلل الدلالي. ومن المقرر الشبكات المرشحة لتجاهل مثل كثير LF صحيحة دون الحاجة لإرفاق تسميات. ويشمل نوعين من الفلاتر: الدلالية والبراغماتية.
تذكر أن كل الصناعات الاستخراجية وأوضح في سياق مجموعة معينة من الأمثلة المسمى (الحادي عشر، يي) في. الشيكات مرشح الدلالي تتعارض مع بهم مثال LFS المقابلة؛ لو (الحادي عشر) يي تجاهل أي LF و. على سبيل المثال، في شخصية التفسير الثاني، "الحق" قد تفسر على أنها كلمة "الآن" (على سبيل المثال، "الحق قبل") أو ببساطة "الحق". يؤدي التفسير الأخيرة إلى مثال ذات الصلة وظيفة غير متناسقة (لأن "زوجته" هو في الواقع إلى اليسار الشخص 2)، حتى تتمكن من إزالته بأمان.
عملية تصفية ثابت يزيل LFS زائدة عن الحاجة أو ذات الصلة. على سبيل المثال، في الرسم البياني الثاني، LF 2A هو ثابت، لأنه المسمى بنشاط في كل مثال (تشمل المثالين لأن كل شخص من نفس الجملة). LF 3B لا لزوم لها، لأنه حتى وإن كان لديه مختلف 3A شجرة جملة LF، يسمى أيضا مجموعة التدريب، لا توجد إشارات جديدة.
وأخيرا، كل ذلك من خلال نفس الحساب لجميع المرشحات LF أخرى، نحتفظ فقط معظم (الحد الأدنى من التغطية) LFS محددة. وهذا ما يمنع متعددة LFS ذات الصلة تهيمن من عينة واحدة.
الكلمات مجمع: عدد وافر من التسمية ملزمة من LFS مجمع (ربما متضاربة) توصيات التسمية، ويجمع بينهما في علامة الاحتمالية واحدة. على وجه التحديد، إذا ما طبقت على سبيل المثال ن وم LFS عن طريق مصرف التصفية، ثم حققت ظائف تسمية مجمع و: {- 1، 0، 1} م ن ن.
كما المستخدمة هنا، نموذج البرمجة العلائقية بطاقة البيانات الحقيقية وإخراج بطاقة بعامل FIG. الأرقام الحقيقية نظرا Y {1،1} ن (المحتملة) ومصفوفة تسمية (لاحظ)، التي نحدد التوجيه وتسمية دقة يمثل عاملين:
ويرد تعريف نقطة البيانات إلى XJ ناقلات
نموذج المحدد:
بين
هو متجه الوزن، ZW هو ثابت التطبيع. لمعرفة النموذج دون معرفة التسمية الحقيقية Y، للحد من العلامات الملاحظة نظرا
السلبية السجل احتمال هامشية:
SGD واستخدام جيبس أخذ العينات الاستدلال، ثم الحافة
كما أن احتمال تسميات التدريب.
نموذج التمايز: مجموعة التدريب باستخدام علامة التسمية الضوضاء الشريط الانتاج البلمرة تدريب نموذج التمايز التعسفي. يتم تحديد ميزة واحدة من التدريب في نموذج مهمة مباشرة بدلا من استخدام العلامة كما في المصنف البلمرة أنه ليس هناك سوى تلك العلامة مجمع المعلومات LF المدرجة في الاعتبار. من ناحية أخرى، يمكن للمستخدم أن جنبا إلى جنب مع نموذج التمايز ولكن كمية كبيرة من الخصائص المعلومات من مجهولي الهوية. ولذلك، حتى إذا تم إهمال كلها أمثلة يمكن أيضا أن تصنف LF بشكل صحيح. وتشير النتائج التي توصلنا إليها في المهام الثلاث، وذلك باستخدام النموذج باستخدام علامات التمايز مباشرة فوق F1 polymerizer 4.3 نقطة.
للحصول على نتائج هذه الدراسة، توصلنا إلى نموذج بسيط اللوجستيكي المصنف الانحدار، تتسم عموما تعتمد مميزة على طريق المعرفة. يما هذه الميزات تشمل أحادية، دي، الثلاثية النحو والتسمية المعتمدة، وجدت التسمية في الكلام وشقيق العقدة الأصل. لقد وجدنا أنه، في المتوسط، وهو أفضل من أداء biLSTM، خاصة بالنسبة للحجم أصغر من مجموعة التدريب من خط الأساس الرقابة التقليدية، بل يوفر أيضا تفسير سهل من الميزات للتحليل.
قمنا بتقييم دقة الثلاثة BabbleLabble مهمة استخراج العلاقة، فإننا ندعو الزوج، الأمراض والبروتين. أهداف كل مهمة هي تدريب للتنبؤ سبيل المثال اثنين من كيان له مصلحة في العلاقة بين التصنيف، تقارير الجدول التالي الإحصاءات لكل مجموعة البيانات.
هو مبين أدناه هو مثال من كل مجموعة البيانات وتفسيرا لذلك.
BabbleLabble لنا لتقييم الأداء وفقا لإدخال رقم من قبل المستخدم، وآلية تعتمد على الشكل المنطقي باستخدام النموذج المنطقي للتحليل الصحيح.
في الجدول التالي، ونحن التقرير استخدام BabbleLabble تدريب المصنف F1 التهديف المتوسط، واستخدام 30 نوعا من التفسير أو لديك تسمية تشير إلى عدد إشراف التقليدي. في المتوسط، يستغرق وقتا لشرح جمع 30 والوقت الذي يقضيه جمع علامة التبويب 60 هو نفسه. ونلاحظ أنه في جميع المهام الثلاث، BabbleLabble الحصول على F1 جزء معين مع الكثير من الرقابة أقل من إدخال المستخدم التقليدي، يصل إلى 100 مرة في مهمة حالة الزوج. لأن يتم تطبيق العديد من الأمثلة لشرح تحمل اسما، كل المدخلات الفردية من المستخدم قد يكون العديد من المساهمات ضمنا (الضوضاء) المسمى خوارزمية التعلم.
في الجدول التالي، ونحن التقرير إحصاءات موجزة مرشح LF قبل وبعد. تشير LF صحة لدقة مطابقة نتيجة استخراج مع كل تمكنتا من حل ولدت يدويا. والمثير للدهشة، وعامل التصفية الكشف عن مجريات الأمور بسيطة في جميع المهام الثلاث إزالة بنجاح أكثر من 95 من LF غير صحيح، يحدد LF الناتج متوسط معدل دقة 86. وعلاوة على ذلك، تلك الجماعات التي LF مرشح، وجدنا أن متوسط الفرق بين دقة المهمة الأخيرة الاعراب الصحيح وغير الصحيح أقل من 2.5. حدسي، هذه الفلاتر هي فعالة منذ تحليل LF من تفسير، وصفت بشكل صحيح المثالية الخاصة (فلتر الدلالي) وكلها أمثلة من دون نفس التسمية أو نفس العلامة وصفت مجموعة التدريب (عن طريق ملف عملي) فمن الصعب جدا.
نذهب أبعد من ذلك: استخدام محلل الدلالي الناتجة عن الكمال LF كنقطة انطلاق، نبحث عن مهام أكثر الراقية على دقة اختبار مجموعة "قرب" LF (LF فقط مع المسند مختلفة)، ونسبة نجاح 57 (انظر الشكل أدناه).
وبعبارة أخرى، عندما يوفر للمستخدم لشرح، ووصف المعلومات التي يقدمونها جيدة الداعمة، ولكن في الواقع من غير المرجح أن يكون الأمثل. محلل ومما يؤكد هذه الملاحظة في الجدول التالي، الذي يشير إلى الحاجة إلى إزالة عامل التصفية على ما يبدو LF لا علاقة لها، قائم على قواعد محلل الدلالي بسيطة وF1 المثالي لديها تقريبا نفس متوسط درجة.
في الجدول أدناه، مقارنة مباشرة من هاتين الطريقتين وجدنا أنه بالمقارنة مع، القائم على ميزة يتفوق أسلوب قائم على قواعد البرمجة محلل البيانات.
ونحن ندعو هذا الاختلاف يرجع ذلك أساسا إلى القدرة على استخدام البيانات برمجة البيانات الخالي من الملصقات. في الشكل التالي، وتبين لنا كيف طريقة برمجة البيانات مع عدد من تحسين المثال الخالي من الملصقات، حتى لو كان عدد من LF لم يتغير. نحن أيضا لاحظ نوعيا، يتعرض البيانات برمجة لنموذج المصنف إضافية ذات صلة تفسير لدينا ولكن لم يذكر المباشر.
من وجهة نظر الجهاز جهة نظر التعلم، التسمية مكسبا كبيرا، ولكنها توفر معلومات أقل بين التعليقات وخوارزمية التعلم. تفسير اللغة الطبيعية يفتح المزيد من قنوات نقل المعلومات. في استخراج العلاقة، وقد أظهرت هذه الدراسة نتائج أفضل (والذي قد يكون تفسير واحد، "مقارنة ب" 100 علامة)، والمستقبل سوف يمتد إطار جهدنا لمهام أخرى، وسوف وضع أكثر تفاعلا تكون مثيرة جدا للاهتمام بحث. ويمكن الحصول على كود المادة، والبيانات، والتجارب التي كتبها الإنترنت https://worksheets.codalab.org/worksheets/0x900e7e41deaa4ec5b2fe41dc50594548/ CodaLab.
