مذكرة لى فنغ شبكة AI تقنية الاستعراضي: يرد هذا المقال من قناة الصغرى العامة رقم HIT SCIR، أذنت شبكة لى فنغ طبع.

ومن الجدير بالذكر أن هذه الجمعة (24 نوفمبر) 20:00، وانغ Yuxuan يكون أول مؤلف من 34 قناة لى فنغ الشبكة AI قسم مدرسة مو ( GAIR قاعة العيش مع موضوع "قراءة ورقة AAAI: الدلالي تحليل التبعية الرسم البياني على أساس نقل" مسح مراجعة تقنية المادة ملصقات AI أسفل رمز ثنائي الأبعاد وأضاف الرئيس الرسائل الصغيرة، والملاحظات، "وانغ Yuxuan" يمكن أن يكون.

المؤلف: وانغ Yuxuan، وان شيانغ تشي قوه جيانغ ليو تينغ

مقدمة

توضح هذه المقالة العمل من مختبري استأجرت لAAAI 2018 ورقة "النهج A العصبية الانتقالية واستنادا لالدلالي التبعية الرسم البياني توزيع".

الدلالي الرسم البياني التبعية هو بنية شجرة المقترحة في السنوات الأخيرة توسيع التمثيل النحوي أو الدلالي، مع الفرق الرئيسي أن هيكل الشجرة هو السماح للبعض الكلمات لديها عدد وافر من العقد الأم، مما يجعل من الرسم البياني احلقي موجهة (الرسم البياني edacyclic المباشر، DAG ). (مختبري على SemEval عام 2012 نظمت أول الدلالية التبعية (الشجرة) تكنولوجيا تحليل تقييم العالم، ومن ثم توسيع نطاقه ليشمل الرسم البياني التبعية الدلالي، نظمت ذات الصلة للتقييم على SemEval-2016. الشكلان 1 و 2 على التوالي، قد تشير الأمثلة على شجرة التبعية النحوية مع كلمة معينة والدلالي الرسم البياني التبعية، للحصول على مزيد من المعلومات حول الصيني الرسم البياني التبعية الدلالي ل

وهكذا فإن الجملة التبعية الرسم البياني الدلالات التي يمكن الحصول عليها، فمن الضروري تحليل هذا DAG. ومع ذلك، في الوقت الحاضر أكثر من عمل ركزت على دراسة هيكل شجرة التبعية، قلة من الناس دراسة كيفية تحليل DAG.

تقدم هذه الورقة محلل نقل، وذلك باستخدام قوس حريصة خوارزمية الاعتماد على الرسم البياني القائمة على أساس القوائم البديل للتحليل، وتقترح اثنين فعالة وحدة الشبكة العصبية، كل نظام نقل مخبأ للحصول على وصورة ما فرعية أفضل FIG. حققت مجموعات البيانات النظام على البريطاني نتائج جيدة، وأيضا لزيادة تحسين أداء بسيط طريقة نموذج الانصهار.

FIG شجرة التبعية النحوية 1

2 الدلالي الرسم البياني اعتماد FIG.

1. FIG إطار تحليل التبعية على أساس نقل

حاليا تستند اثنين من أهم مجالات أساليب التحليل شجرة الاعتماد على نقل (الفترة الانتقالية على أساس) تحليل وبناء على الرسم البياني الاعتماد (على الرسم البياني) من. تحليل التبعية النمذجة إلى حل أكبر مشكلة هناك هو كاملة الرسم البياني تمتد شجرة خوارزمية بناء على الرسم البياني. وعلى غرار نقل تبعية تحليل خوارزمية على أساس عملية فك كعقوبة مشكلة إنسان محدودة (التحليل النحوي القياس مكون المترجم).

في هذه الورقة، ونحن قد اختار طريقة تحليل التبعية على أساس نقل. هذا الأسلوب من ابتداء من حالة نقل بداية، الاستمرار في أداء إجراءات نقل من دولة واحدة في دولة أخرى، في نهاية المطاف تصل إلى الوضع النهائي ونهاية شجرة (أو خريطة) المطابق للدولة نتيجة التحليل. حالة نقل تتألف كلمة المخزنة كونها كومة المجهزة (كومة)، وتوفير كلمة أن يعامل عازلة (الاحتياطي)، وسجل ولدت بالفعل قوس ذاكرة التابعة. إجراءات نقل ويضم تغذية عادة التحول، ويولد قوس يعتمد النظام الأساسي وما شابه ذلك. نقل تبعية الهدف على أساس إعراب تعتمد على البيانات هو لتدريب المصنف. يعطى هذا التصنيف لنقل العمل ليتم تنفيذها المقبل التنبؤ انتقال الدولة.

كما هو مبين في الشكل 2، وشجرة FIG التبعية التبعية، وهناك نوعان الاختلافات الرئيسية.

أولا، وجود عبر الاعتماد على أقواس FIG. خوارزمية نقل التقليدية تحتاج إلى حل المشكلة عن طريق إضافة آلية التخزين المؤقت عبر القوس. على أساس قائمة خوارزمية قوس حريصة تشوي وآخرون 2013 اقترح هو ممثل لهذه الأفكار. يصف القائمة على قائمة قوس حريصة نظام نقل خوارزمية استنادا إلى النص السابق بالإضافة إلى وجود طابور مزدوج العضوية (في صف مزدوج الذيل) لتخزين كلمة تخطي لتوليد قوس الصليب.

ثانيا، قد يكون الاعتماد على الرسم البياني كلمة متعددة العقد الأم. والسبب الرئيسي لنقل الخوارزميات التقليدية لا يمكن أن تولد الرسم البياني التبعية هو: هذه الخوارزميات من أجل التأكد من أن البناء النهائي هو شجرة التبعية، وغالبا ما يوصف عندما تجد العقدة الأصل من كلمة واحدة، وينبغي أن تكون هذه الكلمة على الفور الأساسي. من أجل جعل أنظمتنا نقل قادرة على توليد التبعية هيكل الرسم البياني، نحن المعدلة على أساس تشوي وآخرون على تنفيذ العمل المتفرعة مشروط، مما يجعل كلمة للعثور على الأم من مخبأ في الاتجاهين دون أن يكون النظام الأساسي في قائمة الانتظار، والتي لنقل المقبل توفر أخرى عملية العقدة الأصل إمكانية العثور على الكلمة، وبالتالي توليد الرسم البياني التبعية الدلالي. 3 يبين الشكل تدفق محددة من خوارزمية لتوليد الرسم البياني التبعية الدلالي باستخدام تعديل.

. خوارزمية تعديل FIG على أساس قائمة 3 عملية قوس حريصة يولد الرسم البياني التبعية الدلالي

2. بناء على المكدس LSTM المصنف

حل مشكلة نظام نقل، ثم عليك أن تختار التصنيف المناسب يتوقع عملية نقل المقبلة التي يتعين القيام بها في كل ولاية التحول. اخترنا المكدس LSTM داير، الذي اقترح في عام 2015 كأنهم بنيان الشبكة الأساسية لتعلم نقل المعلومات كومة النظام، طابور اتجاهين، ذاكرة التخزين المؤقت وتحول التاريخ تسلسل العمل. (وصفها المكدس LSTM فيما يتعلق إشارة محددة قد

من أجل الحصول على دولة يمثل التحول، نقدم اثنين من كفاءة وحدة الشبكة العصبية --Bi-LSTM الطرح وتزايدي شجرة-LSTM على أساس التكوين المذكورة أعلاه، على التوالي، خلال نقل ومخبأ النمذجة رسم بياني ثانوي . ويبين الشكل 4 التكوين العام للنموذج FIG.

FIG 4 FIG نموذج التبعية محلل من التكوين العام للFIG.

2.1 ثنائي LSTM الطرح

داير آخرون النموذج هو مجرد اتجاه واحد الحق في LSTM الأيسر يشير مخبأة آخر متجه الحالة طبقة من أن جميع المعلومات في ذاكرة التخزين المؤقت. هذا الأسلوب ليس فقط لا يمكن الحصول على كلمة خارج ذاكرة التخزين المؤقت (أو تم نقل كومة إلى النظام الأساسي) معلوما، ولكن أيضا فقدان المعلومات السياق من اليسار إلى اليمين. وعلاوة على ذلك، فإننا نعتقد أن واحدا فقط مخفي متجه الحالة طبقة ليس تمثيل جيدة من ذاكرة التخزين المؤقت بأكمله من المعلومات. ولذلك، فإننا تعتبر شريحة ذاكرة التخزين المؤقت، وقسم الرأس والذيل قسم الفرق تمثيل لتمثيل القطاع بأكمله. وعلاوة على ذلك، من أجل الحصول على معلومات أخرى من الكلمات ذاكرة التخزين المؤقت، علينا أولا ثنائية الاتجاه المدخلات LSTM الجملة بأكملها في المراسلات مع كل كلمة كناقل دولة طبقة مخفية تمثل .

FIG 5 ثنائي LSTM الطرح تكوين الرسم البياني

على سبيل المثال في الشكل 5 يمثل ذاكرة التخزين المؤقت حساب، لأول مرة مع "أكل" LSTM إلى الأمام تمثل ناقص "للغاية" LSTM إيجابي، وقال قال الحصول على القسم الأمامي ثم "جدا" LSTM العكسي تمثل أقل إلى "أكل" LSTM العكسي، قال الحصول على شريحة عكس التمثيل. في هذا الوقت، ممثلا ترقيع ذاكرة التخزين المؤقت اثنين.

2.2 تزايدي شجرة-LSTM

يتم احتساب داير نموذج آخرون باستخدام عملية نقل طيدة تقوم على الترابط الشبكة العصبية المتكررة (RecNN)، عند التعامل مع طيدة العميق، وهذه الطريقة قد تواجه المشاكل تختفي التدرج. لحل هذه المشكلة، ونحن نستخدم شجرة-LSTM وعلى غرار هذه الأساسات. الشكل 6 يبين الفرق بين لنا المقترحة تزايدي شجرة-LSTM على أساس الترابط بين RecNN. RecNN بشكل متكرر من قبل مجموعة من أحد الوالدين - عقدة تابعة لبناء الزوج دون الرسم البياني وشجرة-LSTM قادرة على دمج عقدة وجميع الأطفال العقد في وقت واحد.

FIG 6 تزايدي شجرة-LSTM المقارن المتكررة العصبية وبناء شبكة مترابطة

نظرا لخصائص الرسم البياني التبعية استنادا إلى تحليل للنقل، شجرة-LSTM نستخدم العام شجرة-LSTM بطريقتين. أولا، من الواضح أن المهمة تتطلب نماذج شبه هيكل ليس بالضرورة أن يكون شجرة. لكن لحسن الحظ أننا نتعامل مع الرسم البياني التبعية لا تشمل الحلبة، وبالتالي لا يزال قادرا على استخدام LSTM. الأهم من ذلك، خلافا لجميع العقد التابعة مع العام شجرة-LSTM قادرا على الحصول على عقدة في نفس الوقت، وتحليل التبعية على أساس نقل، والأطفال من عقدة واحدة تلو الأخرى التي يمكن العثور عليها، لذلك نحن بحاجة إلى الاستمرار في الاستفادة من شجرة-LSTM التحديث معلومات للوالدين. على وجه التحديد، على كلمة واحدة، للعثور عليه كلما عقدة تابعة جديدة، فمن الضروري لحساب تمثيل جميع تم العثور على الأطفال ولها مدخل خاص شجرة-LSTM في التمثيل الجديد. على سبيل المثال في FIG عملية الإنشاء 7 رسم بياني ثانوي كما يلي:

• (1) يمثل النتيجة مثل شجرة-LSTM جنبا إلى جنب مع ألف وباء تمثل جديدة.

• (2) B و C تم الجمع بين ويعبر عن النتيجة كما تمثيل جديد من B،

• التمثيلات (3) تم الجمع بين A، D و B يمثل تيار (ب + ج) ونتيجة للتمثيل الجديد.

FIG 7 تزايدي شجرة-LSTM النيوترون FIG تدريجية البناء

2.3 نموذج الانصهار

نظامنا من خلال بسيطة طريقة نموذج الانصهار لمواصلة تحسين الأداء. على وجه التحديد، فإنه يستخدم مختلف نماذج التدريب أكثر عشوائية البذور التهيئة في التدريب. في التنبؤ، ويتم احتساب استخدام هذه النماذج ومجموع الدرجات لتحديد عملية نقل القادمة.

3. النتائج التجريبية

نظامنا في مجموعة البيانات الانجليزية الحصول على نتائج جيدة جدا، ونتائج الجدول 1 التجريبية على SemEval-2016 العمل 9 مجموعة البيانات الصينية. وتنقسم مجموعة البيانات إلى قسمين، وهما مجموعة الأخبار (NEWS)، ومدرسة ابتدائية الكتب المدرسية جمع (TEXTBOOKS)، الجمل الطويلة السابقة، أكثر تعقيدا، والجملة الأخيرة أقصر وأبسط. تقييم تقييم وهما الأكثر أهمية هي قيمة F (جبهة التحرير الوطني) قوس التسمية F قيمة الكلمة (LF) قوس التسميات وكيف العقدة الأصل.

الجدول 5 قبل نظام إدخال آخر، 2-مرحلة (دينغ وآخرون 2014) هو عملية من خطوتين نعيد تنفيذها في دينغ وآخرون، 2014 ، أولا مع الممتدة التقليدية محلل شجرة التبعية هيكل، ثم يتم تحديد مجموعة من قوس مرشح الناتجة عن SVM حكم المصنف للحصول على عدد من الأقواس وأضاف هيكل تبعية FIG. BS-IT هو نظامنا. وقد اظهرت النتائج ان لدينا نظام لمؤشرات تقييم كل من مجموعات البيانات وبشكل ملحوظ أكثر من النظم الأخرى.

الجدول 2 قوائم الاختبارات والتجارب BS IT تأثير الوحدة، فقد بينت النتائج أن كلا يمكن أن يحقق النظام القائم على الأداء. بينما مزيد من الجمع بين واضح لكل من أداء النظام.

4. الخلاصة

وتقترح هذه الورقة طريقة التحليل على أساس التبعية الدلالي نقل الرسم البياني باستخدام قوس حريصة خوارزمية تستند قائمة لتوليد المتغيرات حققت الرسم البياني احلقي توجيهات. وعلاوة على ذلك، تقترح هذه الورقة وسيلتين تشير فعالة لنظام التعليم الشبكة العصبية، جزءا هاما من عملية التحويل. النتائج التجريبية على مجموعات البيانات البريطانية تثبت فعالية هذه الطريقة.

5. المراجع

التبعية Parsingwith Selectional التشعب تشوي J D، استنادا الانتقالية، مكلوم A. وقائع الاجتماع 51thAnnual لجمعية اللسانيات الحاسوبية 2013 :. 1052-1062.

داير C، باليستيروس M، W لينغ، استنادا الانتقالية، وآخرون التبعية Parsingwith المكدس طويل قصيرة الأجل الذاكرة . الاجتماع السنوي Proceedingsof على جمعية forComputational اللغويات 2015 :. 334-343.

Kiperwasser E، غولدبرغ Y. بسيطة وDependencyParsing دقيقة عن طريق ثنائي الاتجاه LSTM ميزة التمثيل . المعاملات إف تي إتش إي جمعية اللسانيات الحاسوبية 2016 :. 313-327.

تاي K S، سوشر R، C مانينغ D. تحسين الدلالية التمثيل من شجرة StructuredLong-شبكات الذاكرة قصيرة الأجل وقائع الاجتماع السنوي 53 أو إف تي إتش جمعية اللسانيات الحاسوبية و7 JointConference الدولي على معالجة اللغات الطبيعية 2015 :. 1556-1566.

دينغ Y، Y شاو، تشي W، وآخرون. التبعية الرسم البياني على أساس تحليل الدلالي الصيني .. ChineseComputational اللغويات ومعالجة اللغات الطبيعية بناء على NaturallyAnnotated الكبير البيانات الوثاب، شام، 2014: 58-69.

الجمعة (24 نوفمبر) 20:00، وانغ Yuxuan يكون أول مؤلف من 34 ناري في قاعة كبيرة للقناة GAIR لى فنغ الشبكة AI قسم مدرسة مو ( موضوع كما "ورقة AAAI كما يلي: تحليل الرسم البياني التبعية الدلالي على أساس نقل"، وأضاف الرئيس رمز ثنائي الأبعاد مسح ملصق الرسائل الصغيرة، والملاحظات، "وانغ Yuxuan" يمكن أن يكون.