الكاتب | قطع تحرير | جيا وى

وتشمل البيانات في العالم الحقيقي عادة مجموعة متنوعة من أنواع الكيانات، وترتبط هذه الكيانات مع بعضها البعض لتشكيل شبكة معقدة من المعلومات غير المتجانسة من خلال مختلف كيان العلاقة. من أجل الاستفادة بشكل فعال غير متجانسة أعمال شبكة المعلومات على نطاق واسع، يسقط فريق AI مختبرات تطويرها بشكل مستقل خريطة غير متجانسة نموذج الشبكة العصبية (HetSANN) على أساس آلية اهتمام، ونموذج من دون استخدام النموذج التقليدي يحددها الخبراء يوان الطريق، فمن الممكن لأتمتة عملية مباشرة والتعدين الأصلي شبكة المعلومات غير المتجانسة المعلومات الدلالات الغنية استخراج أكثر كفاءة الترميز لتمثيل الكيان لتطبيق المهام تصنيف الكيانات شبكة المصب.

ورقة: الشبكي: //arxiv.org/abs/1912.10832

مقارنة مع الطرق السابقة من القيود، والابتكار الرئيسي من هذه الورقة هو:

اقترح 1. نموذج HetSANN استخدام يتعلم المعلومات جزءا لا يتجزأ من شبكة غير متجانسة تستند مباشرة على آلية لفت الانتباه التفاف الشبكة العصبية، مما يلغي الحاجة لمسار المعرفة يوان صاحب العمل لشبكة المعلومات غير المتجانسة لمعالجة.

يستكشف 2. النص أيضا العلاقة بين الشبكة الاتجاه غير متجانسة من المعلومات، نوع كيان عملية التحويل دورة الاتساق، وتطبيق HetSANN في التعلم تعدد المهام.

لهذه المادة، ومنظمة العفو الدولية تكنولوجي ريفيو دعت لهذه المادة في مساء 22 فبراير 8 البث الساعة على الهواء مباشرة، لذلك ضبطها الاقامة:

[الوقت] مساء 22 فبراير 202020:00

[عنوان البث]

جزءا لا يتجزأ من يتعلم شبكة المعلومات غير المتجانسة

شبكة المعلومات غير المتجانسة (المعروف أيضا باسم FIG غير متجانسة) هو النوع الذي يضم اثنين أو أكثر من القمم FIG هيكل نوع العلاقة البيانات (الشكل 1A). من أجل تضمين المعلومات الدلالات الغنية ضمنا في FIG الفضاء ناقلات متجانسة المنخفضة للالأبعاد، المسار الرئيسي الحالي هو من خلال شبكة المعلومات الوصفية لمتجانسة FIG غير متجانسة، متجانسة FIG إعادة استخدام التعلم التمثيل جزءا لا يتجزأ من تمثيل متجه لشبكة (FIG 1B). لHAN على سبيل المثال، يحدد أسلوب المسار يوان "شبكة المعلومات غير المتجانسة الأكاديمية - > مقالات - > المؤتمر - > مقالات - > مؤلف "لتمثيل شبكة" مؤلفين نشر مقالات "في نفس دلالات المؤتمر، ثم الحصول على الرسم متجانسة على (مسار يوان) الدلالي، وأخيرا FIG الشبكة العصبية جزءا لا يتجزأ من خريطة متجانسة وأعرب عن التعلم.

الشكل 1: شبكة وعنصر معلومات غير متجانسة مسار التخطيطي. (A) المعلومات عن غير متجانسة شبكة المعلومات الأكاديمية (ب) بناء على عناصر غير متجانسة جزءا لا يتجزأ من بيانيا يظهر المسار.

يمثل أساس مسار بدائية غير المتجانسة طريقة التعلم تعتمد على الخبراء في هذا المجال من مسار يوان مخصصة مسبقا، ولكن المعلومات الغنية غويا الكامنة في شبكة المعلومات غير المتجانسة في كثير من الأحيان أكثر صعوبة مسار يوان شاملة. وبالإضافة إلى ذلك، في عملية استخدام مسار الفوقية للعثور على الجيران قمة الهدف خسر ثروة من عنصر المعلومات عبر المسار، مثل طريق نوع الارتباط من الحافة، وسمات قمة الرأس. لذلك، وكيفية تمثيل التعلم جزءا لا يتجزأ من هو تحد كبير لشبكة المعلومات غير المتجانسة دون فقدان المعلومات غير المتجانسة.

من أجل الحصول على أكثر ثراء الدلالي مخطط ناقلات تمثيل المقترحة لم يعد على أساس غير متجانسة عنصر مسار جزءا لا يتجزأ من تمثيل طريقة التعلم، واسمه HetSANN (غير المتجانسة الرسم البياني الهيكلي الاهتمام الشبكات العصبية). كما هو مبين، HetSANN المعلومات غير المتجانسة مباشرة إلى الأصلي التفاف تكوين شبكة FIG. 2، لإزالة الألغام المعلومات غير المتجانسة في معلومات تكوين شبكة من مهمة الهدف (على سبيل المثال، وتصنيف قمة الرأس جهة، وما شابه ذلك) وتوجيه تعلم القمم الأبعاد منخفضة تمثيل المضمنة. تم تصميم HetSANN كل طبقة لعناية طبقة الشبكة التفاف heterostructure (نوع يدرك الاهتمام طبقة، TAL) من نوع من الإدراك.

FIG ص 2: HetSANN وجهة نظر التخطيطي للنموذج الإطار العام

من أجل تحسين القدرة على التقاط النموذج الدلالي باستخدام TAL طويلة كل عقدة جاره آلية الانتباه المعلومات قنة البلمرة. كما هو مبين، كل من رأس اهتمام TAL 3 يتكون من جزئين: 1) نوع من قمة الرأس عملية تحويل الفضاء؛ 2) معلوما حي البلمرة. FIG قمة P1 كمثال على ذلك، ونحن أول قمة الرأس P1 وجارتها الليمفاوية تعيين P1 إلى أنواع عقدة (النص) مساحة ضمنا، أي نوع من القمم جار المادة المعادلة (1) هو مبين في الشكل. رسم الخرائط الخطية من الفضاء "المادة"، والكتاب المعين من قبل نوع من القمم الجيران من "المؤلف" الفضاء الأصلي إلى "المواد" الفضائية، وهلم جرا، والجيران الدرجة الأولى P1 تم تعيينها إلى "المواد" في مساحة ضمني في الماضي.

FIG 3: TAL في العملية حيث رسم تخطيطي تدفق التخطيطي للرئيس الاهتمام

ثم نحسب كل جانب سجل نوع العلاقة الاهتمام P1 إلى هذه العقد المجاورة:

الذي هو محور المعلمات لنوع العلاقة ص. وهكذا، فإن جميع الروابط على حافة P1 يمكن حسابها مع نوع الارتباط ونوع العلاقة قمة عشرات الاهتمام، ويتم تنفيذ تطبيع softmax بعد الحق في الحصول على الوزن يناظرها:

يمكننا ثم إعادة المعلومات هي المرجحة القمم P1 جار وفقا للأوزان وتحسب على أساس البلمرة، وبالتالي الحصول على P1 قمة الرأس هو مبين في طبقة الخفية للم:

وأخيرا، سوف نركز أول اتصال TAL M عشر طبقات معا كما مثلت ل + 1 مخفي طبقة العقدة طبقة بعد:

نظر زوج من الحواف بالنسبة لل

إخراج حواف يحتوي عموما على حد سواء العلاقات الدلالية وصلة وصلة، على سبيل المثال، في FIG 1 "الكتابة" و "كتب" وما شابه ذلك، مثل هذا الزوج من حقيقة العلاقات الدلالية مترابطة، ولكن سجل أعلى من اهتمام عملية حسابية، وتحسب في المعادلة 3 صعبة للقبض على أهمية مثل هذه العلاقة المزدوجة. ولهذه الغاية، نقترح يتم حساب "تقاسم صوت" درجة الاهتمام، وهذا هو، وتبادل زوج من أنواع العلاقة والمعلمات من الاهتمام، ولديهم علاقة متبادلة: إعادة كتابة المعادلة 3 على النحو التالي:

وهكذا، فإن استخدام آلية "تقاسم صوت" الاهتمام القبض على مع أزواج من العلاقات الثنائية بين البلدين وذلك لمساعدة أفضل تمثيل جزءا لا يتجزأ من نموذج.

الاتساق التحويلات نوع كيان دورة

للتأكد من أن أنواع مختلفة من القمم بعد صيغة في نفس الخرائط ضمني من الفضاء، ونحن نقدم فقدان الاتساق دوري. كما هو مبين، قمة الرأس المكانية المحولة التي توصلت إليها قمة الرأس نوع، من خلال القمم الأخرى التي يجب أن تنسجم أنواع أخرى من خلال تعيين الروافد 4 الفضاء.

الشكل (4): وجهة نظر التخطيطي من خسائر تداول الاتساق

ونتيجة لذلك، لدينا تداول فقدان الاتساق الوظيفة هي:

تطبيقات HetSANN في التعلم تعدد المهام

واستنادا إلى عنصر مسار السابق جزءا لا يتجزأ تمثل أساليب التعلم مغاير FIG مختلفة، HetSANN يتعلم في وقت واحد تمثيل جزءا لا يتجزأ من كافة العقد، وليس مقصورا على نوع معين من التعلم قمة الهدف. ولذلك، HetSANN له مزايا كبيرة في التعلم متعددة المهام، التي هي قادرة على الأهداف والمهام من أنواع مختلفة من القمم التعلم. وفي الوقت نفسه، متعددة المهام تعلم أيضا إلى حد كبير يقلل من خطر تركيب أكثر من نموذج HetSANN تحسين موثوقية ومتانة جزءا لا يتجزأ من يمثلها. التجارب التي أجريت هنا في مهمة تصنيف قمة، و 5 في الجدول 2 وتمت مقارنة لإظهار مزايا أساس العنصر مسار HetSANN.

على مجموعات البيانات الثلاثة، والثلاثة المذكورة أعلاه نموذج الانصهار HetSANN.M.R.V GAT معظم الاستراتيجية التنافسية تحسنت بنسبة 3 إلى 13 من المجهرية F1،3 ~ 19 في المتوسط من متوسط F1 الكلي. ومن الجدير بالذكر أن قامت مجموعة البيانات HAN DBLP في "المقالات" أداء مثالي على المهام تصنيف الرأس، ولكن أدائها في "تصنيف" المهام ولكن دون جدوى. ومن المقرر أن DBLP موجودة في هذه الشبكة "لقاء" HAN قمة الرأس يمكن أن تساعد ب "المواد - > المؤتمر - > المادة "يوان مسار مباشرة إلى المقال المنشور في نفس المجال المرتبطة معا بحيث HAN يمكن تحديد بدقة نوع المادة ينتمي إليها. ولكن لا يوجد" مؤتمرات البيانات AMiner "قمة مركزية، HAN الصعب تمرير المعرفة بسهولة يوان مسار الحصول على نصائح دلالات، وبالتالي ضعف الأداء في AMiner من HAN.

يمثل جميع أنحاء حصول على أداء أفضل في ظل الأداء HetSANN في مجموعات البيانات الثلاث، HetSANN لا يمكن السريعة أي مسار الفوقية الدلالي مماثل من الحالات، مما يشير HetSANN يمكن جزءا لا يتجزأ من فعالية التخطيط المضمن غير متجانسة التعلم وHetSANN تمثيل قوي.