المصدر: نيو جي وون
هذه المقالة حول 3500 كلمات وأوصت القراءة 7 دقائق.
هذه المادة سوف تتخذ لكم من خلال قاعدة البيانات بيثون API UCI، تفكيك وشرح التعليمات البرمجية الحالات الفعلية.
التعلم العميق لا يمكن أن يكون التعليل السببي، وواحدة من طراز الرسم البياني برنامج (GNN) أو حلها. مجموعة جامعة تسينغهوا أستاذ أحد Maosong دراسة مراجعة نشرت، عرضا شاملا لGNN طرق وتطبيقاته، ويمكن تقديم توصيف موحد لمختلف الخطوات في انتشار في نموذج التمثيل GNN. هذه الخرائط الورقية، واقترح عالية الوضوح طبع ملصقات بلاستيكية ترك الجانب بالرجوع.
ما هو أكبر التعلم عمق الضعف؟
الجواب على هذا السؤال الخيرة الناظر، ولكن الفائز جائزة تورينج جوديا بيرل تقريبا 99.9 فرصة لم يكن ذلك ممكنا التفكير السببي.
لهذه المشكلة، ويجري استكشاف هذه الصناعة بنشاط، اتجاه وهي واعدة الشكل الشبكة العصبية (الرسم البياني الشبكات العصبية، GNN).
مؤخرا، مجموعة جامعة تسينغهوا أستاذ أحد Maosong نشرت ورقة في أرخايف الشبكات العصبية الرسم البياني: استعراض للطرق والتطبيقات، الكاتب GNN النماذج الحالية تفعل استعراض دقيق وشامل.
"يرتبط الشكل الشبكة العصبية لمزيج من الماركسية بالرمزية، وليس فقط عمق نموذج التعلم يمكن تطبيقها في هذا المخطط بنية غير الإقليدية يعطي أيضا بعض القدرات السببية المنطق نموذج التعلم العميق." شارك ورقة الأسبوع الأول من التعريف.
"في أسلوب متانة وعمق تفسيرها التعلم وقد شكك اليوم، قد توفر الرقم الشبكة العصبية اتجاه قابلا للتطبيق لتطوير مستقبل الذكاء الاصطناعي. "
وقد GNN مؤخرا قلقا واسع النطاق في عمق المجال من الدراسة. ومع ذلك، والذين يريدون لمحة سريعة من الباحثين الميدانيين، قد يواجه نموذج معقد، العديد من الفئات تطبيق المشاكل.
"هذه الورقة تهدف إلى توفير مستوى أعلى من منظور للقارئ فهم بسرعة الدوافع والفوائد من نماذج مختلفة من الحقل GNN" قال جي وون محيط جديد: "في نفس الوقت، من خلال تصنيف التطبيقات المختلفة والباحثين في مختلف المجالات لتسهيل بسرعة تعلم ستطبق GNN إلى مناطق مختلفة من الأدب ".
وليس من المبالغة أن نقول إن، الرسم البياني ورقة للباحثين يريدون أن يفهموا، وحتى تعلم GNN الاتجاه السببية الاستدلال، و يجب HD ببساطة طباعة البلاستيك وملصقة على جدار كمرجع -
في نموذج المحتوى، وهذه الورقة من النموذج الأصلي تجسيد شيدت من المشاكل GNN، ويدخل تحسين GNN مشتقاته المختلفة، بما في ذلك كيفية التعامل مع أنواع مختلفة من الرسم البياني، وكيفية ومدى كفاءة نقل المعلومات تسريع عملية التدريب. وأخيرا، إطارا عاما قليل المقترحة في السنوات الأخيرة، وتلخيص تلخيص عدد من الطرق القائمة، مع مهارات اتصال قوية.
في التطبيق، يتم تقسيم المادة إلى مجالات تطبيق GNN المشهد منظم، ومشهد آخر والمشهد غير منظم قدم GNN التطبيقات التقليدية مثل الفيزياء والكيمياء والصورة والنص وخريطة نموذج الجيل، مشاكل الأمثل اندماجي.
ويختتم المقال أربعة أسئلة مفتوحة، بما في ذلك كيفية التعامل تمهيد المشكلة الناجمة عن التراص وافر من GNN، وكيفية التعامل مع التغيرات الديناميكية في هيكل FIG، وكيفية استخدام طريقة شائعة لمعالجة البيانات غير المهيكلة وكيفية توسيع نطاقه ليشمل نطاق أوسع على الشبكة.
تجميع الكتاب أيضا قائمة GNN الرسالة: الشبكي: //github.com/thunlp/GNNPapersما يلي هو ترجمة ملخص هذا الجزء من المراجعة التي قمنا بها، انقر فوق قراءة النص الأصلي ورقة عرض أرخايف.
GNN القيود الأصليةكان المفهوم الأول GNN F. Scarselli آخرون الورق نموذج الشبكة العصبية الرسم البياني (F. Scarselli وآخرون 2009) اقترح. هنا، نحن تصف GNN الأصلي، وأشار إلى القيود المفروضة على GNN الأصلي التعبير عنه من حيث القدرة والكفاءة من التدريب.
بعد ذلك، قدمنا GNN عدة أنواع مختلفة، وهذه المتغيرات لها أنواع نمط مختلف، مع مختلف الأساليب وظيفة نشر والتدريب.
وأخيرا، قدمنا ثلاثة الإطار العام، وهي رسالة تمرير الشبكة العصبية (MPNN)، شبكة غير محلية العصبية (NLNN)، وشبكة الرسم البياني (GN). MPNN جنبا إلى جنب مع الشبكات العصبية التين مختلف الإلتواء وطريقة الشبكة؛ NLNN ملزمة عدة "الاهتمام الذاتي" نوع من طريقة، وFIG شبكة GN يمكن تلخيص في الشبكة العصبية FIG تقريبا كل المتغيرات المشار إليها في هذه الوثيقة.
الشبكة العصبية الشكل
كما هو موضح أعلاه، كان المخطط المفاهيمي للشبكة العصبية (GNN) أول Scarselli وآخرون في عام 2009، والتي تمتد الشبكة العصبية الموجودة لمعالجة البيانات في FIG (الرسم البياني) ممثلة. في الرسومات، يتم تعريف كل عقدة من خصائصه والعقد ذات الصلة.
على الرغم من أن النتائج تظهر أن GNN هو بيانات قوية النمذجة المعمارية منظم، ولكن GNN الأصلي لا تزال هناك بعض القيود.
أولا وقبل كل شيء، لعقد ثابت، والعقد الخفية التحديث تكرارية GNN الأصلي غير فعالة. إذا خففت يفترض نقطة ثابتة، يمكننا تصميم متعدد الطبقات ومستقرة عقدة GNN للحصول على تمثيل حي.
ثانيا، GNN التكرار باستخدام نفس المعايير، ولكن معظم الشبكة العصبية شعبية مع معلمات مختلفة في طبقات مختلفة، وهو الهرمي طريقة استخراج الميزة. وبالإضافة إلى ذلك، العقدة المخفية المحدثة هي عملية متتابعة، يمكن RNN الاستفادة من نواة (على سبيل المثال، GRU وLSTM) في.
ثالثا، وهناك أيضا بعض المعلومات في ميزة حافة لا يمكن أن تكون على غرار في GNN الأصلي. وبالإضافة إلى ذلك، وتعلم كيفية إخفاء حافة الدولة هي أيضا مسألة مهمة.
وأخيرا، إذا ركزنا على عقدة بدلا الممثلة في الرسم البياني ليست مناسبة لنقطة ثابتة، حيث يتم توزيع القيم على نحو سلس، وتمييز كل العقدة هي كمية صغيرة نسبيا من المعلومات عن تمثيل نقطة ثابتة.
الشبكات العصبية البديل FIG
في هذا القسم، نقدم عدة أنواع خريطة الشبكة العصبية. أول المدى البديل FIG على أنواع مختلفة من هذه المتغيرات توسيع القدرة على تمثل النموذج الأصلي. ثانيا، لدينا قائمة عدة أنواع من تعديل (الالتواء، وآليات الباب، وآليات من الاهتمام وتخطي الاتصال) خطوة في نشر هذه النماذج يمكن أن تتعلم تمثيل أفضل. وأخيرا، نحن تصف استخدام عنوان أساليب التدريب المتقدمة، وهذه الأساليب تحسين كفاءة التدريب.
ويبين الشكل 2 أنواع مختلفة من GNN.
نوع FIG (أنواع الرسم البياني)
GNN في النص الأصلي، العقد المدخلات وFIG صليات جانب تكوين مع بطاقة المعلومات، والذي هو أسهل تنسيقات الرسومات. ومع ذلك، هناك العديد من الرسومات العالم المختلفة. هنا، سوف نقدم بعض الطرق المستخدمة لنموذج أنواع مختلفة من الرسومات.
- هناك FIG (إخراج الرسوم البيانية) ل
الخيار الأول هو مخطط موجه في FIG. ويمكن رؤية حواف غير موجهة عن اثنين من حواف موجهة، مشيرا إلى أن هناك علاقة بين عقدتين. ومع ذلك، هناك جانب إلى جانب لجلب مزيد من المعلومات من لا شيء. على سبيل المثال، في خريطة المعرفة، حواف تبدأ من الكيان الرأس إلى نهاية الذيل الكيان، الكيان الرئيسي هو الكيان الأم من الذيل، مما يشير إلى أننا يجب أن نميز بين عملية نشر المعلومات الوالدين والطبقات الطفل. نعم نعم ADGPM إلى مثال FIG (M. Kampffmeyer وآخرون 2018).
- أيزومرات FIG (غير المتجانسة الرسوم البيانية)
FIG البديل الثاني من FIG غير متجانسة، وهناك عدة أنواع من العقد غير متجانسة FIG. عملية المماكبة FIG هو أسهل طريقة لتحويل نوع كل عقدة متصل ناقلات ميزة واحدة ساخنة من الميزات الأصلية. FIG أيسومرات كما GraphInception.
- FIG المعلومات الجانب الفرقة (الحافة بالمعلومات الرسم البياني)
FIG البديل الآخر الذي لديه كل المعلومات الحافة، مثل نوع أو وزن الحافة. على سبيل المثال G2S وR-GCN.
FIG باستخدام أساليب التدريب المختلفة المتغيرات
GNN تعديل المتغيرات في خطوة نشر
وبالإضافة إلى أنواع مختلفة من الرسم التخطيطي الشبكة العصبية، قدمنا أيضا العديد من إطار عمل مشترك يهدف إلى نماذج مختلفة في إطار واحد.
J. غيلمر وآخرون (J. غيلمر وآخرون 2017) المقترحة مراسلة الشبكة العصبية (رسالة تمرير الشبكة العصبية، MPNN)، رؤية موحدة لمختلف الشبكات العصبية وطريقة شبكة الالتواء.
X. وانغ وآخرون (X. وانغ وآخرون 2017) المقترحة الشبكة المحلية غير العصبية (الشبكة العصبية غير المحلية، NLNN)، الذي يجمع بين عدة "الاهتمام الذاتي" نهج الاسلوب.
P. W. باتاغليا وآخرون (P. W. باتاغليا وآخرون 2018) المقترحة شبكة شخصية (الرسم البياني الشبكة، GN)، الذي وحد موحدة MPNN وNLNN الطرق فضلا عن العديد من المتغيرات الأخرى، مثل شبكة تفاعلية (شبكات التفاعل)، ومحرك الفيزياء العصبية (العصبية الفيزياء المحرك)، CommNet، structure2vec، GGNN، شبكة من العلاقات (علاقة الشبكة )، مجموعات عميقة ونقاط الشبكة.
العديد من القضايا التي لم تحل بعدحققت رغم GNN نجاحا كبيرا في مختلف المجالات، ولكن من الجدير بالذكر أنه GNN النموذج أيضا لا يمكن تحت أي ظرف من الظروف، وتوفير حل مرض لأية مهمة الرسم. هنا، وسوف نقدم بعض الأسئلة مفتوحة لمزيد من الدراسة.
هيكل الضحلة
قد تكون مكدسة على عمق مئات الشبكة العصبية التقليدية من الطبقات لتحقيق أداء أفضل، لأن الهياكل أعمق الحصول على مزيد من المعلمات، ويمكن أن تزيد بشكل كبير من القدرة على التعبير عن الشبكة. ومع ذلك، GNN دائما ضحلة جدا، ومعظم ما لا يزيد عن ثلاثة.
تبين التجارب GCN التراص وافر من طبقات سيؤدي إلى تمهيد المفرط، وهذا هو، كل القمم سوف تتقارب إلى نفس القيمة. ورغم أن بعض الباحثين قد حاولوا حل هذه المشكلة، ولكن هذا لا يزال أكبر القيد الأكاذيب GNN. GNN تصميم عمق حقيقي للأبحاث المستقبل تحديا مثيرا وسوف تقدم مساهمة كبيرة لمزيد من الفهم GNN.
ديناميكية الرسومات القضية تحديا آخر هو كيفية التعامل مع بنية رسومية ديناميكية. صورة ثابتة دائما مستقرة، وبالتالي فمن الممكن أن النموذج، وعرض ديناميكية لإدخال تغييرات هيكلية. عندما تظهر حواف والعقد أو تختفي، GNN لا يمكن إجراء تغيير بتكيف. الأبحاث الحالية على ديناميكية GNN هو أيضا بنشاط الجارية، نعتقد أنه معلما هاما مع الاستقرار العام والقدرة على التكيف من GNN.
المشهد غير الهيكلية
ناقشنا تطبيق GNN في مشهد غير منظم، لكننا لا نملك افضل وسيلة لتوليد الرسوم البيانية من البيانات الخام تم العثور عليها. في مجال الصورة، يمكن أن تستخدم بعض الدراسات حيث حصلت FIG CNN، ثم أخذ العينات أداء ذلك إلى تشكيل superpixel كعقدة، فضلا عن الاستخدام المباشر لبعض خوارزمية الكشف عن وجوه للحصول على العقدة الهدف. في حقل النص، بعض الدراسات تستخدم شجرة في بناء الجملة كما رسم تخطيطي لغوي، وهناك دراسات مع مخطط اتصال الكامل. ولذلك، فإن الحل يكمن في إيجاد أفضل وسيلة لتوليد خريطة للGNN لعب دور أكبر في مناطق أوسع.
القضايا التدرجية
كيف يتم تطبيق الخوارزمية جزءا لا يتجزأ من هذا النوع من بيئة الشبكة واسعة النطاق أو الشبكات الاجتماعية نظام التوصية، الرسومات كلها تقريبا جزءا لا يتجزأ من خوارزمية المشكلة التي تواجه القاتلة، GNN ليست استثناء. GNN لتوسيع أمر صعب للغاية، لأنها تنطوي على العديد من العمليات الأساسية التي بيئات البيانات الكبيرة تستهلك تعتبر القوة.
وينعكس هذا صعوبة في عدة طرق: أولا، بيانات الخريطة ليست هي القاعدة، كل عقدة لديه بنية حي خاص بها، وبالتالي لا يمكن معالجة دفعة واحدة. ثانيا، عندما يكون عدد العقد وحواف موجودة في الملايين، وحساب الرسم البياني Laplacian ليس ممكنا. وبالإضافة إلى ذلك، نحن بحاجة إلى أن نشير إلى أن مستوى التدرجية، ويمكن تطبيق الخوارزمية لتحديد ما إذا كان المشهد الفعلي. وهناك بالفعل بعض الدراسات تشير إلى حل لهذه المشكلة، نحن إيلاء اهتمام وثيق لهذه تقدما جديدا.
استنتاجفي السنوات القليلة الماضية، أصبح GNN قوية مهمة التعلم الآلي في ضوء هذا المجال وأداة عملية. يعتمد هذا التقدم عن التقدم المحرز في الأداء، والمرونة، وخوارزمية تدريب نموذجية. في هذه المقالة، أجرينا مراجعة شاملة للشبكة العصبية خريطة. لنموذج GNN، أدخلنا وفقا لنوع من الرسم البياني، GNN المتغيرات نوع انتشار التدريب ونوع من التصنيف.
وبالإضافة إلى ذلك، قمنا بتجميع أيضا إطارا مشتركا قليل لتمثيل موحد GNN أنواع مختلفة. في تصنيف التطبيق، ونحن سوف GNN التطبيق في بنية المشهد، مشهد غير منظم و 18 مشهد آخر، تليها صفا تفصيليا للتطبيق في كل مكان الحادث. وأخيرا، فإننا الحاضر أربعة أشار المفتوح العضوية الأسئلة، من أهم التحديات ورسم الشبكة العصبية للاتجاهات البحوث المستقبل، بما في ذلك عمق نموذج، والتدرجية، وعرض ديناميكية العملية وهيكل قوة المعالجة غير المشهد.
- انتهى -تسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU "أيتها الأخوات ولا". إرسال البيانات THU "لرعاية المزيد من المحاضرات ونوعية المحتوى.
