الكاتب | مارين Vlastelica

ترجمة | جيانغ شانغ باو

(لى فنغ أعمال شبكة) حاليا، لا يوجد جهاز كمبيوتر في هذا الموضوع الهام جدا في اتجاهين: واحد هو الكلاسيكية خوارزمية الأمثل منفصلة - خوارزميات الرسم البياني، مثل SAT حلالا، صحيح البرمجة حلالا، والآخر هو ارتفاع في السنوات الأخيرة من التعلم العميق ، الأمر الذي يجعل يحركها نهاية استخراج البيانات ميزة وتصاميم هيكلية مرنة.

هل من الممكن أن تتحد مع مزيج من التعلم العميق؟

ICLR 2020 الضوء أطروحة "تمايز الاسود اندماجي يحلون" تابعت هذه القضية.

المواد عنوان: الشبكي: //arxiv.org/abs/1912.02175

في ورقة، والكتاب محاولة للجمع بين حلالا بسهولة في عمق الشبكة العصبية، وجرى اختبار مشكلة علب أقصر الطرق، فقدان الحد الأدنى من الكمال مشكلة مطابقة والسفر المشاكل بائع. أظهرت نتائج الاختبار أن الدراسة حلالا + عمق طريقة تركيبة لتحقيق نتائج أفضل من الطرق التقليدية.

وبالإضافة إلى ذلك، كما مارين Vlastelica يصف ورقة عن متوسط المؤلف الفكرة الرئيسية من هذه الورقة، شبكة لى فنغ AI تقنية مراجعة وقد تم تجميع حذف ما يلي هو النص الأصلي يتمتع ~

ويبين البحث أن أساليب وضع آلة التعلم، والتعلم العميق من الأساليب الحديثة في الذكاء الاصطناعي المستندة إلى والتقليدية تفعل تناقضات الوجود. ميزة استخراج دراسة متعمقة في رؤية الكمبيوتر، وتعزيز مجال التعلم، ومعالجة اللغة الطبيعية له ميزات قوية. ومع ذلك، في تركيبة في التعميم (التعميم اندماجي) قد تعرض لانتقادات من قبل الباحثين.

على سبيل المثال، خريطة كمدخل للتنبؤ أقصر تخطيط المسار الطريق الأسرع على خرائط جوجل، (مين، ماكس) مشكلة -Cut، مطابقة تماما فقدان الحد الأدنى (مين التكلفة الكمال مطابقة)، ومشكلة بائع السفر، ومطابقة الرسم البياني مشاكل وهلم جرا. إذا كان هذا الحل على كل سؤال على حدة، لدينا العديد من الأدوات للاختيار من بينها: يمكنك استخدام لغة C، يمكنك استخدام MIP أكثر عمومية (مختلطة البرمجة صحيح) حلالا. بالطبع حلالا الفضاء المدخلات للنظر في القضية، بعد كل شيء، فإنه يتطلب إدخال هيكلة واضحة المعالم. على الرغم من أن الجمع أصبح مصدر قلق في مجال تعلم الآلة البحوث، ولكن الجهود البحثية لهذه المشاكل ليست كافية.

هذا لا يعني أن الباحثين لا تولي اهتماما لمزيج من مشكلة عامة، بعد كل شيء، فإنه لا يزال واحدا من التحديات الرئيسية التي تواجه الأنظمة الذكية. من الناحية المثالية، يمكن للباحثين اقصاه الى اقصاه، واستخراج ميزة الغنية والفعالة من خلال وظيفة تقريب قوي (مثل الشبكات العصبية) حلالا تكوين معا. هذا هو بالضبط أطروحة "تمايز الاسود اندماجي يحلون" في تحقيقها. وبالإضافة إلى ذلك، تلقت هذه الورقة عشرات مراجعة عالية، واختارت لأوراق الضوء ICLR عام 2020. الجزء التالي من هذه المادة، لا في محاولة لتحسين حلالا، وإنما إلى وظيفة تقريب واستخدامها جنبا إلى جنب مع يحلون القائمة.

لنفترض حلالا الصندوق الأسود (الاسود حلالا) هو وحدة هيكلية يمكن إدراجها بسهولة في عمق التعلم.

الصندوق الاسود حلالا التدرج

باستمرار إلى التعيين بين وضع الإخراج منفصلة كما حلالا، بالإضافة إلى ذلك، قد تكون مدخلات مستمرة من الجانب الأيمن من FIG الوزن الناتج منفصلة قد يكون أقصر طريق، على حافة مختارة في FIG. حيث يتم تعريف خريطة النحو التالي

حلالا يمكن أن تقلل بعض فقدان وظيفة ج (، ذ)، والتي قد تكون وظيفة فقدان طول المسار. ويمثل هذا مشكلة التحسين بواسطة الصيغة التالية:

في الصيغة أعلاه، ث هو الإخراج من الشبكة العصبية، ويمثل التعلم الشبكة العصبية من قبل البعض، على سبيل المثال، قد يكون الجانب متجه الوزن الثقيل في FIG. في أقصر مشكلة المسار، مسألة البائع المتجول، يمكن استخدامها لجعل الوصف الصحيح للمشكلة. المشكلة الرئيسية هي الأمثل للحد من فقدان وظيفة، وأعرب عن السؤال المطروح الآن هو وظيفة فقدان دالة متعددة التعريف، أن هناك نقطة قفزة انقطاع. وهذا يعني أن [أوميغا] يمثل التدرج وظيفة 0 في كل مكان تقريبا، ونقطة قفزة انقطاع، لم يتم تعريف التدرج حتى الان. حاليا، واستخدام (الاسترخاء حلالا) طريقة الاسترخاء حلالا يمكن أن تحل هذه المشكلة، ولكن سوف تفقد المثالية. وتقترح الورقة الطريقة لا تؤثر على حلالا المثالية. أي، لتحديد جزء من الهدف الأصلي الاستيفاء وظيفة أفيني، الاستيفاء بواسطة جهاز تحكم عن المزيد من خلال المعلمة، كما هو مبين أدناه:

كما هو مبين أعلاه في الجزء الأسود، قيمة ظيفة الصورة الأصلية هي وظيفة معينة، جزء البرتقال هو القيمة التي قدمها الاستيفاء. لا يغير من قيمة الحد الأدنى.

وبطبيعة الحال، نطاق و هو متعدد الأبعاد. وهكذا، على نفس قيمة و، قد يكون هناك عدد وافر من المقابلة ث. أن يتم تعيين هو الإدخال إلى متعدد الوجوه، قد يكون الإخراج و نفس القيمة. وبطبيعة الحال، هناك العديد من هذه النطاقات و متعدد الوجوه. سوبر المعلمة لتعويض فعال عن طريق إدخال متعدد الوجوه اضطراب حلالا. تعرف دالة متعددة التعريف أفيني interpolator الهدف تعويض متعدد الوجوه ز الحدود مع الحدود الأصلية.

كما هو موضح أدناه، يتم إزاحة و قيمة (Y2) إلى القيم الحدية متعددة السطوح و (Y1) في. يفسر هذا أيضا لماذا يميل أكثر جمالا لاستخدام المعلمة فائقة كبير. ويجب أن تكون كبيرة بما فيه الكفاية للحصول على التدرج المفيد interpolator ز تعويض

أولا، تحديد الحل الأمثل اضطراب لهذه المشكلة، حيث يتم التحكم المعلمات اضطراب التي كتبها فائقة [امدا]، الصيغة التالية:

إذا كان فقدان المفترضة وظيفة ج (، ص) هو نتاج نقطة من y و ، يمكن تعريف الهدف الاستيفاء:

فقدان الخطي وظيفة ليست كما التقييدية للوهلة الأولى. على سبيل المثال، في الجانب الاختيار، وظيفة فقدان الوزن للنظر وجميع الأوزان الحافة، أمثلة محددة مع الإشارة إلى مشكلة بائع السفر وأقصر المشكلة المسار.

لى فنغ شبكة ملاحظة: كما هو مبين أعلاه، التغييرات المعلمات الاستيفاء مع تغير السوبر

خوارزمية

باستخدام هذه الطريقة، يمكن حساب التدرج عن طريق تعديل انتشار العكسي من أجل القضاء على التناقضات بين مزيج من الكلاسيكية حلالا والتعلم العميق.

صفر إلى الأمام (CTX، W_):

"" "

CTX: السياق لتمرير الوراء

W_: أوزان مشكلة المقدرة

"" "

y_ = حلالا (W_)

# حفظ سياق تمرير الوراء

ctx.w_ = W_

ctx.y_ = y_ عودة y_

نشر إلى الأمام، وقدمت فقط إلى تضمين حلالا، ثم يتم تمرير الحل على طول. وبالإضافة إلى ذلك، فإننا حفظ وحل y_ نشر الأمام حساب.

متخلفة صفر (CTX، غراد):

"" "

CTX: السياق من تمريرة إلى الأمام

"" "

ث = ctx.w_ + lmda * غراد # بالقلق حساب الأوزان

y_lmda = حلالا (ث)

العودة - (ctx.y_ - y_lmda) / lmda

بعد نقل ل، المعلمة العكسي فائقة التدرج اضطراب [أوميغا]، وأخذ الفرق بين السابق وحلول اضطراب حلول

حساب الاستيفاء الانحدار حساب النفقات العامة يعتمد حلالا، والنفقات العامة مرتين، مرة واحدة يسمى حلالا عملية نشر إلى الأمام، ومرة أخرى بعد حلالا الدعوة إلى عملية نشر.

تجربة

للتحقق من صحة هذه الطريقة، المهام تصميم التوليف مع درجة معينة من التعقيد للتحقق منها.

وبالإضافة إلى ذلك، بسبب بسيط أشرفت لا يمكن تعميم أساليب التعلم للم أر البيانات، وذلك في مهمة التالية، وقد أثبتت هذه الطريقة الحاجة إلى مزيج من التعميم.

لأقصر مسار المشكلة، والمهام اختبار علب، بما في ذلك تدريب مجموعة أقصر مشكلة المسار "في علب II" الخريطة المقابلة لأهداف البعثة خريطة. على وجه التحديد، مجموعة الاختبار يحتوي المجهول "في علب II" خريطة. يتم ترميز الخريطة نفسها كما K * K الشبكة. التلافيف مدخلات الشبكة العصبية هو الخريطة، والخريطة هي خسارة الناتج قمة الرأس، ثم الخسارة من حلالا الإدخال. وأخيرا، حلالا (للديكسترا أقصر مسار خوارزمية) خرج للدلالة على أقصر طريق شكل مصفوفة على الخريطة.

في بداية التدريب، والشبكة العصبية لا يعرفون كيفية تعيين فقدان الصحيحة من البلاط الخريطة، ولكن مزيج من حلالا + التعلم العميق يمكن الحصول على الحق في التكلفة، والحق في العثور على أقصر الطرق. يظهر الرسم البياني التالي الذي، مقارنة مع أساليب التدريب التقليدية ResNet الرقابة، وتعميم مجموعة من هذه الطريقة، بل هو أفضل.

في فقدان الحد الأدنى مشكلة الكمال مطابقة، مجموعة البيانات المستخدمة هي MNIST والأهداف المهمة لتقليل الخسائر من الأرقام MNIST انتاج شبكة مطابقة تماما. يمكن تضمين تحديدا، بشأن هذه المسألة، واختيار الجانبين يجب ان تجعل كل القمم بالضبط مرة واحدة، ويسمح أيضا الخسارة والحد الأدنى. وعلاوة على ذلك، كل خلية في الشبكة يحتوي على عدد MNIST التي هي العقدة في الرسم البياني يتم توفيرها مع الاتجاهات الأفقية والعمودية نقاط المجاورة. وأخيرا، وفقدان يحددها حافة عمودية من اثنين أو أفقيا إلى اليمين من أسفل الرقمي.

الناتج مطابقة حلالا ناقلات يدل على حافة المحدد. غير متطابقة خسارة على اليمين هو 348 (46 + 12 الأفقي والرأسي و27 + 45 + 40 + 67 + 78 + 33).

على هذا المخطط الأداء أدناه، يمكننا أن نرى بوضوح الحقيقي الكمال حلالا مباراة جزءا لا يتجزأ من الشبكة العصبية يمكن أن يحقق نتائج أفضل.

في مشكلة بائع السفر، ومجموعة التدريب البيانات هو العلم (أي تمثيل الأصلي)، والمقابلة الطرق الأمثل العاصمة السفر. الشبكة العصبية الإخراج هي عاصمة أفضل طرق السفر في كل بلد. في عملية تدريب الشبكة العصبية، ومعظم التعلم المهم وضع رأس المال التمثيل الضمني. أمثلة التدريب K تضم الدول كما هو مبين أدناه.

أعلام كل التفاف البلاد المدخلات والمخرجات شبكة طرق السفر الأمثل الشبكة العصبية.

في أقل من الرسوم المتحركة، يمكنك أيضا رؤية الموقع من العواصم خلال العصبي في جميع أنحاء العالم شبكة التدريب.

في البداية، يتم توزيعها الموقع بشكل عشوائي، ولكن بعد تدريب الشبكة العصبية لا تعلم فقط الصحيح طرق السفر الناتج TSP، وتعلم التمثيل السليم للانتاج، وهذا هو الإحداثيات 3D الصحيحة من كل رأس المال. ومن الجدير بالذكر أن هذه ليست سوى باستخدام فقدان المسافة المبالغة في الإشراف على عملية التدريب، واستخدام Gurobi برنامج التأمين الصحي على إخراج شبكة تحقيقه.

ملخص

في الواقع، في ظل افتراضات معينة قد ثبت فقدان وظيفة حلالا، ويمكن التدرج يكون انتشار من خلال مزيج من مربع حلالا الأسود. هذا المزيج يسمح قدرات تعميم الطرق التقليدية في معيار تنفيذ هندسة الشبكات العصبية إشراف.

+ تحتاج دراسة عمق مزيج من أساليب التعلم حلالا يمكن استخدامها على نطاق واسع في عدد من المشاكل العملية أن يكون المنطق المشترك. ومع ذلك، فإن المشكلة تكمن في افتراض أن الخسارة حلالا الخطية تحت هذا الافتراض أننا حقا يمكن أن تذهب بعيدا؟ الأولويات والمشاكل في المستقبل هو ما إذا كان يمكننا أن نتعلم عائقا محتملا لمجموعة من القضايا مثل مشاكل اندماجي MIP.

مراجع

Vlastelica، مارين، وآخرون "تمايز الاسود اندماجي يحلون" أرخايف ورقة أرخايف :. +1912.02175 (2019) (

Rolnek، ميشال، وآخرون "القياسات يستند ترتيب-الأمثل مع الاسود التمايز". أرخايف ورقة أرخايف :. +1912.03500 (2019) (

https://towardsdatascience.com/the-fusion-of-deep-learning-and-combinatorics-4d0112a74fa7