هذا المقال هو عبارة عن تجميع للAI Yanxishe بلوق التكنولوجيا، والعنوان الأصلي:
اكتشاف أفضل أبنية العصبية في الفضاء المستمر | مايكروسوفت للبحوث
الكاتب | فاي تيان
الترجمة | سون تشي هاو 2
التدقيق | صلصة الكمثرى فان التشطيب | شقيقة الأناناس
الرابط الأصلي:
https://www.microsoft.com/en-us/research/blog/discovering-the-best-neural-architectures-in-the-continuous-space/
إذا كنت طبيب التعلم العميق، قد تجد أنك غالبا ما تواجه مع السؤال الحاسم: ما هو نوع من هندسة الشبكات العصبية يجب أن أختار لهذه المهمة الآن؟ يعتمد هذا القرار على العديد من العوامل والعديد من الإجابات على أسئلة أخرى. وأود أن يعطي هذا واحد لاختيار ما التشغيل ---- الالتواء، ويمكن تقسيم عمق التفاف إلى، أو الحد الأقصى تجميع؟ يجب أن تكون طبقة الأساسية التفاف كيف الانتخابات؟ 3 * 3 أو 1 * 1؟ هل هناك أي عقدة في الشبكة العصبية المستخدمة لبمثابة حلقة (RNN) مدخلات العقدة؟ هذه القرارات الحاسمة لنجاح الهندسة المعمارية. إذا كنت على حد سواء الخبراء في مجال نمذجة الشبكة العصبية ومهمة محددة في متناول اليد، يمكنك بسهولة العثور على الجواب. إذا كان لديك خبرة محدودة في مجال ولكن في واحدة احترام ذلك؟
في هذه الحالة، يمكنك أن تحاول البحث عن العمارة العصبية (NAS)، وهي عملية تلقائية، خوارزمية آخر آلة التعلم القائم على الملاحظة السابقة للهندسة وأدائها، للاسترشاد بها في إنشاء بنية تحتية أفضل. بفضل NAS، يمكن أن نجد في مجموعات البيانات العامة وتستخدم على نطاق واسع، مثل ImageNet، وأفضل أداء هندسة الشبكات العصبية، و لا يتطلب تدخل بشري.
ومع ذلك، فإن الطريقة الحالية لتصميم تلقائيا هندسة الشبكات العصبية - عادة على أساس تعزيز التعلم أو الخوارزميات التطورية - رفيقي وأنا مصمم على آلة التعلم في مايكروسوفت للبحوث آسيا، واحتياجات المجموعة لإجراء بحث في النمو الهائل في مساحة منفصلة، مبسط، عملية أكثر كفاءة، والتحسين بناء على الفضاء المستمر. مع طريقة جديدة لدينا، ودعا العمارة الأمثل العصبي (NAO)، ونحن جعل استخدام الأمثل في الأساليب القائمة على التدرج المساحات أكثر تشددا. استغرق هذا العمل جزء في مؤتمر نظم معالجة المعلومات العصبية لهذا العام (NeurIPS)
مكونات مفتاح NAO
NAO مدفوعة في الأمثل القائم على التدرج المستمر من الفضاء، اعتمادا على العناصر الثلاثة التالية:
-
A هندسة الشبكات العصبية من قيمة منفصلة في ترميز ناقلات المستمر، وتسمى أيضا نموذج جزءا لا يتجزأ من
-
ونتيجة تقديرات وظيفة، والتي متجه كمدخل وينتج قيمة باعتبارها الأداء المعماري (على سبيل المثال، دقة)
-
A ناقلات قيمة المستمر لاستعادة فك هندسة الشبكات
-
بتدريب هذه العناصر الثلاثة معا. انتهينا من التدريب، بدءا من المخطط العاشر، ونحن نستخدم التشفير E يمثل ناقلات العاشر في السابق، ثم نتائج يقدرها وظيفة و لاتجاه الانحدار، جزءا لا يتجزأ من جديد إلى ex` السابق (مثل الخط الأخضر ). منذ نفعل صعود التدرج، طالما أن حجم الخطوة هو ما يكفي صغيرة، يمكننا أن نضمن أن f (ex`) > = F (على سبيل المثال). وأخيرا، ونحن نستخدم وحدة فك الترميز D لex` إلى x` العمارة منفصلة. في هذه الطريقة، ونحن قد تحصل على العمارة x` أفضل. من خلال تحديث باستمرار هذه العمارة. حصلنا على الهندسة المعمارية النهائية، فإنه يجب أن يكون أفضل أداء.
الشكل 1: تدفق NAO
هناك موارد محدودة لتحقيق نتائج جيدة
فعلنا تجارب المتابعة للتحقق من صحة NAO اكتشاف تلقائيا أفضل من العمارة العصبية. الجدول 1 (أدناه) يدل على الشبكة العصبية التلافيف (CNN) العمارة مختلفة على CIFAR 10 صورة مفصلة أداء جمع البيانات، ويتم إنشاء هذه البنى من قبل مختلف الخوارزميات NAS. يمكننا أن نرى من الجدول، مع العثور على NAO أن الشبكة كانت أدنى نسبة الخطأ. بالإضافة إلى ذلك، NAO والحق في تقاسم إعادة آلية الجمع (تسمى NAO-WS)، وحصلنا على كبير زيادة سرعة البحث. حصة الوزن يمكن أن تقلل من تكلفة الحسابية للبحث هندسة الشبكات، واسمحوا أن يتم ذلك من خلال مجموعة متنوعة من هياكل الشبكة يشتركون في نفس المعلمات. في تجاربنا، استخدمنا معالج الصور (GPU)، أكثر من سبع ساعات للحصول على بنية CNN، حققت نسبة الخطأ 3.53. عن طريق تبادل الوزن، ونحن لم يكن لديك لإعادة تدريب الشبكات العصبية المختلفة الأخرى.
ويلخص الجدول 2 (أدناه) نتائج نموذج اللغة PTB. وخفض الارتباك يشير إلى أداء أفضل. ومرة أخرى، نجد NAO العمارة RNN تحقيق نتيجة جيدة، ولكن فقط مع موارد الحوسبة محدودة.
عن طريق الاستفادة المثلى على مساحة المستمر، NAO الحصول على نتائج أفضل، مقارنة مع اقتراب NAS القائمة، والبحث مباشرة في الفضاء المعماري منفصلة. أما بالنسبة لتطبيقات المستقبل، ونحن نخطط لاستخدام NAO، مثل العصب الترجمة الآلية إلى مهام أخرى هامة AI العمارة البحث. نفس القدر من الأهمية، أكثر بساطة وكفاءة التلقائي تصميم الهندسة المعمارية العصبي، يتم استخدام آلة تقنية التعلم في مراحل مختلفة من الناس.
الجدول 1: نتيجة CIFAR 10 تصنيف
الجدول 2: نتائج PTB نموذج اللغة
أريد الاستمرار لعرضها روابط ذات صلة والمراجع؟
انقر على الرابط لفتح الصحافة أو انقر فوق [العصبي العمارة الأمثل (NAO): تبحث عن العمارة عصبية جديدة (NAS) خوارزمية]:
https://ai.yanxishe.com/page/TextTranslation/1335
AI Yanxishe المحتوى مثيرة تحديثها يوميا، وعرض محتوى أكثر إثارة: شبكة شبكة شبكة لى فنغ لى فنغ لى فنغ
خمسة العمارة CNN قوية جدا
كنت أقرأ مقالا مع رؤية الحاسوب
حتى عمق تعلم Pytorch (الجزء الأول)
رأس الثعبان متقدمة: خفضت الى النصف مع سطر واحد من البصمة ذاكرة رمز
في انتظاركم لتفسير:
