في السنوات الأخيرة، أصبحت الشبكة العصبية رؤية الكمبيوتر حلول رئيسية للتعلم الآلة. ومع ذلك، فإن تصميم هيكل الشبكة العصبية لا يزال يتطلب معرفة مهنية قوية، إلى حد ما أعاق شعبية الشبكة العصبية.

مؤخرا، في الفئة المفتوحة لى فنغ شبكة AI Yanxishe، ومشاركة جامعة جونز هوبكنز الدكتوراه ليو CHENXI أحدث الأبحاث على البحث هيكل الشبكة العصبية، وشرح كيفية الحصول على صورة ImageNet من خلال البحث تدريجي من البسيط الى المعقد لل أعلى دقة التعرف على التصنيف. الفئة المفتوحة تشغيل الفيديو URL:

ليو CHENXI: جامعة جونز هوبكنز المشرف الدكتوراه هو البروفيسور آلان Yuille، اتجاهات رئيسية للبحث عن رؤية الكمبيوتر، ومعالجة اللغة الطبيعية. تلقى تعليمه في جامعة كاليفورنيا في لوس انجليس وجامعة تسينغهوا. وقد تم نشر العمل البحثي في CVPR، ICCV، ECCV وهلم جرا.

حصة الموضوع: الشبكة العصبية التقدمية البحث هيكل

حصة الخطوط العريضة:

• خلفية AutoML وهيكل الشبكة العصبية بحث مقدمة

• شبكة هيكلة فضاء البحث

• هيكل تزايدي الشبكات العصبية خوارزمية البحث

• نتائج تصنيف الصور

لى فنغ شبكة AI Yanxishe لمشاركة المحتوى تتلخص فيما يلي:

حصة اليوم أنا مع الجميع هي تقدمية العصبي هيكل شبكة البحث (التقدمي العصبية العمارة البحث). هذا العمل هو ما أقوم به عندما جوجل مشروع التدريب (US) والقيام تقريرا شفويا عن ECCV الأخيرة عام 2018.

خلفية AutoML وهيكل الشبكة العصبية بحث مقدمة

أولا، قليلا الخلفية بنية الشبكة AutoML والبحث الأعصاب.

هذه المقالة تشارك بشكل رئيسي في مجال هو AutoML، وهذا هو المجال الناشئ، هو أيضا مهم جدا إلى Google اتجاه محدد. هدفها هو بسيط جدا ولكن أيضا مهم جدا هو قدرة الحل آلة التعلم في جميع مراحل عملية التصميم، والحد من تدخل بشري. عندما درجة تحقيق AutoML بما فيه الكفاية العالية لتحقيق الوضع محددة هي: عندما يكون الناس فقط في الصباح قبل إرجاع، عملية التصميم بأكملها يمكن تحقيق درجة عالية من طريقة تلقائية، عندما عاد ليلا لكاملة.

بطبيعة الحال، فإن الحل الأمثل هو الكامل، فإن الواقع الصعب تحقيق من أكبر، ولماذا؟

الآن حل آلة التعلم كل من المعلمات أيضا فرط المعلمات، والآن معظم إطار التعلم آلة شعبية الشبكة العصبية، حيث أنها تركز على تعظيم الاستفادة من ما إذا كانت الآلية. في الوقت الحاضر، وقد تم تعديل المعلمة الآلي للغاية، ويمكن تنفيذها مباشرة من قبل المعلمة تعديل العكسي وظيفة الأمثل، فإنه من الصعب تحقيق درجة أكبر من الأتمتة لضبط معايير فائقة.

أين هي المعايير التي عظمى؟

A معلمات المذكورة السوبر، ونحن سوف نفكر في معدل التعلم الرقمي أكثر أهمية، على سبيل المثال، وتدريب كامل، متى، وكم قيمة يجب اختيار بالتأكيد وهلم جرا. ولكن للشبكات العصبية، وكثير من المعلمات جدا هي داخل هيكلها. هذا الرقم هو تكوين شبكة:

كثير من بنية الشبكة العصبية يتطلب الكثير من الخبرة المتخصصة والمعرفة، ولكن النتائج النهائية ليست الأمثل، وهذا هو السبب ونحن نحاول التدريجي هيكل الشبكة العصبية بحث الدافع الرئيسي.

في السنوات الأخيرة، بدأوا تدريجيا للتركيز على سؤال واحد: لا يمكن الاعتماد كليا على الخبرة المتخصصة والمعرفة، والحصول على بنية الشبكة العصبية جيد جدا من خلال الطريقة الآلية؟

مجال الشبكات العصبية نموا سريعا، ولكن الآن بنية الشبكة العصبية المرتبطة بحث المواد تستخدم أساسا: الخوارزميات (EA) الخوارزميات التطورية وتعزيز التعلم (RL).

[شرح حول هذه الخوارزميات اثنين، يرجى إلقاء نظرة على الفيديو 00:07:00]

أمامنا، وقد تم العمل ذات الصلة بحث هيكل الشبكة العصبية يفعل أفضل، ولكن المشكلة في أبحاثنا في هذا المجال وجدت أن العمل السابق هو تعتمد اعتمادا كبيرا على موارد الحوسبة. على سبيل المثال، في جوجل الدماغ 2017 في مقال، من أجل القيام بعملية بحث باستخدام بنية الشبكة العصبية كواي K40 GPU 800، ومن ثم تدريبهم لمدة 28 يوما. في هذه المقالة، وإن كان قد تحسنت كثيرا، ولكن لا يزال استغرق 500 P100، وتدريبهم لمدة خمسة أيام.

ولذلك، فإن الهدف الرئيسي لعملنا هو محاولة لزيادة سرعة بنية الشبكة العصبية وكفاءة البحث، ونهج محدد هو: اقتراح خوارزمية مبتكرة. قبل أن وصف هذه الخوارزمية، ونحن بحاجة لفهم بنية شبكة فضاء البحث (الهندسة المعمارية البحث الفضاء).

شبكة هيكلة فضاء البحث

حول هيكل هيكل الشبكة من فضاء البحث هو: تعريف شبكة كاملة تتألف من عدد من الخلايا، خلية كتلة أخرى من قبل عدد من المكونات.

شبكة خلية من هذه العملية، كما هو مبين على الحق، وهذا هو، مع هيكل الخلية بعد تشكيل الشبكة بأكملها، وتوجه العملية برمتها ResNet التصميم.

[عملية من حول شبكة خلية إلى شرح أكثر تحديدا، يرجى ننظر إلى الوراء في الفيديو 00:12:40]

من عملية كتلة خلية يشير إلى كتلة خلية مكونة من خمسة، وإخراج كله ناتج الخلية بلوك 5 من سلسلة (اتصال). الحق، ممثل H الناتج من الخلية، H1 إلى H5 تمثل إخراج خمسة بلوك.

وهيكل هذه الكتلة هو على الارجح أقل الحق في FIG، الذي هو أصغر جزء من الشبكة بالكامل يتكون، من خلال Operator1 تحويل نظرة Input1، Input2 التي كتبها Operator2 تحويل في كل من الجمع بين كتلة تشكلت من خلال طريقة معينة.

[شرح المزيد عن تشكيل كتلة، يرجى إلقاء نظرة على الفيديو 00:14:34]

بشكل عام، وهيكل شبكة فضاء البحث كما هو موضح في بنية الخلية الصحيح، كل "+" يمثل موقف حيث نهاية بلوك، كل كتلة لديها عملية تنتهي من إضافة عنصر الحكمة، H (ج -1) هو الإخراج خلية السابق، H (ج 2) الأولين من الناتج الخلية.

تتم المقابلة حساب يساري خارج، فإن هذا الهيكل لديهم قوة 14 مجموعات 10، والهدف من ذلك هو للبحث عن هندسة الشبكات العصبية في الفترة من 14 تشرين النتائج 10 إلى اختيار أفضل واحد، والتي من الواضح إنها مهمة صعبة للغاية، الأمر الذي يتطلب خوارزمية جيدة للأداء.

هيكل تزايدي الشبكات العصبية خوارزمية البحث

لدينا فكرة رئيسية هي بسيطة: من البسيط إلى المعقد التعلم المناهج. لاحظنا أن الطرق السابقة هي مباشرة في ال 14 من حجم الفضاء بحثا عن 10 عينات أو التدريب، وهذه المساحة البحث بشكل كبير جدا، فمن الصعب أن المعلومات المتراكمة على نحو فعال.

لدينا فكرة لا يعمل مباشرة على حجم المساحة بحث ال 1410، ولكن البسيط الى المعقد ببطء في أكبر مساحة البحث:

أولا وقبل كل شيء، كل التدريب الخلايا 1-كتلة، وبطبيعة الحال، وهدفنا هو البحث خلايا 5-كتلة، ولكن بدأنا في التظاهر بعدم معرفة هدفنا. واحد يستفيد من هذا الهيكل هو هيكل شبكتها بسيط نسبيا، والاستفادة أخرى هي أنه ليست سوى العدد المطلق 256 مختلفة ممكن.

ثم، لاختبار خوارزمية، ثم أنها سوف تكون درجات منخفضة نسبيا، لأن لديهم عدد أقل من كتلة. ومع ذلك، فإن الأداء النسبي بينهما، مما يعني أن الإشارة قد اعد هو الخلية، التي لا تبشر بالخير.

وأخيرا، نختار من 256 K والذي قد يكون واعدا أعلى خلية، يصبح الخلايا 2-كتلة، ومن ثم تغير إلى الخلايا 3-كتلة، وتحويل هذا التطور.

[معلومات عن هذه الفكرة شرح أكثر تفصيلا، يرجى إلقاء نظرة على الفيديو 00:19:50]

ومع ذلك، هذه فكرة يصعب التنبؤ بها. وبناء على هذا، لدينا الحل هو إدخال "رخيصة" نموذج بديل، قراءتها إلى بنية، كما هو الحال في الشكل أدناه (0، 2، 0، 6)، وسوف تذهب مباشرة إلى تنبؤ التنبؤ الأداء النهائي مثل مؤشرا وخفيفة الوزن جدا، لدينا الفكرة هي استخدام نموذج بديل ليحل محل العملية التدريبية برمتها.

[معلومات عن نموذج بديل شرح أكثر تفصيلا، يرجى إلقاء نظرة على الفيديو 00:22:28]

في النهاية، كل منا حاول MLP-الفرقة حاولت أيضا RNN-فرقة للتنبؤ. طريقة RNN-فرقة بديهية، في كل مرة عندما تواجه مع أحجام عينة من هيكل طويل، ما دام عدد من الخطوات المختلفة RNN انبسط عليه. تتم معالجة حجم MLP-الفرقة التي كتبها المتغيرة بطريقة تجميع متوسط.

التالي نستخدم هذه العصبية طريقة البحث في الشبكة تدريجيا مثال محددة نظر.

[على تدريجي طريقة العصبي شبكة البحث لشرح القضية، يرجى إلقاء نظرة على الفيديو 00:26:39]

وأخيرا، تخبرنا عن نتائجنا.

نتائج تصنيف الصور

في عملية البحث، وحققنا هذه التجربة، تقدمية العصبي هيكل شبكة البحث على CIFAR 10 العمارة، وقيمة K من 256، في حين أن كل نموذج N F وقيم 2.24، صغير نسبيا وكان النموذج 20 تكرارات التدريب، وأسرع، وأكثر دقة تحديد الشبكة غير جيدة أو سيئة. وهناك مسألة مهمة جدا في هذه العملية هو أن بحثنا ليست أكثر كفاءة - وهذا هو هدفنا الرئيسي ورقة كاملة.

الجواب هو بالتأكيد، نعم. في الشكل أدناه، أنا وضعت لدينا التقدمية البحث هيكل الشبكة العصبية مع Rearch عشوائية والمقارنة NAS:

[البحث عن تفسير محددة من الطرق الثلاثة المقارنة، يرجى إلقاء نظرة على الفيديو 00:31:45]

ونحن نبحث في هيكل PNASNet-1، 2،3،4،5، نظرة معينة إلى ما دون:

التي PNASNet-5 غير بحثنا النهائي من النتائج. ومن ثم نجد مثل هذا الهيكل، هو الوحيد لضمان الأداء الجيد في عملية ليست كافية، لدينا بعد الانتهاء من البحث، وسوف تزيد N و F والتدريب والاختبار على CIFAR 10 وImageNet. المشكلة هنا هي أن نجد بنية أداء الشبكة على أفضل قواعد البيانات المعيار هو نوع من كيف.

تجربة النتائج على CIFAR 10 كما هو مبين أدناه:

تجارب على (، موبايل كبيرة) النتائج ImageNet كما هو مبين أدناه:

[شرح بالتفصيل حول التجارب على CIFAR 10 وImageNet، يرجى إلقاء نظرة على الفيديو 00:35:30]

مهمتنا أن تفعل شيئا موجز:

أولا، نقترح هندسة الشبكات طريقة البحث العصبي، استخدامات محددة، من البسيط الى طرق معقدة، في نفس الوقت، من أجل جعل خوارزمية يصبح أكثر قابلية للتنبؤ، تعلمنا وظيفة بديلة لتوجيه البحث.

ثانيا، نحن سيتم البحث بها وتسمى النتيجة النهائية PNASNet-5، التي وصلت إلى معدل دقة عالية جدا على CIFAR 10 وImageNet، وعملية البحث أكثر من أفضل تعزيز التعلم والنهج التطوري خوارزمية لحظة بسرعة.

تدربنا على PNASNet 5 نماذج يكون لها الإفراج عنهم، بما في ذلك موبايل ذكرت للتو على ImageNet، نموذج كبير، كل نموذج TensorFlow، PyTorch، و (على حد علمي) لنموذج بدقة عن افتتاح ImageNet في ImageNet درجة SOTA ومعظم نموذج فعال، يمكنك إذا كان هناك حاجة للعثور على URL المناسب.

بعد أن نشر ورقة على موقعنا ECCV مجانا، لدينا الكثير من التغييرات والإضافات الجديدة. يستخدم أنظمتنا في مهمة مماثلة، مثل PPP نت وDPP-Net غير باريتو المستوى الأمثل أبنية أو التعلم ميتا في، حققت نتائج جيدة.

في ورقتنا لا يحل المشكلة، قمنا بتدريب فردي على كل عينة من الأفراد من هذا النموذج، ليس هناك جيدة لامانع من بعضها البعض. ورقة الأخيرة أساليبنا في تركيبة مع الأساليب الأخرى، وهيكل العصبي بحث سرعة الشبكة يصبح أسرع وأكثر كفاءة.

هذه هي الضيوف الحالي جميعا. أكثر انفتاحا الذهاب فئة فيديو لشبكة لى فنغ AI Yanxishe المجتمع (https://club.leiphone.com/) لمشاهدة. التركيز على عدد جمهور قناة الصغرى: AI Yanxishe (okweiwu)، يمكنك الحصول على أحدث إشعار وقت الفئة المفتوحة الحية.