لى فنغ شبكة: أنتجت مجموعة لى فنغ ترجمات سلسلة فيديو قصيرة "ورقة دقيقتين"، نقرأ مع التكنولوجيا المتطورة مع شظايا من الوقت، والتعرف على أحدث نتائج البحوث في مجال AI.

لى فنغ قضية شبكة الورق: الجمع بين البحث المتقدم التمثيل الهرمي للهندسة المعمارية

التمثيل الهرمي للكفاءة العمارة البحث

أوراق ووتش القراءة

عندما يتعلق الأمر خوارزميات التعلم، الشبكة العصبية للتعلم لماذا نحن لا تدع هيكلها؟

وأخيرا اقترح شخص ما. هذا الأسلوب الجديد هو الهيكل على البحث.

وحتى الآن، ليست هذه هي الطريقة الأولى لحل هذه المشكلة. ولكن هذا هو بالتأكيد تحسنا كبيرا على المستوى الفني. وهو يمثل بنية الشبكة العصبية كما كائن حي، فإنه يمكن برمجتها الخوارزمية الجينية التطورية.

ذكرنا من قبل كان دقيقتين برنامج الورق، تقنية الشبكات العصبية قد تطورت بسرعة كبيرة، في فقط قبل عقد من الزمن تم حل أولئك الذين اعتقدوا أن من المستحيل حلها. عندما نريد لاستخدامها في حل بعض المشاكل، ونحن بحاجة إلى تحديد الشبكة العصبية الصحيحة. والسؤال هو، كيف نحن ذاهبون لتأسيس الصحيحة هندسة الشبكات العصبية ذلك؟

A هندسة الشبكات العصبية نموذجية، نحن نريد على الأقل لمعرفة عدد الخلايا العصبية المستخدمة في نوع وعدد الطبقات في الشبكة، ولكل طبقة. بعض الشبكات العصبية أكبر يمكن استخدامها للتعامل مع بعض القضايا الأكثر تعقيدا من خلال حلول التعلم. ونتيجة لذلك، تصبح الأمور بسيطة جدا، وطالما كبيرة ممكن الشبكة العصبية معين، فإننا سوف تحل المشكلة، ويمكن أن نتوقع للحصول على أفضل النتائج. ولكن إذا كنت حقا أعتقد أن الجواب هو فقط حتى، انها حاسمة جدا.

إنشاء أكبر شبكة العصبية هو الثمن الواجب دفعه. انهم يقضون أكثر وقت التدريب، والأسوأ من ذلك، إذا كان لدينا كبيرة جدا من الشبكة العصبية، واجهنا مشاكل المناسب. الإفراط في تركيب الظاهرة يشير إلى خوارزمية التعلم والبيانات في تدريب الذاكرة في جوهرها، فهي ليست تعلم فعليا. ونتيجة لذلك، فإنه لا ينطبق على معرفتها لم يطلع على البيانات.

تخيل طالب لديه موهبة رائعة. ويمكن أن نذكر كل محتويات الكتب المدرسية، كما لو كان على محتوى الامتحان مع الكتاب، ويمكن للطالب بشكل جيد جدا، ولكن حتى أكثر فحص دقيق لمحتويات هذا الانحراف، والطالب تفعل سيئة للغاية أيضا. الناس يحبون أن يطلق عليه عن ظهر قلب، ولكن هذه الطريقة مع أي نوع من التعلم لا يمكن مقارنتها. وهناك شبكة عصبية صغيرة مثل كمية صغيرة من المعرفة لدى الطلبة. وأكثر يميلون إلى اختيار وسيلة لإتمام واجباتهم المدرسية، وسيتم الانتهاء من هذه الطريقة أفضل. هذا هو الإفراط في تركيب. انها واحدة من العديد من الحديثة خوارزمية التعلم الممارسات الخاطئة.

عن طريق L1، L2 أو طريقة تنظيم التسرب يمكن الوقاية منها إلى حد الإفراط المناسب. هذه الأساليب هي مفيدة عموما، ولكن لا توجد طريقة غير فعالة للغاية. لذلك، على الرغم من أن الخوارزمية نفسها هي خوارزمية التعلم، ولكن لسبب ما، يجب علينا أن تصميم هيكل الشبكة البشري، وبعض الهياكل مناقشتنا، في الواقع، فهي أفضل بكثير من غيرها من الهياكل. نريد استكمال الاختبارات المتكررة على المدى الطويل من أجل حل الأخطاء الهيكلية، وبالتالي تجد مصطنع أفضل هيكل.

في هذا الرسم البياني، ويمثل المحور الأفقي عدد X خطوة تطورية، عمودي على محور Y يمثل تطور مع مرور الوقت لأداء والهندسة المعمارية. وأخيرا، بعد أمضى يوما ونصف لآلاف كاملة من الخطوات التطورية، أفضل خوارزمية للعثور على بنية الشبكة ليست سوى ادنى قليلا لأفضل لشبكة العصبية الموجودة لكثير من مجموعات البيانات الكلاسيكية.

يرجى قراءة هذا المقال، ومقارنة مع بنى الشبكة العصبية المتطورة وأساليب البحث الأخرى. هذه المقالة لديها الكثير من النتائج سهلة القراءة. وتجدر الإشارة إلى أن هذه الأعمال الأولية، ما زلنا بحاجة إلى مئات من البطاقات في هذه العملية. إذا كنت تعرف كيفية الشبكات العصبية المستخدمة في AlphaGo، بعد ذلك سوف يقلل من تكلفة الحسابية 10 مرات أكثر من مرة في العام.

شبكة لى فنغ من المدرسة المعنية الطغاة الذين يقرأون الصحيفة عن مزيد من التفاصيل: الشبكي: //arxiv.org/pdf/1711.00436.pdf

أوراق دقيقة مصدر / اثنين

ترجمة / نص صارم

التدقيق / جيانغ فان

التشطيب / ترجمات لى فنغ المجموعة