المصدر: نيو جي وون

هذه المقالة حول 4100 كلمات القراءة الموصى بها 6 دقائق

من "الثلاثة الكبار التعلم العميق" لهو كاي مينغ، من جوجل لمعهد ماساتشوستس للتكنولوجيا، 52 الداء العليقي ورقة من الدرجة الله أننا ننظر إلى الخلف مع التعلم العميق من هذا العقد. من الطيار الآلي لDeepfake، والتعلم العميق هو تغيير العالم. دراسة متعمقة من الأوراق المؤثرة في العقد الماضي هناك؟ من "الثلاثة الكبار التعلم العميق" لهو كاي مينغ، من جوجل لمعهد ماساتشوستس للتكنولوجيا، 52 الداء العليقي ورقة من الدرجة الله أننا ننظر إلى الخلف مع التعلم العميق من هذا العقد.

مع وصول عام 2020، دخلت البشرية في العقد الجديد. إذ يشير إلى مدى السنوات ال 10 الماضية، تقدما هائلا في مجال التعلم العميق. مع زيادة القدرة الحاسوبية للبيانات كبيرة وبشكل مستمر تحسين توافر، وحلت التعلم العميق بنجاح العديد من المشاكل من الصعب سابقا إلى عزيمة، وخاصة في رؤية الحاسوب ومعالجة اللغة الطبيعية. بدأت دراسة معمقة في تطبيقات العالم الحقيقي، من التصوير الطبي والمركبات الذاتية لمساعدي الظاهري وdeepfake، في أكثر أو أقل تؤثر علينا.

اليوم لتبادل توفر هذه المقالة لمحة عامة عن العقد الماضي، وبعض من الأكثر نفوذا دراسة أوراق العمق، من قبل المستخدمين رديت يكون الثناء.

2011: يوشوا بيجيو آخرون ReLU وظيفة التنشيط، مما يمهد الطريق لشبكة أعمق

ديب متناثر الشبكات العصبية المعدل (استشهد 4071 مرات)

ReLU وSoftplus

يوشوا بيجيو، وآخرون. هذه وظيفة التنشيط، وظيفة قدرات أفضل أداء ReLU تفعيل وظيفة تفعيل يعرض ورقة ReLU من تان، أكملت تدريب الشبكة العصبية لديه بعض تبعثر. نجد أن استخدام ReLU مساعدة في حل مشكلة اختفاء التدرج، وتمهيد الطريق لشبكة أعمق.

وثائق مهمة أخرى في عام 2011:

• المعدل الغير خطية تحسين الشبكات العصبية الصوتية نماذج
• سريع وعميق دقيق شبكة التعلم عن طريق وحدات الخطية الأسي (ELUs)
• الذاتي تطبيع الشبكات العصبية
• الخطي وحدات خطأ جاوس (GELUs)

2012: هينتون التوجيه، AlexNet الإحساس

تصنيف ImageNet مع الشبكات العصبية التلافيف ديب (استشهد 52025 مرات)

العمارة AlexNet

في عام 2012، بتوجيه من هينتون، أليكس Krizhevsky وSutskever لتطوير AlexNet المثيرة. المقال بعنوان ImageNet تصنيف بأوراق ديب التلافيف الشبكات العصبية، الاستشهادات أكثر من 50،000 مرات.

AlexNet في رواية العصبية NeurIPS هندسة الشبكات لاول مرة، والالتواء يحتوي على خمس طبقات وثلاث طبقات مرتبطة ارتباطا كاملا. وتعتبر هذه الورقة على نطاق واسع عملا رائدا حقا، لأنه هو أول مظاهرة من عمق GPU على الشبكة العصبية يمكن تدريب لتعزيز مهام التعرف على الصور الى مستوى جديد.

كان AlexNet شبكة لتطوير الشبكات العصبية لها تأثير مهم جدا، وبعد يستخدم كل بطل ImageNet هيكل التفاف الشبكة العصبية، مما يجعل جوهر CNN نموذج العمارة تصنيف الصور، وبالتالي فتح موجة جديدة من موجة من التعلم العميق، الذي التفاف + + استخدام المجمعة العمارة مرتبطة ارتباطا كاملا لا يزال معظم دراسة متعمقة الحالية المهمة هيكل الشبكة.

وثائق مهمة أخرى في عام 2012:

صورة نموذجية التسلسل الهرمي ImageNet

• ImageNet: A الهرمي قاعدة البيانات على نطاق واسع صورة
• مرنة، الشبكات العصبية التلافيف عالية الأداء لتصنيف صورة
• التدرج القائم على التعلم التطبيقية إلى الاعتراف الوثيقة

2013: أطلقت DQN الطلقة الأولى من DRL

توزيع إقرارات الكلمات والعبارات وCompositionality الخاصة بهم (استشهد 16923 مرات)

وتكمل هذه الورقة "تقدير كفاءة من Word التمثيل في ناقلات الفضاء"، وأدخلت استخدام نموذج تخطي غرام والتدريب أساليب وضع التدريب الهرمي Softmax، إضافة سلبي أخذ العينات وضع التدريب سلبي البديل أخذ العينات، وأسرع تدريب أثر. وتقترح هذه الورقة أيضا وسيلة للكلمات عالية التردد طريقة أخذ العينات الثانوي، فضلا عن عبارات المقياس، والتعلم عبارة التمثيل.

قدم Mikolov آخرون نموذج تخطي غرام، وهو وسيلة فعالة لتعلم البيانات النص غير منظم من عدد كبير من تمثيل ناقلات ذات جودة عالية. وفي الماضي أكثر من هندسة الشبكات العصبية للتعلم ناقلات كلمة التدريب المختلفة نموذج تخطي غرام لا تنطوي على ضرب المصفوفات الكثيفة. وهذا يجعل تدريب فعالة جدا: تطبيق واحد يمكن أن يكون الأمثل تدريب أكثر من 100 مليار كلمة في يوم واحد.

يلعب أتاري مع ديب التسليح التعلم (استشهد 3251 مرات)

DeepMind أتاري DQN

DeepMind نتائج أتاري DQN يفتح عمق مجال تعزيز التعلم. قبل التعلم شبكة التسليح الرئيسي لبيئة منخفضة الأبعاد في العالم، من الصعب تنطبق على بيئات أكثر تعقيدا. أتاري هو تعزيز أول تطبيق ناجح للتعلم في بيئة الأبعاد عالية، فمن المهم تعزيز مجال الفرعية للتعليم AI من جلبه من الغموض.

وتقترح هذه الورقة طريقة لتعلم العميق، وتعزيز أسلوب التعلم باستخدام التعلم سياسة التحكم مباشرة من المدخلات الحسية العالية الأبعاد. نموذج الالتواء هو الشبكة العصبية، واستخدام البديل من Q-التعلم للتدريب، هو بكسل المدخلات الأصلية، خرج من المتوقع وظيفة قيمة مكافأة المستقبل. تطبيق هذه الطريقة لألعاب أتاري 2600 حتى والاختبار وطريقة اكتشاف من في جميع المباريات السابقة فعالة، حتى في لعبة فيها ثلاثة لاعبين أكثر من مستوى الإنسان.

وثائق مهمة أخرى في عام 2013:

• القفازات: المتجهات العالمي للالتمثيل كلمة
• التعلم من المكافآت المتأخرة

2014: Bengio مع نظيره الدكتوراه أطروحة المؤلف المشارك إيان غودفلوو، جعلت المواجهة الشهيرة شبكة الجيل

توليدي الخصومة شبكات (استشهد 13917 مرات)

توليد المواجهة شبكة (GAN) تحظى بشعبية في جزء بفضل كبير إلى مذهلة المؤثرات البصرية التي تنتجها. الاعتماد على لعبة بين المولد والممي، GAN لنموذج توزيع الأبعاد عالية التعقيد. والغرض من ذلك هو الحد من الممي مولد بشكل صحيح تحديد احتمال وجود عينة كاذبة، الممي الهدف هو الخطأ عندما خفضت إلى تحقيق أقصى قدر من تصنيف الصور والعينات كاذبة الحكم.

في الممارسة العملية، وتدريب في كثير من الأحيان باني يسمح حددت الأخطاء التمييز زيادة عدد الاحتمالات. هذا يمكن أن تقلل من التدرج التشبع، من أجل تحسين التدريب والاستقرار.

العصبية آلة الترجمة من قبل التعلم المشترك إلى محاذاة وترجمة (استشهد 9882 مرات)

تقدم هذه الورقة مفهوم الاهتمام. يتم ضغط المعلومات بدلا في الفضاء الكامنة RNN، وسياق ككل تبقى في الذاكرة، وذلك باستخدام س العمليات (بالمليون)، بحيث يكون لكل عنصر من عناصر الانتاج من كل المدخلات وتشارك.

على الرغم من الزيادة في عدد من العمليات الحسابية، ولكن أفضل من حالة ثابتة من الآليات الاهتمام أداء RNN، ليس فقط باعتبارها الترجمة ونمذجة اللغة وغيرها من المهام مثل جزءا لا يتجزأ من النص، لكنه أضاف أيضا إلى GAN وغيرها من نموذج غير النص.

آدم: منهج في الاستوكاستك الأمثل (استشهد 34082 مرات)

نظرا لسهولة التعديل، أصبح آدم محسن التكيف بشعبية كبيرة. ويمكن تعديل معدل التعلم آدم فردي لكل معلمة. وعلى الرغم من أوراق الأخيرة متشككة حول أداء آدم، لكنه لا يزال واحدا من الخوارزمية الأمثل هو حاليا معظم التعلم العميق شعبية.

وثائق مهمة أخرى في عام 2014:

• اسرشتاين GAN والتدريب تحسين من اسرشتاين GANS
• A نمط القائم على مولد الهندسة المعمارية لشبكات الخصومة التوليدية
• تنفصل الوزن تسوس توفيق أوضاع

2015: ResNet السماح هو كاي مينغ الشروع رسميا على طريق الله العظيم

ديب المتبقية التعلم forImage الاعتراف (استشهد 34635 مرات)

وقد تم تصميم دراسة متعمقة في الأصل إلى عنوان المتبقية عمق الشبكة العصبية التلافيف (CNN) التدرج يختفي / التدرج مشكلة الانفجار، والآن، أصبحت كتلة المتبقية جزءا أساسيا من ما يقرب من جميع CNN. فكرتها بسيطة جدا: تضيف مدخلات من كل كتلة مسبق للالتفاف طبقة الانتاج. هو، من الناحية النظرية، لا ينبغي أبدا أن كسر الإلهام وراء شبكة المتبقية الشبكات العصبية وصولا إلى أكثر من طبقات، لأنه في أسوأ الحالات، يمكن للطبقات الأخرى ببساطة مجموعة مخطط الهوية.

في الممارسة العملية، ومع ذلك، شبكة أعمق كثيرا ما يواجهون صعوبات في قضايا التدريب. طبقات الشبكة المتبقية تجعل من السهل معرفة خريطة الهوية، ولكن أيضا يخفف مشكلة اختفاء التدرج. وعلى الرغم من فكرة بسيطة، ولكن شبكة المتبقية متفوقة إلى حد كبير إلى CNN التقليدية، لأعمق ميزة الشبكة هو واضح بشكل خاص.

دفعة التطبيع: تسريع وتيرة ديب شبكة التدريب عن طريق تخفيض متغيرا الداخلية العالي (استشهد 14384 مرات)

التطبيع دفعة (دفعة تطبيع) هو عمود آخر من ما يقرب من جميع الشبكة العصبية اليوم. لأنه يقوم على البساطة آخر ولكن فكرة قوية: الحفاظ على متوسط عملية التدريب والتباين الإحصاءات، واستخدام الإحصاءات لتفعيل التكبير طائفة من الصفر يعني وحدة التباين. يمكن دفعة تطبيع فعال لا يزال السبب الدقيق للجدل، ولكن من التجارب السابقة، فعاليته ليست موضع شك.

وثائق مهمة أخرى في عام 2015:

• الذهاب أعمق مع الإلتواءات
• جدا شبكات التلافيف العميق لواسع النطاق التعرف على الصور
• العصبية المعادلات التفاضلية العادية
• التطبيع طبقة
• المثال التطبيع: العنصر المفقود لأسلوب سريع
• المجموعة التطبيع

2016: جوجل DeepMind فريق سر AlphaGo

اتقان لعبة الذهاب مع neuralnetworks عميقة وبحث شجرة (استشهد 6310 مرات)

في أعقاب الكمبيوتر IBM 1997 "ديب بلو" غاري كاسباروف، وأصبح بطل العالم في الشطرنج هزم العودة الهدف التالي للمجتمع منظمة العفو الدولية، وذلك أساسا بسبب خصائص العودة: فضاء الحالة العودة إلى حد أكبر من الشطرنج، الاعتماد على اللاعبين بديهية البشري أيضا أقوى.

قبل AlphaGo، ونظام AI العودة أنجح (مثل الحجر المجنون وزين) ومونت كارلو البحث شجرة نموذج البحث شجرة والعديد من بحث ارشادي للدليل. من معدل التقدم لهذه النظم وجهة نظر، الماضي أن الإنسان AI تغلب على رأس اللاعبين لديهم للذهاب لسنوات عديدة. وعلى الرغم من وجود الشبكة العصبية لمحاولات العودة السابقة، ولكن حتى كنت في الواقع لا أحد يستطيع أن يصل إلى مستوى AlphaGo. AlphaGo عن طريق شبكة السياسة وشبكة قيمة هذه الشبكات الاستراتيجيات وشبكات القيمة تضيق نطاق البحث شجرة، ويسمح للاقتطاع من شجرة البحث. تم تدريب هذه الشبكات لأول مرة عن طريق التعلم تحت إشراف القياسية، ثم عدلت بموجب تعزيز التعلم.

قد يكون AlphaGo لها تأثير كبير على وجهة نظر الجمهور للعرض، في عام 2016، ما يقدر بنحو 100 مليون شخص في جميع أنحاء العالم (وخاصة في العودة بشعبية كبيرة في اليابان وكوريا الجنوبية) وشاهد AlphaGo لي شيشي "حرب بين الانسان والآلة." اللعبة وغيرها من AlphaGo صفر بعد المباراة، وقد أثرت اعبين الإنسان في استراتيجية الشطرنج خط. حيث المباراة الثانية من اليد الاولى في البطولة 37 لAlphaGo الأكثر نفوذا الأولى مباشرة. AlphaGo العديد من التحركات خط من اللاعبين الإنسان العادي، والخلط بين الكثير من المحللين. ثبت فيما بعد أن هذه اليد لتحقيق النصر AlphaGo أمر ضروري.

وثائق مهمة أخرى في عام 2016:

• اتقان لعبة من العودة دون معرفة الإنسان

2017: يعتمد جوجل على سلسلة من النموذج العصبي الاهتمام ذروته

الانتباه هو كل ما تحتاج (استشهد 5059 مرات)

محول بنية استخدام على نطاق واسع من آليات الإنتباه المذكورة أعلاه، أصبح الآن الأساس للجميع تقريبا من أحدث طراز من NLP. نموذج محول هو أعلى إلى حد كبير RNN، وذلك لأن الأولى في الاستفادة من الشبكات الكبيرة جدا تكلفة الحسابية.

في RNN، أصبحت الحاجة إلى انتشار في جميع أنحاء "توسيع" الرقم الانحدار، مما يجعل الوصول إلى الذاكرة اختناق كبير، ولكن أيضا لتنفجر التدرج / التدرج يختفي التدرج مشكلة أكثر خطورة، وبالتالي تتطلب أكثر تعقيدا (وأكثر من حساب) LSTM ونماذج GRU.

في المقابل، محول نموذج الأمثل للمعالجة المتوازية للغاية. حساب الجزء الأكثر تكلفة هي طبقة feedforward الشبكة بعد انتباه (والتي قد تكون بشكل متوازي التطبيقات) الطبقة نفسها والاهتمام (كبير ضرب المصفوفات، فمن السهل الأمثل).

العصبية العمارة البحث مع التعزيز التعلم (استشهد 1186 مرات)

بحث العمارة العصبية (NAS) أصبح "استنزاف" وسيلة عالمية أداء الشبكة النقطة الأخيرة. NAS دون الحاجة إلى تصميم يدويا الهندسة المعمارية، ولكن دعونا أن يكون آليا هذه العملية. كما المستخدمة هنا، تم تدريب التعلم تعزيز شبكة تحكم لإنتاج البنية التحتية للشبكة عالية الأداء، وخلق العديد من شبكة SOTA. وتستخدم وسائل أخرى، مثل الهندسة المعمارية للبحث عن صورة AmoebaNet المصنفات تطورية الخوارزمية.

2018: معلم NLP، وجوجل بيرت جنون نموذج رقما قياسيا 11

بيرت: قبل تدريب ديب ثنائي الاتجاه محولات للتفاهم اللغة (استشهد 3025 مرات)

مقارنة بيرت مع GPT وإلمو

صدر بيرت نموذج جوجل 2018 فريق منظمة العفو الدولية، NLP في صناعة تسبب مضاعفات كبيرة. بيرت في الجهاز قراءة اختبار الفهم SQuAD1.1 أظهرت نتائج مذهلة: شمولا من البشر على حد سواء المقاييس، وكذلك المهام NLP مختلفة في الوصول إلى أفضل النتائج سوف تشمل 11 نوعا ،، GLUE مؤشر دفع إلى 80.4 (تحسين المطلق من 7.6)، وبلغت MultiNLI دقة 86.7 (تحسين المطلق من 5.6) وهلم جرا. ويعتبر هذا العمل ليكون خطوة تاريخية إلى الأمام مجال البرمجة اللغوية العصبية.

وثائق مهمة أخرى في 2018:

• عميقة سياقها كلمة التمثيل
• تحسين فهم اللغة التي المولدة ما قبل التدريب
• نماذج لغة بدون مرافقين تعدد المهام المتعلمين
• محول-XL: نماذج اليقظة اللغة أبعد من سياق ثابت طول
• XLNet: المعمم نماذج الانحدار الذاتى قبل التدرب على فهم اللغة
• العصبية الترجمة الآلية من الكلمات النادرة مع وحدات Subword

2019: MIT فرضية العلماء اليانصيب، والشبكة العصبية لا يؤثر على نتيجة لانخفاض 10 مرات

ديب مزدوجة النسب: أين نماذج أكبر والمزيد من البيانات هيرت

ديب النسب مزدوجة

في هذه الورقة، جامعة هارفارد معا المقترحة OpenAI تعميم انخفاض مزدوج افتراض أنه عندما نموذج عملية التدريب الفعال ونموذج التعقيد وعدد كبير من عينات التدريب، ويحمل سلوك غير نمطية.

أظهر الباحثون أن مجموعة متنوعة من مهمة التعلم العميق الحديثة أظهرت "مزدوج أسفل" الظاهرة، ومع زيادة في حجم النموذج، وضعف الأداء أولا، ثم تغيرت إلى الأفضل. وبالإضافة إلى ذلك، فإنها أظهرت أن انخفاض مزدوج، ليس فقط بوصفها وظيفة من حجم نموذج ظهرت، ولكن أيضا بوصفها وظيفة من عدد من وقت التدريب. وحدد الباحثون من خلال مقاييس تعقيد الجديدة (وتسمى تعقيد نموذج فعال، اعتبارا من نموذج التعقيد) لتوحيد هذه الظاهرة، وتوقعوا أن سقوط المعمم لهذا الإجراء المزدوج. وبالإضافة إلى ذلك، لأنها تجعل من الممكن تحديد بعض البرامج على مفهوم تعقيد النموذج في هذه البرامج، وزيادة عدد (أو أربعة أضعاف حتى) تدريب عينة أداء اختبار يصب في الواقع.

اليانصيب تذكرة الفرضية: العثور متناثر، للتدريب الشبكات العصبية

هذه الورقة من معهد ماساتشوستس للتكنولوجيا، وفاز ورقة أفضل ICLR 2019. التقليم العصبية تكنولوجيا الشبكة يمكن دون المساس دقة، وعدد من المعلمات من شبكة التدريب بنسبة أكثر من 90، والحد من متطلبات التخزين وتحسين الحوسبة المنطق الأداء. ومع ذلك، فإن التجربة الحالية هو متفرق التقليم إنتاج العمارة من البداية هو التدريب الشاق، وهذا يمكن التدريب أيضا تحسين الأداء.

ووجد الباحثون أن تقنيات التقليم القياسية يمكن أن يكون طبيعيا تكشف عن تهيئة الشبكة الفرعية من هذه الشبكات الفرعية لتمكينهم من تدريب فعال. وبناء على هذه النتائج، وقد اقترح الباحثون  "فرضية اليانصيب" (اليانصيب تذكرة فرضية) : يحتوي على الشبكات الفرعية  ( "الفوز في اليانصيب"، الحائز على تذاكر)  الكثيفة، شبكات feedforward التهيئة عشوائية، هذه الشبكات الفرعية في التدريب الفردي، وصلت بعد عدد من التكرارات هو يشبه إلى حد كبير الأصلي اختبار الشبكة الدقة. ووجد الباحثون "الفوز تذكرة اليانصيب" في اليانصيب التهيئة: لديهم أوزان اتصال الأولية، الأمر الذي يجعل من التدريب الفعال بشكل خاص.

الرابط الأصلي:

https://leogao.dev/2019/12/31/The-Decade-of-Deep-Learning/

المحرر: ون جينغ

- انتهى -

تسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU  "أيتها الأخوات ولا". إرسال البيانات THU  "لرعاية المزيد من المحاضرات ونوعية المحتوى.