مذكرة لى فنغ الشبكة: هذه المقالة المؤلف الأصلي SIY.Z، ورقة الانتهاء من الكتاب أعرف تقريبا "كيف تبدو خطاب جيفري هينتون، وعمق التعلم لإعادة اختراع العجلة، والتخلي تماما العودة الانتشار؟ "السؤال التالي للإجابة. وكانت شبكة لى فنغ إذن مستنسخة.

هذا هو المصدر الرئيسي للخطاب:

يقول رائد الذكاء الاصطناعي نحتاج إلى البدء من جديد (

وفي في لي على تويتر التعليقات:

المشاعر صدى جيف في أي أداة هي الأبدية، حتى backprop أو deeplearning. خامسا المهم مواصلة البحوث الأساسية (Http://t.cn/RpFfw5f)

في عمق بدأت الدراسة أن تسود ولكن ليس مثل الآن قد حان حتى (2011)، هينتون، الذي كان قد بدأ بالفعل في التفكير في مشكلة: عمق التعلم تعتمد على خوارزمية العودة انتشار (العودة دعامة) من الصعب بيولوجيا لاقامة ، فمن الصعب أن نصدق أن الجهاز العصبي يمكن أن تشكل تلقائيا مثل هذا النظام وجود التكاثر إلى الأمام المقابلة، نشر مكافحة التكوين (الذي يتطلب على وجه التحديد مشتق، مصفوفة تبديل باستخدام قاعدة السلسلة، وتشريحيا لم يتم العثور على الأدلة).

نقطة أخرى هي أن ببطاقتين الجهاز العصبي (مثل نظم الرؤية وV1، V2، الخ الطبقية)، ولكن الآن لا يمكن، وعدد طبقات من الشبكة العصبية على نطاق واسع، مثل عند كل منعطف مئات من طبقات (ولكن أيضا من الناحية البيولوجية لا يعتمد هذا، التوصيل العصبي سرعة بطيئة، على عكس GPU الحوسبة مع طبقة من الشبكة العصبية قد تكون في حدود ميكروثانية، إجراء النظم البيولوجية العامة في بضع مللي، متعددة الطبقات لذلك نحن لا يمكن أن تدعم مثل هذه سرعة رد الفعل الآن، وتزامن أيضا مشكلة).

ومن المثير للاهتمام، ومع ذلك، تشير معظم الأبحاث الحالية إلى أن انتشار الشلل قشرة القشرية minicolumn دعا هيكل عمودي، وباطنها يحتوي على المئات من الخلايا العصبية، والتبطين. وهذا يعني أن الدماغ البشري ليست مماثلة لطبقة الشبكة العصبية الموجودة واحد، ولكن الهيكل الداخلي المعقد.

(Minicolumn الصورة، استشهد فرضية minicolumn في علم الأعصاب | المخ | أكسفورد أكاديمي)

يعرض هينتون تقليد مصغرة العمود العصبية الاصطناعية هندسة شبكة كبسولة (2011) المقابلة، وتتوافق الورقة إلى التحول التلقائي الترميز (

(الرسم البياني كبسولة من الورق)

لكن هينتون لم يكن يتوقع اطلاق كذا وتطور لاحق من CNN، كان ورقة ليست هي الطريقة الاهتمام. في السنوات الأخيرة أنه لم تستمر في التركيز على هذه المسألة، لأن CNN، LSTM، NTM وهلم جرا كثيرا مثيرة للاهتمام للغاية.

ولكن الآن، يبدو أن تطوير شبكة سي إن إن وصلت إلى عنق الزجاجة: كبيرة جدا، وشبكة عميقة للغاية؛ من السهل أن ينخدع عينة المواجهة، لا تزال بحاجة إلى الكثير من البيانات التدريب؛ التعلم غير خاضعة للرقابة القليل من التقدم.

هينتون في العنوان الرئيسي لإعادة تحليل الفيديو من ما هي المشكلة الحالية CNN، لا سيما من حيث تجميع (أعتقد أنه يمكن أن تمتد إلى العينة المقبلة، لأن الكثير من CNN مع التفاف التالية أخذ العينات بدلا من طبقة تجميع). يعتقد هينتون أنه في آراء الناس في الماضي على تجميع غير قادرة على تحقيق تأثير ثبات، وهذا هو، عندما (وكذلك بعض من دوران عموم) تغييرات طفيفة في محتوى تحدث، CNN لا يزال قادرا على تحقيق الاستقرار في التعرف على محتوى المقابلة.

هينتون أعتقد أن هذا هو الاتجاه الخاطئ. وقال انه يعطي تجربة نفسية المثال أن اثنين من متطلبات يتم تحديد ما إذا كان R هو نفسه، ومختلفة فقط لأسباب الدوران:

نهج (تقريبا كل)، من خلال تناوب R الباطن الأيسر، "رؤية" ما إذا كانت تتزامن.

ومع ذلك، وفقا لCNN فكرة ثبات على الاطلاق لعدم القيام بذلك. إذا كان لديك خبرة في تدريب الشبكة العصبية، قد تعتقد نقوم به مرة صورة ما قبل المعالجة والبيانات تينتو المتزايد، بعض الصور وتدوير بضع درجات، كعينة جديدة إلى الشبكة العصبية. CNN يمكن القيام بذلك دوران invarience، وهو ثبات "على الحدس"، كما لا يحتاج الناس لتدوير الصورة، والأمر مباشرة على "الإهمال" للدوران، لأننا نريد أن ثبات دوران.

كما أكد CNN ثبات المساحة، وهي ليست حساسة لترجمة الكائن أو ما شابه ذلك (موقف مختلف من كائن لا يؤثر الاعتراف بها). هذا بالطبع يحسن كثيرا من دقة التعرف، ولكن بالنسبة لحركة البيانات (مثل الفيديو)، أو أننا بحاجة للكشف عند موقف معين من وجوه، CNN نفسها من الصعب القيام به، تتطلب بعض انزلاق أسلوب النافذة، أو ما شابه ذلك R-CNN هذه الأساليب غير عادية (يكاد يكون من المؤكد لا توجد هياكل المقابلة في علم الأحياء)، وعندما الدماغ من الصعب للغاية شرح الفارق الكبير في المشهد الاعتراف الصور الثابتة وغيرها من الميزات المرئية لاحظت الحركة، وذلك باستخدام تقريبا نفس مجموعة من النظام البصري.

لذلك يعتقد هينتون التي تتم في الدماغ البشري equivariance ، أي أنها قادرة على الكشف عن جميع أنواع الاختلافات في الترجمة، وتحويل الانتخابات وهلم جرا، ولكن يمكن "معرفة" مشاكل في الرؤية في بعض المشاهد هو نفسه، ينبغي أن يكون بعض سيناريوهات مختلفة، وليس مثل من أجل تحقيق نفس CNN معدل الاعتراف واحد، مع هذه الاختلافات غطاء ثبات.

ثم بدأ مرة أخرى أن تولي اهتماما هينتون  كبسولات المشكلة، على أمل تحقيق اختراق، من أجل حل العديد من المشاكل قبل عمق التعلم. إذا كنت حقا لا يمكن حل هذه المشاكل، كانت العمارة قبل هينتون شجاعة التخلي عنها تماما، بدءا من 0.

هذا هو هينتون تلقى مؤخرا عن خطط التنفيذ الوطنية  كبسولات أطروحة دينامية التوجيه بين كبسولات (غير منشورة) https://research.google.com/pubs/pub46351.html. نجاحها جدا في MNIST، بلغ معدل الاعتراف مستوى قياسي جديد، في حين أن معالجة CNN الصعب تحديد الصور المتداخلة وغيرها من القضايا.

ملاحظة: أعلاه  التكافؤ تغيير لequivariance، هو أكثر دقة أن نقول

بعض المحللين

وعلى الرغم من الملخصات فقط، وهينتون الفيديو الأخير، يمكننا تحليل الأفكار والسعي وراء هينتون:

• للتفسير.

ووفقا لهينتون المثل، كبسولة هي مجموعة من الخلايا العصبية، التي الخلايا العصبية مجموعة من ناقلات الإثارة قد تمثل فئة المقابلة لكيان (مثل كائن أو عنصر أو كائن) أمثلة من المعلمات ( المعلمات مثيل ). هذا البيان هو يشبه إلى حد كبير جدا هينتون مرة بالذكر مفهوم "المنتج الخبير" (المنتجات الخبراء) ، أوضح الاختلاف النقيض الشهير (الاختلاف التقابلي) خوارزمية مع هذا المفهوم. المعروف هو التجارب أندرو Y. نغ على وجه التحديد التلقائي القط من الفيديو ، هذه التجارب تنطوي على بعض الخلايا العصبية يمكن أن يكون التمثيل في بعض الحالات الكائن (الجدة خلية فرضية). ولكننا نعرف أن الخلايا العصبية في حد ذاته هو التحول رياضي بسيط من تلقاء نفسها لا يمكن ان تلعب دورا حاسما. CNN مثل يمكن استخراج تلقائيا ملامح الصورة ومثل أن يكون خصائص معروفة، ولكنها في نهاية المطاف هو هيكل الخلايا العصبية أو التي تلعب دورا؟ وهذا أمر يصعب الإجابة. معظم الحديث هيكل الشبكة العصبية الخام نسبيا وعموما، فإنه من الصعب شرح آلية محددة من داخل العمل، ولذا فإننا غالبا ما تسمى الشبكة العصبية "نموذج الصندوق الأسود". الآن مع  كبسولة بعد، ونحن قد تكون قادرة على  كبسولة رسم كل كبسولة دور محدد كوحدة للتحليل، والتي يمكن أن يكون هناك الكثير أقوى التفسيرية.

من الفيديو ينظر هينتون قال: مذكرة  المعلمات مثيل يجب الرجوع إلى توصيف المعلمات التالية:

1. احتمال حدوث أنواع معينة من الكائنات

2. عادة موقف الكائن (معمم قفة)، بما في ذلك الموقف، والتوجه، والحجم والسرعة واللون، الخ

• السببية.

ويبرز هذا في الفيديو هينتون، بل هو شيء الكثير من الخبراء تعلم الآلة المعنية. الآن لعدم وجود آلية الشبكات العصبية "الاستدلال"، وأكثر من وظيفة من تعظيم دالة الهدف تحت نوبات. ونحن نعلم أن الشبكة يمكن أن تصنف على الصورة بشكل صحيح، ولكن لماذا؟ أي جزء من الصورة أو شبكة الظروف التي أدت إلى هذه النتيجة؟ إذا كان تصنيف خاطئ، ما هو الجزء محددة أو شرط تضليل ذلك؟ أولئك منا الذين ليست واضحة جدا، أكثر من مرة ببساطة من خلال تعديل معايير لتحسين النتائج. ورقة الحيوي التوجيه، يأمل في تشكيل آلية تمكين الشبكة إلى المحتوى المناسب معالجتها Capsule_A، توجيهها إلى السماح Capsule_A للتعامل. وبالتالي تشكيل نوع من سلسلة من الاستدلال. "البحث عن أفضل (معالجة) أي ما يعادل المسار (الصحيح) ومعالجة الصور." واوضح هينتون.

وأشار هينتون إلى أن تجميع الأصلي، على غرار التوجيه ثابت، إلا أن نتائج الخلايا العصبية فوق الموقع إلى الطابق السفلي. (صورة أدناه دينامية التوجيه أغراض التوضيح فقط، مصنوعة من التنفيذ الفعلي يعتمد على الورق)

• التعلم غير خاضعة للرقابة.

وأكد هذه النقطة أيضا هينتون (الكلمات الأصلية يبدو أن الإنسان لا يعرف الكثير من العلامات). يقدر هينتون نية لإجراء البحوث في الأساس كبسولة دون إشراف، في هينتون تم تحقيقه من التشفير مع كبسولة قبل.

كيف تبدو كبسولة هينتون إعادة رفع؟

أولا وقبل كل هذا العمل ناجحا أو غير ناجحة أمر طبيعي، حتى كبسولة حقا سيصبح اتجاها في المستقبل، هينتون قد لا تكون بسرعة للعثور على خوارزمية التدريب اليمنى. حتى وجدت هينتون خوارزميات التدريب الصحيحة، لا يمكن لأحد أن يضمن، كبسولات عدد أقل من عدد صغير الأعمدة دماغ الإنسان عندما يكون معدل الاعتراف يمكن أن تصل من إنسان (ناهيك CNN، على الرغم من أن الكثير من المشاكل الآن، ولكن الكثير من معدل الاعتراف تجاوز الجنس البشري).

أيضا على أوراق كبسولات قبل ان نشاهد ، والتي نتيجة في عام 2011 كان جيدا، ولكن بالمقارنة مع CNN الأخيرة أكثر تخلفا، والتي ربما تكون أيضا السبب وجاءت عدم اطلاق النار كبسولات تصل. كثير من الناس الآن Tucao عمق دراسة مجموعة متنوعة من المشاكل، ويتطلب الكثير من المعلمات تعديل، ولكن كل تعديل المعلمة أن عددا كبيرا من الناس يريدون نشر النتائج قبل الموعد المحدد نقل في ورقة، وهذا أيضا ليس ضد آه، كنت غير راض مع فرزت تعطيك نفس التأثير نقل سنة واحدة في محاولة؟

ربما هو نتيجة أسوأ المعروفة باسم التخزين الموزعة CAP النظرية المعروفة باسم (نظرية بيرة)، ومصادفة، وتوافر شظايا ثلاثة لا يمكن أن تلبي في الوقت نفسه، ربما لتعلم الآلة، ودقة، للتفسير ، السببية لا يمكن أن تلبي (أفضل نموذج بالضرورة الأكثر صعوبة في فهم). هينتون السنوات الأخيرة في محاولة لكسر التعلم العميق هو مثل اينشتاين في السنوات الأخيرة من حياته في محاولة لتوحيد القوى الكهرومغناطيسية والجاذبية، وكانت متجهة لتكون ناجحة. ولكن أعتقد هينتون لا تزال على استعداد للانتظار، وبعد كل شيء، من الخلف، نشر المقترح إلى دراسة متعمقة الشعبية، وكان هينتون صمد لمدة 30 عاما.

وقد ذكر في التعليقات، والشبكات العصبية الاصطناعية لم يكن لديك للذهاب وفقا لطريقة البيولوجية. وأود أن إعادة النظر في أسباب هينتون كبسولة كبسولة وليس فقط لأن هناك دعم في علم الأحياء، لكنه لا يملك خصائص ممتازة يمكن تنفيذ خوارزميات التوجيه الديناميكي، الخ، والتي هينتون رؤية بعض من انفراج محتمل.

أول مرة المستقبلات الشبكة العصبية كما يحدث وفقا للمادة هب هو التعلم، يمكن القول أن تكون المخلوقات جدا. ومن هينتون وLeCun تأتي خوارزمية الانتشار الخلفي من النموذج البيولوجي، على أساس هينتون الحرارية والإحصائية في وقت لاحق لا آلة بولتزمان ومقيدة آلة بولتزمان ومطابقة الخوارزمية الاختلاف النقيض من ذلك، لديهم التعلم العميق اليوم.

هينتون، G. E. (1999). المنتجات من الخبراء.

هينتون، G. E. (2002). المنتجات تدريب الخبراء عن طريق تقليل الاختلاف التقابلي. الحوسبة العصبية، و 14 (8)، 1771-1800.

لو، Q. V. (2013 مايو). بناء عالية المستوى يتميز باستخدام نطاق واسع التعلم غير خاضعة للرقابة. في الصوتيات، الكلام ومعالجة الإشارات (ICASSP)، 2013 المؤتمر الدولي حول (ص 8595-8598). IEEE.

هينتون، G. E.، Krizhevsky، A.، وانغ، S. D. (2011 يونيو). التحول لصناعة السيارات في الترميز. المؤتمر الدولي في على الشبكات العصبية الاصطناعية (ص 44-51). الوثاب برلين هايدلبرغ.