مطبعة مراجعة تقنية الذكاء الاصطناعي: في مؤتمر Google I / O 2019 لهذا العام ، كانت هناك جلسة تمت فيها دعوة جيفري هينتون ، "الأب الروحي للتعلم العميق" وأحد الفائزين بجائزة تورينج لعام 2018 ، للحديث عن الموضوعات الأكاديمية وغير الأكاديمية. كانت العملية برمتها سهلة للغاية ، فقط تحدث عن مواضيع مختلفة ، لكن الرجل العجوز هينتون كان ممتلئًا أكاديميًا كما كان دائمًا. وفقًا لتشغيل الفيديو ، قامت Leifeng.com AI Technology Review بتجميع محتوى المقابلة على النحو التالي. جزء صغير هو مختصر

المنسق: مرحبًا بالجميع ، هذا نيكولاس طومسون ، مراسل Wired. اليوم سنجري محادثة وجهًا لوجه مع جيفري هينتون. بالحديث عن هينتون ، هناك شيئان يعجبني به ، أولهما بالطبع أنه مثابر للغاية ، وحتى لو قال الجميع أن أفكاره سيئة ، فهو يصر على الإيمان بنفسه ويصر على فعل ذلك. يتم تشجيع الأشخاص الآخرين الذين لديهم "أفكار سيئة" من قبله ، بما في ذلك أنا. الأمر الثاني هو أنني كنت مديرًا لمعظم حياتي ، ويمكن القول أنني جمعت العديد من المسميات الوظيفية ، وعندما رأيت ملف هينتون الشخصي ، لا يمكن أن يكون لقبه أكثر من المتوسط - إنه زميل هندسة Google ( Google Engineering Fellow) فقط. دعونا ندعوه إلى المسرح.

هينتون: شكرا لك ، أنا سعيد لوجودي هنا.

لماذا نلتزم بالشبكات العصبية

المنسق: لنبدأ بعد ذلك. أتذكر أنه منذ حوالي 20 عامًا ، بدأت في كتابة بعض الأوراق البحثية الأولى المؤثرة. بعد قراءتها ، اعتقد البعض الآخر ، "حسنًا ، إنها فكرة ذكية ، لكن لا يمكننا تصميم مثل هذا الكمبيوتر." أخبر الجميع لماذا يمكنك الإصرار ولماذا تعتقد أنك وجدت شيئًا مهمًا؟

هينتون: أولا صحح لك .. كان ذلك قبل 40 عاما. في رأيي ، لا يمكن للدماغ أن يعمل بأي طريقة أخرى ، يمكنه فقط معرفة قوة الاتصال. لذا ، إذا كنت ترغب في صنع آلة يمكنها القيام بأشياء ذكية ، فلديك خياران أمامك ، أو برمجتها ، أو السماح لها بالتعلم. من الواضح أن حكمتنا البشرية لا يكتبها الآخرون ، لذلك يمكن أن تكون فقط "التعلم". هناك احتمال واحد فقط.

المنسق: هل يمكنك شرح مفهوم "الشبكة العصبية" للجميع؟ يجب أن يعرفها معظم الحاضرين ، لكننا ما زلنا نرغب في سماع أفكارك الأولية وكيف تطورت.

هينتون: أولاً ، لديك بعض وحدات المعالجة البسيطة جدًا ، والتي يمكن اعتبارها أشكالًا بسيطة من الخلايا العصبية. يمكنهم قبول الإشارات الواردة ، ولكل إشارة أوزان ، ويمكن أن تختلف هذه الأوزان ، وهذه هي عملية التعلم. ثم ما تفعله الخلية العصبية هو أن تضرب أولاً قيمة الإشارة الواردة في الوزن ، ثم تضيفها جميعًا للحصول على مبلغ ، ثم تقرر أخيرًا ما إذا كنت تريد إرسال المجموع ؛ على سبيل المثال ، إذا كانت القيمة كبيرة بما يكفي ، فسيتم إرسالها. إذا كانت كبيرة أو سلبية ، فلن يتم إرسالها. بكل بساطة. ما عليك سوى توصيل آلاف هذه الوحدات ببعضها البعض ، فهناك عشرات الآلاف من عشرات الآلاف من المرات من الوزن ، ثم تعلم هذه الأوزان ، ثم يمكنك فعل أي شيء. الصعوبة تكمن فقط في كيفية تعلم الأوزان.

المنسق: متى بدأت تشعر أن هذا النهج مشابه لكيفية عمل الدماغ البشري؟

هينتون: تم تصميم الشبكة العصبية لتقليد الدماغ البشري منذ البداية.

المنسق: على سبيل المثال ، في مرحلة ما من حياتك ، بدأت تدرك كيف يعمل الدماغ البشري. قد يكون في سن 12 أو في سن 25. متى بدأت وكيف؟ قررت أنك تريد تصميم شبكة عصبية مثل الدماغ البشري؟

هينتون: بمجرد أن تعرف كيف يعمل الدماغ البشري. الفكرة الكاملة لعمل هذا البحث هي تقليد روابط الدماغ البشري ، ثم محاولة تعلم أوزان الاتصال هذه. أنا لست مؤسس هذه الفكرة في الواقع ، كان لدى تورينج نفس الفكرة. على الرغم من أن تورينج قد قدم مساهمات كبيرة في تطوير علوم الكمبيوتر القياسية ، إلا أنه يعتقد أن الدماغ البشري هو جهاز ليس له هيكل واضح ، وأوزان الاتصال كلها قيم عشوائية ، وبعد ذلك تحتاج فقط إلى استخدام التعلم المعزز لتغيير هذه الأوزان ، يمكنه تعلم أي شيء. لقد شعر أن أفضل نموذج "للحكمة" كان هكذا. هناك العديد ممن لديهم أفكار مماثلة.

المنسق: في الثمانينيات ، جعلك بحثك في هذا المجال أقل شهرة ، ولكن منذ ذلك الحين ، منذ متى بدأ باحثون آخرون في التخلي عن هذا الاتجاه؟ أنت فقط أصر.

هينتون: (فترات توقف) هناك دائمًا مجموعة صغيرة من الأشخاص الذين يصرون على الإيمان والمثابرة حتى يومنا هذا ، وخاصة في مجال علم النفس. ومع ذلك ، هناك ثبات أقل في علوم الكمبيوتر ، لأنه في التسعينيات ، كانت مجموعات البيانات في الميدان صغيرة ولم تكن أجهزة الكمبيوتر سريعة جدًا.في هذا الوقت ، ظهرت أنواع أخرى من الأساليب ، مثل آلات ناقلات الدعم (SVM ) ، تعمل بشكل أفضل في ظل هذه الظروف وتكون أقل تأثراً بالضوضاء. بدأ هذا في جعل الناس يشعرون بالإحباط. على الرغم من أننا قمنا بتطوير backpropagation في الثمانينيات واعتقدنا أنه يمكن أن يحل أي مشاكل ، في ذلك الوقت لم نتمكن من معرفة سبب عدم تمكنه من حل أي مشاكل. علمنا لاحقًا أن البيانات وقوة الحوسبة واسعة النطاق ، لكن لم يعرفها أحد في ذلك الوقت.

المنسق: ما هو سبب اعتقادك أنها لم تكن فعالة في ذلك الوقت؟

هينتون: اعتقدنا أنها كانت خوارزمية سيئة ، ووظيفة موضوعية سيئة ، وما إلى ذلك. لدي فكرة لفترة طويلة ، وأعتقد أن السبب في ذلك هو أننا نقوم بالتعلم الخاضع للإشراف ونحتاج إلى تصنيف الكثير من البيانات ؛ ثم ما يجب أن نفعله هو التعلم غير الخاضع للإشراف ، والتعلم من البيانات غير المصنفة. لكن في النهاية وجدنا أن السبب الرئيسي هو المقياس.

المنسق: يبدو الأمر ممتعًا ، لكنه مجرد نقص في البيانات ، لكنك تعتقد أن هناك بيانات كافية في ذلك الوقت ، لكنك لم تسميها جيدًا - لقد وجدت السؤال الخطأ ، أليس كذلك؟

هينتون: شعرت أن "استخدام البيانات المصنفة" كان خطأ ، فمعظم عملية التعلم البشري لم تستخدم أي علامات ، فقط نمذجة الهيكل في البيانات. في الواقع ، ما زلت أؤمن بهذا. أعتقد أنه نظرًا لأن أجهزة الكمبيوتر تصبح أسرع وأسرع ، نظرًا لمجموعة البيانات الكبيرة بما فيه الكفاية ، يجب إجراء التعلم غير الخاضع للإشراف أولاً ؛ بعد الانتهاء من التعلم غير الخاضع للإشراف ، يمكنك استخدام أقل علق تعلم البيانات.

المنسق: في التسعينيات ، واصلت إجراء الأبحاث في الأوساط الأكاديمية وكنت لا تزال تنشر الأوراق ، لكن لم يكن بإمكانك الاستمرار في حل المزيد والمزيد من المشكلات. هل تعتقد أن لدي ما يكفي وكان علي أن أفعل شيئًا آخر؟ أم أنها مصممة على الاستمرار في ذلك؟

هينتون: يجب أن تفعل ذلك بحزم ، وهذا بالتأكيد سينجح. كما ترى ، يتعلم الدماغ البشري عن طريق تغيير هذه الروابط ، نحن فقط ندرس ونقلد. قد يكون هناك العديد من الطرق المختلفة لمعرفة نقاط القوة والضعف في هذه الروابط ، ويستخدم الدماغ أحدها ، ولكن قد تكون الطرق الأخرى ممكنة أيضًا. لكنك تحتاج دائمًا إلى إيجاد طريقة لتعلم أوزان الاتصال. لم اشك في هذا ابدا

انظر إلى الأمل

المنسق: متى يبدو أنه يعمل؟

هينتون: في الثمانينيات ، كان هناك شيء سبب صداعًا للجميع ، فإذا صممت شبكة عصبية بها العديد من الطبقات المخفية (الطبقات الوسطى) ، فلن تتمكن من تدريبهم. يمكن تدريب الشبكات العصبية في بعض المهام البسيطة جدًا ، مثل التعرف على الخطوط المكتوبة بخط اليد ، ولكن بالنسبة لمعظم الشبكات العصبية العميقة ، لا نعرف كيفية تدريبها. حوالي عام 2005 ، فكرت في بعض الأفكار للتدريب غير الخاضع للإشراف للشبكات العصبية العميقة. على وجه التحديد ، من المدخلات الخاصة بك ، على سبيل المثال ، بعض وحدات البكسل ، تعرف على بعض أجهزة الكشف عن الميزات ، بعد أن تعلم أنها يمكن أن تشرح سبب ظهور هذه البكسلات على هذا النحو. بعد ذلك ، يمكنك استخدام أجهزة الكشف عن الميزات هذه كبيانات ، واستخدامها كمدخلات ثم معرفة مجموعة أخرى من أجهزة الكشف عن الميزات ، يمكنك شرح سبب وجود ارتباط بين أجهزة الكشف عن الميزات هذه. ثم تعلم طبقة بعد طبقة. من المثير للاهتمام أنه يمكنك أن تثبت من خلال الرياضيات أنه عندما تتعلم المزيد والمزيد من الطبقات ، قد لا تحصل على نموذج بيانات أفضل ، لكنك ستعرف نتيجة المقارنة لنموذجك الحالي. كلما أضفت طبقة جديدة ، ستحصل على نتائج مقارنة أفضل.

المنسق: هل يمكنك التوضيح أكثر؟

هينتون: عندما تحصل على نموذج ، سوف تسأل "ما مدى ملاءمة النموذج للبيانات؟" يمكنك إدخال بعض البيانات في النموذج ، ثم طرح السؤال "هل تعتقد أن البيانات متوافقة مع أفكارك؟ أو هل تشعر مفاجأة؟ "يمكنك إجراء بعض القياسات لهذه الدرجة. التأثير الذي نريده هو الحصول على نموذج جيد وبعد رؤية البيانات سيقول "آه ، كل ما أعرفه". من الصعب عمومًا حساب مدى معرفة النموذج بالبيانات بدقة ، ولكن يمكنك حساب المستوى النسبي بين النموذج والنموذج ، وهو نتيجة المقارنة. ثم أثبتنا أنه كلما زاد عدد طبقات أجهزة الكشف عن الميزات الإضافية التي تضيفها ، كلما كان النموذج الجديد أكثر دراية بالبيانات. (ملاحظة من Leifeng.com AI Technology Review: للحصول على التفاصيل الفنية المحددة لهذا الجزء ، يرجى الرجوع إلى محاضرة Hinton حول Deep Belief Networks على NIPS 2007

المنسق: من الجيد أن يكون لديك مثل هذه الفكرة في عام 2005. متى بدأ نموذجك في الحصول على مخرجات جيدة؟ ما هي البيانات التي جربتها؟

هينتون: إنها مجموعة بيانات رقمية مكتوبة بخط اليد ، بسيطة للغاية. في ذلك الوقت تقريبًا ، بدأ GPU (وحدة الحوسبة الرسومية) في التطور بسرعة ، ومن المحتمل أن الأشخاص الذين أنشأوا شبكة عصبية بدأوا في استخدام GPU في عام 2007. كان لدي طالب جيد جدًا في ذلك الوقت. لقد استخدم وحدة معالجة الرسومات (GPU) للعثور على الطريق السريع في الصور الجوية. تم استخدام بعض التعليمات البرمجية التي كتبها في ذلك الوقت لاحقًا من قبل طلاب آخرين في اكتشاف الصوت للكلام ، بمساعدة وحدة معالجة الرسومات أيضًا. ما فعلوه في ذلك الوقت هو التدريب المسبق ، وبعد التدريب ، تمت إضافة الملصق ، ثم تم إجراء التكاثر العكسي. لم يؤد هذا النهج إلى إنشاء شبكة عصبية عميقة جدًا ومدربة مسبقًا فحسب ، بل كان له أيضًا نتائج جيدة بعد إجراء عملية الانتشار العكسي. فقد هزم العديد من النماذج الأخرى في اختبار التعرف على الكلام في ذلك الوقت. مجموعة البيانات TIMIT ، وهي صغيرة جدًا ، ونموذجنا أفضل قليلاً من أفضل النتائج في الأوساط الأكاديمية في ذلك الوقت وأفضل من نموذج IBM. هذه هي البداية ، وليس الكثير من التحسن.

ثم سرعان ما أدرك الأشخاص الآخرون أن هذه الطريقة يمكن أن تحقق نتائج جيدة من خلال الاستمرار في تحسينها ، بعد كل شيء ، استغرقت النماذج القياسية التي هزمتها في ذلك الوقت 30 عامًا لتحقيق هذا التأثير. بعد تخرج طلابي ، ذهبوا إلى Microsoft و IBM و Google ، ثم قامت Google بتطوير هذه التقنية إلى نظام التعرف على الكلام على مستوى الإنتاج الأسرع. تم تحقيق النتائج الأولية في عام 2009 ، وتم تقديم نظام Android في عام 2012 ، كما يتقدم نظام Android كثيرًا في التعرف على الكلام.

المنسق: في ذلك الوقت ، كانت لديك هذه الفكرة لمدة 30 عامًا ، وأخيراً توصلت إلى نتيجة معترف بها علنًا ، وكان التأثير أفضل من الباحثين الآخرين. كيف تشعر؟

هينتون: أشعر بسعادة حقيقية ، ووصلت أخيرًا إلى مرحلة حل المشكلات العملية.

المنسق: إذن ، عندما وجدت أن الشبكة العصبية يمكنها حل مشكلة التعرف على الكلام جيدًا ، متى حاولت استخدامها لحل مشكلات أخرى؟

هينتون: بعد ذلك بفترة طويلة ، بدأنا في تجربة هذه الطريقة على مشاكل مختلفة. كان جورج دال أول شخص استخدم الشبكات العصبية للتعرف على الكلام ، حيث بدأ في استخدام الشبكات العصبية للتنبؤ بما إذا كان الجزيء سيتصل بشيء ما ويلعب دورًا علاجيًا. في ذلك الوقت ، كانت هناك منافسة للقيام بذلك ، فقد استخدم بشكل مباشر الطريقة القياسية للتعرف على الكلام للتنبؤ بنشاط جزيئات الدواء ، ثم فاز للتو في المنافسة. هذه إشارة إيجابية للغاية ، ويبدو أن طريقة الشبكة العصبية متعددة الاستخدامات للغاية. في هذا الوقت ، قال أحد طلابي ، "جيف ، أشعر أن استخدام هذه الطريقة للتعرف على الصور سيعمل أيضًا بشكل جيد. لقد أنشأت Li Feifei أيضًا مجموعة بيانات مناسبة ، وهناك منافسة مفتوحة. يجب أن نجربها. ". شاركنا وكانت النتائج أفضل بكثير من طرق الرؤية الحاسوبية القياسية. (فاز AlexNet بالمركز الأول في تحدي التعرف البصري على نطاق واسع لعام 2012 ImageNet ILSVRC ، أفضل بكثير من المركز الثاني ، فريق SuperVision في الصورة أدناه)

المنسق: لقد تحدثت عن الكثير من الحالات الناجحة مثل نمذجة الجزيئات الكيميائية والأصوات والصور وما إلى ذلك .. هل هناك حالات فشل؟

هينتون: الإخفاقات مؤقتة فقط ، هل تفهمون؟

المنسق: إذن ، هل هناك أي مجالات يكون النجاح فيها سريعًا بشكل خاص ، وبعضها يكون أبطأ؟ يبدو أن شعوري هو أن المهام الأساسية لأجهزة الإدراك البشري مثل معالجة الإشارات البصرية ومعالجة إشارات الكلام هي أول من يتم التغلب عليها ، هل هذا صحيح؟

هينتون: ليس صحيحًا تمامًا ، لقد تم التغلب على التصور بالفعل ، ولكن لا يوجد تقدم كبير في أشياء مثل التحكم في الحركة. قدرة التحكم في الحركة البشرية عالية جدًا وسهلة للغاية ومن الواضح أن دماغنا مصمم للتحكم في الحركة. حتى اليوم ، بدأ أداء الشبكات العصبية في التحكم في الحركة في اللحاق بالتقنيات السابقة. ستلحق الشبكة العصبية في النهاية بالركب ، ولكن لم يظهر سوى انتصار صغير. أشعر أن الاستدلال والاشتقاق المجرد ، الذي يتعلم البشر فقط القيام به في النهاية ، سيكونان أيضًا أصعب الأشياء للتعلم على الشبكات العصبية.

المنسق: هل تقول دائمًا أن الشبكات العصبية يمكنها أخيرًا التعامل مع كل شيء؟ (يضحك)

هينتون: حسنًا ، نحن البشر شبكات عصبية. كل ما يمكننا فعله ، يمكن للشبكة العصبية القيام به.

المنسق: نعم ، لكن العقل البشري ليس بالضرورة أكثر أجهزة الحوسبة كفاءة في العالم. هل هناك آلة أكثر كفاءة من دماغ الإنسان؟

هينتون: من وجهة نظر فلسفية ، لست ضد وجهة النظر القائلة بأن هناك طريقة مختلفة تمامًا لتحقيق كل هذا. على سبيل المثال ، إذا بدأت بالمنطق ، فستحاول دراسة المنطق التلقائي ، وستجد آلة إثبات نظرية آلية قوية بشكل خاص ؛ إذا بدأت بالاستدلال ، ثم أردت أن تجعل الإدراك البصري من خلال التفكير ، فربما تكون هذه الطريقة ممكنة أيضًا. لكن في النهاية لم تسفر هذه الأساليب عن نتائج جيدة. من وجهة نظر فلسفية ، أنا لا أعارض الطرق الأخرى لتحقيق ذلك. إنه فقط في الوقت الحاضر ، نعلم أن الدماغ ، أي الشبكة العصبية ، يمكنه فعل ذلك بالفعل.

هل نفهم الشبكات العصبية؟ فهم أدمغتنا؟

المنسق: بعد ذلك ، أريد أن أطرح سؤالاً آخر ، وهو أننا لا نفهم تمامًا كيف تعمل الشبكات العصبية ، أليس كذلك؟

هينتون: نعم ، لا نعرف كيف تعمل الشبكات العصبية.

الوسيط: من الصعب علينا أن نستنتج من النتائج كيف تعمل الشبكة العصبية ، هذا هو مفتاح عدم فهمنا للشبكة العصبية ، أليس كذلك؟ لنتحدث بالتفصيل. ومن الواضح أنه لا يزال لدي السؤال التالي: إذا كنا لا نعرف كيف تعمل ، كيف نحصل على نتائج جيدة بعد أن نحققها؟

هينتون: إذا نظرت إلى أنظمة رؤية الكمبيوتر الحالية ، فمعظمها لها انتشار أمامي فقط وليس لديها اتصال تغذية مرتدة. ميزة أخرى لأنظمة رؤية الكمبيوتر الحالية هي أنها حساسة جدًا لأخطاء الخصومة. على سبيل المثال ، إذا كان لديك صورة باندا. بعد تعديل قليل من وحدات البكسل ، ما زلنا نبدو مثل الباندا ، ولكن نظام رؤية الكمبيوتر هو فجأة أعتقد أن الصورة هي ديك رومي. من الواضح أن طريقة تعديل البكسل هذه تحتاج إلى تصميم دقيق وهي مضللة أو خادعة لنظام رؤية الكمبيوتر. لكن النقطة هي أنها لا تزال في أعين البشر ، ولا تتأثر.

لذلك اعتقدنا في البداية أن أنظمة الرؤية الحاسوبية القائمة على الشبكات العصبية تعمل بشكل جيد ، ولكن لاحقًا عندما طورنا مثل هذه التعديلات العدائية (الهجمات) التي يمكن أن تلعب مثل هذا الدور ، سيبدأ الجميع في الشعور بالقلق قليلاً. أعتقد أن جزءًا من سبب هذه المشكلة هو أن الشبكة لم تتم إعادة بنائها من التمثيلات عالية المستوى. يحاول بعض الباحثين الآن القيام بالتعلم التمييزي ، وهو تعلم العديد من طبقات أجهزة الكشف عن الميزات ، ومن ثم يكون الهدف النهائي هو تغيير أوزان أجهزة الكشف عن الميزات المختلفة للحصول على أفضل النتائج الصحيحة. في الآونة الأخيرة ، قام فريقنا أيضًا ببعض الاكتشافات في تورنتو ، حيث اكتشف Nick Frost أنه إذا أدخلت عملية إعادة الإعمار ، فيمكن أن تجعل الشبكة أكثر استقرارًا في مواجهة هجمات الخصوم. لذلك أعتقد أنه في النظام البصري البشري ، تتضمن عملية التعلم إعادة البناء. بالإضافة إلى الرؤية ، يتم إعادة بناء العديد من عمليات التعلم لدينا ، لذلك نحن أكثر استقرارًا في مواجهة هجمات المواجهة.

الوسيط: بمعنى آخر ، هل تعتقد أن الاتصال من الخلف إلى الأمام في الشبكة العصبية يمكن أن يساعدك في اختبار عملية إعادة بناء البيانات؟

هينتون: نعم ، أعتقد أن هذا مهم جدًا.

المنسق: إذن ، هل يتبنى علماء الدماغ نفس الرأي؟

هينتون: يتفق علماء الدماغ جميعًا مع هذا الرأي ، أي أنه إذا كان مسار الإشارة الحسية يمر عبر منطقتين مختلفتين من القشرة الدماغية ، فلا بد من وجود اتصال عكسي. هم فقط لم يتفقوا على دور هذا الاتصال. قد تكون وظيفتها الانتباه ، قد تكون للتعلم ، قد تكون لإعادة البناء ، أو حتى الثلاثة.

المنسق: لذلك نحن لا نفهم تماما دور الاتصال العكسي. الآن تريد بناء اتصال عكسي في الشبكة يلعب دورًا في إعادة الإعمار ، هل من المعقول القيام بذلك؟ على الرغم من أنك تقول أنك تريد تقليد الدماغ ، إلا أنك لست متأكدًا مما إذا كان الدماغ على هذا النحو.

هينتون: ليس لدي أي قلق بشأن هذا على الإطلاق. بعد كل شيء ، أنا لا أمارس علم الأعصاب الحسابي ، ولا أحاول اقتراح نموذج جيد لكيفية عمل الدماغ البشري. ما فعلته هو مراقبة الدماغ والقول ، "نظرًا لأنه يعمل بشكل جيد ، عندما نريد أشياء أخرى تعمل بشكل جيد ، يمكننا أن نجد بعض الإلهام من هنا." لذلك نحصل على الإلهام من علم الأعصاب وعلوم الدماغ ، لكننا لا نمثل أعصاب الدماغ. نموذج شبكتنا العصبية بالكامل والخلايا العصبية المستخدمة في نموذجنا مستوحاة من الأعصاب في دماغ الإنسان: الخلايا العصبية لها العديد من الوصلات ، ويمكن لهذه الوصلات أن تغير الوزن.

المنسق: تبدو مثيرة جدا للاهتمام. لذلك إذا قمت أيضًا بعلوم الكمبيوتر ، فأنا أيضًا أدرس الشبكات العصبية ، وإذا كنت أريد أن أفعل أفضل من هينتون ، فهناك خيار لبناء اتصال من الخلف إلى الأمام بناءً على بعض النماذج الأخرى في علم الدماغ. هذه المرة يمكنني اختر السماح لها بلعب دور التعلم.

هينتون: إذا تمكنت من الحصول على نموذج أفضل بهذه الطريقة ، فقد تنجح حقًا.

المنسق: الموضوع التالي ، بما أننا نقول إن الشبكات العصبية يمكن أن تحل مشاكل مختلفة ، هل من الممكن للشبكات العصبية أن تلتقط وتعيد إنتاج الدماغ البشري ، مثل المشاعر ...

هينتون: (قاطعوا مباشرة) مستحيل.

المنسق: هل يمكننا استخدام الشبكات العصبية لإعادة بناء الحب والوعي؟

هينتون: هذا جيد ، طالما أنك تكتشف ما تعنيه هذه الأشياء. بعد كل شيء ، نحن البشر أيضًا شبكات عصبية. الوعي شيء أهتم به بشكل خاص الآن ، لكن الكثير من الناس لا يعرفون ما الذي يتحدثون عنه عندما يقولون هذه الكلمة. هناك العديد من التعريفات المختلفة لهذا الشيء ، في نظري يجب أن يكون مصطلحًا علميًا. قبل مائة عام ، إذا سألت الآخرين عن "الحياة" ، فقد يقولون ، "الأشياء الحية لها حيوية إيجابية. عندما تموت ، هذه الحيوية تذهب معهم. لذا فإن الفرق بين الأحياء والأموات هل يوجد هذا النوع من الحيوية ". الآن نحن لا نتحدث عن الحيوية ، نعتقد أن هذا مفهوم علمي زائف. حتى بعد أن تدرس الكيمياء الحيوية والبيولوجيا الجزيئية ، ستبدأ في التنديد بقوة الحياة ، لأنك تفهم بالفعل ماهية الحياة حقًا. أعتقد أن فهمنا لـ "الوعي" سوف يمر بنفس العملية. تم اقتراح هذا المصطلح سابقًا لشرح الظواهر الروحية التي نشعر أن لها معاني مهمة. ولكن بمجرد أن نفهم حقًا ما هو كل شيء عن الوعي ، فإن محتوى هذا "المعنى المهم" لم يعد مهمًا. يمكننا أن نشرح بوضوح ما نفعله لجعل الآخرين يشعرون أن الشخص "واع" ولماذا ، يمكنه أيضًا شرح جميع المعاني المختلفة لهذه الكلمة.

المنسق: لذلك ، لا يمكن إنشاء المشاعر ، ولا يمكن إنشاء الأفكار ، طالما أننا نفهم تمامًا كيف يعمل الدماغ ، فمن الناحية النظرية لا يوجد شيء يمكن أن يفعله العقل البشري ولا يمكن أن يعمل بشكل جيد مستنسخة من قبل الشبكة العصبية؟

هينتون: هل تعلم أن هذه الجمل القليلة التي قلتها للتو تذكرني بأغنية جون لينون ، الكلمات متشابهة للغاية.

المنسق: هل لديك ثقة بنسبة 100 في هذه؟

هينتون: لا ، ليس 100. أنا بايزي وأثق بنسبة 99.9.

المنسق: حسنًا ، ماذا عن 0.1 الأخرى؟

هينتون: من الممكن أن يكون عالمنا بأكمله محاكاة كبيرة ، ولا شيء من هذا صحيح.

المنسق: هذا ليس مستحيلاً. لذا ، من خلال بحثك على أجهزة الكمبيوتر ، هل لدينا أي اكتشافات جديدة حول الدماغ؟

هينتون: أعتقد أن ما تعلمناه في السنوات العشر الماضية هو أنه إذا كان لديك نظام بمئات الملايين من المعلمات ووظيفة موضوعية ، مثل ملء cloze ، فإن الأداء الذي يمكن أن يحققه يكون أفضل مما يبدو مباشرة. هو أفضل بكثير.

يفكر معظم الأشخاص الذين يقومون بالذكاء الاصطناعي التقليدي ، أو سيفكر الشخص العادي ، في نظام به مليارات من المعلمات ، يبدأ من الحالة الأولية حيث تكون جميع المعلمات قيمًا عشوائية ، ويحسب تدرج الوظيفة الموضوعية ، ثم يغير هذا واحدًا تلو الآخر. مع بلايين المعلمات ، دع قيمة الدالة الموضوعية تسير قليلاً في اتجاه أفضل ، وستكون هناك جولات بعد جولات. هذه المهمة تتطلب الكثير من العمل ، وليس هناك أمل في إكمالها ، ومن المحتمل جدًا أن تكون في منتصف الطريق إنه عالق. لكن في الحقيقة هذه خوارزمية جيدة جدًا ، فكلما زاد حجم جميع الجوانب ، كان تأثيرها أفضل. تم تلخيص هذا بالكامل من تجربتنا. الآن وقد طورنا مثل هذا القانون ، أصبح من الأسهل بكثير التفكير في أن الدماغ البشري يحسب أيضًا تدرج بعض الوظائف الموضوعية ، ثم يقوم بتحديث قوة انتشار الإشارات الكهربائية العصبية بناءً على التدرج. نحتاج فقط إلى معرفة كيفية تقسيم هذه العملية إلى خطوات وما هي الوظيفة الهدف.

المنسق: لكن فهمنا للدماغ لم يصل إلى هذه النقطة بعد؟ ما زلنا لا نفهم عملية تغيير الأوزان؟

هينتون: هذه نظرية. منذ زمن بعيد ، اعتقد الناس أن ذلك ممكن ، ولكن سيكون هناك دائمًا بعض علماء الكمبيوتر التقليديين الذين يصرون ، "يبدو الأمر جميلًا ، لكنك تقول إن لديك مليارات من المعلمات ذات القيم الأولية العشوائية ، ثم يمرون جميعًا بالنزول المتدرج. التعلم ، هذا مستحيل ، عليك إصلاح بعض المعرفة فيه. "الآن يمكننا إثبات أن وجهة نظرهم خاطئة ، ما عليك سوى البدء بمعلمات عشوائية ، ثم تعلم كل شيء.

المنسق: دعنا نتوسع قليلا. لنفترض أننا نصمم نماذج بناءً على الطريقة التي نعتقد أن الدماغ يعمل بها ، ثم نختبرها على نطاق واسع ، فمن المحتمل أن نتعلم المزيد والمزيد حول كيفية عمل الدماغ بالفعل. هل سيصل يومًا ما إلى نقطة يمكننا فيها تحويل أدمغتنا وجعلها آلات حوسبة أكثر كفاءة وفعالية؟

هينتون: إذا استطعنا حقًا اكتشاف ذلك ، فيمكننا القيام بأشياء أفضل مثل التعليم. أعتقد أن هذا سيحدث. إذا تمكنت من معرفة ما يحدث في عقلك ، لكن لا يمكنك تعديله للتكيف بشكل أفضل مع بيئتك ، فهذا شيء غريب.

التعلم الآلي هو أيضًا "حلم"

المنسق: هل يمكننا فهم الأحلام بشكل أفضل؟

هينتون: أعتقد ذلك ، كما أنني مهتم جدًا بالأحلام حتى أعرف أربع نظريات على الأقل عن الأحلام.

المنسق: أخبر الجميع عن ذلك.

هينتون: القصة الأولى طويلة. منذ زمن بعيد ، كان هناك شيء يسمى شبكة هوبفيلد ، والتي يمكنها تعلم الذاكرة كجاذب محلي. وجد الرجل هوبفيلد أنه إذا حاولت حشو الكثير من الذاكرة ، فسيصابون بالارتباك. سيؤدي ذلك إلى دمج الجاذبين المحليين في واحد في موضع معين في المنتصف.

هناك شخصان ، هما فرانسيس كريك وغرايم ميتشيسون ، قالا إن بإمكانهما التخلص من التعلم لتجنب الحدود الدنيا المحلية الزائفة. ثم نغلق مدخلات الشبكة ، ونقوم أولاً بتعيين الشبكة العصبية في حالة عشوائية ، ثم ننتظر حتى تتوقف ، سنشعر أن النتيجة ليست جيدة ، ثم نضبط اتصال الشبكة بحيث لا يتوقف في تلك الحالة. بعد القيام بذلك عدة مرات ، يمكنه تخزين المزيد من الذكريات.

ثم جاء لي و Terry Sejnowski. شعرنا أن الخلايا العصبية التي تخزن الذكريات ليست فقط ، ولكن هناك العديد من الخلايا العصبية التي تلعب أدوارًا أخرى.هل يمكننا تصميم خوارزمية تسمح للخلايا العصبية الأخرى بالمساعدة أيضًا في استعادة الذكريات. في وقت لاحق ، طورنا آلة Boltzmann في التعلم الآلي. لها خاصية مثيرة للاهتمام للغاية: إظهار البيانات لها ، وسوف تستمر في التجول حول الوحدات الأخرى حتى يتم الحصول على حالة مرضية ؛ إذا حصلت عليه ، فسيؤدي ذلك إلى زيادة وزن جميع التوصيلات بناءً على ما إذا تم تنشيط كلتا الوحدتين. هناك مرحلة هنا ، وتحتاج إلى فصلها عن المدخلات. تتركها تتجول في حالة تشعر بالراحة معها ، ثم ستسمح لها بالعثور على جميع أزواج الخلايا العصبية النشطة وإضعاف الاتصال بينها.

يبدو أن الخوارزمية التي شرحتها لكم هنا عملية مثيرة للاهتمام ، ولكن في الحقيقة الخوارزمية هي نتيجة بحث رياضي. ما نعتبره هو "كيفية تغيير طريقة إجراء هذه الاتصالات لجعل الشبكة العصبية ذات الطبقات المخفية تشعر بأن البيانات شديدة مألوف". ويحتاج إلى مرحلة أخرى ، نسميها حالة سلبية ، مما يعني السماح لها بالعمل دون إدخال ، ثم نسيان أي حالة تكون فيها.

نحن البشر ننام عدة ساعات في اليوم. إذا استيقظت بشكل عشوائي ، فيمكنك معرفة الحلم الذي كنت تفعله للتو لأن ذاكرة الحلم مخزنة في ذاكرة قصيرة المدى. إذا استيقظت بعد النوم الكافي ، يمكنك فقط تذكر الحلم الأخير ، ولن تتذكر الأحلام السابقة. هذا في الواقع شيء جيد ، حتى لا نخلط بين الأحلام والواقع. فلماذا لا نتذكر أحلامنا؟ نقطة كريك هي أن الهدف من الحلم هو نسيان أشياء كثيرة. إنها مثل العملية العكسية للتعلم.

وأثبتت أنا وتيري سيجنوفسكي أن هذه هي في الواقع عملية تعلم ذات احتمالية قصوى لآلة بولتزمان. هذه أيضًا نظرية الحلم.

المنسق: هل جعلت أي خوارزمية التعلم العميق حلما مثل هذا؟ تعلم مجموعة معينة من بيانات الصورة ، ثم انسى ، وتعلم مرة أخرى ، إلخ.

هينتون: نعم. لقد جربنا خوارزميات التعلم الآلي. تضمنت الخوارزمية الأولى التي اكتشفناها والتي يمكنها تعلم معالجة الخلايا العصبية المخفية آلات بولتزمان ، ولكن الكفاءة كانت منخفضة للغاية. في وقت لاحق وجدت طريقة لتقريبها ، وهي أكثر فاعلية. هذه في الواقع فرص للتعلم العميق لاستعادة حيويته ، أي باستخدام هذه الأساليب ، يمكنني تعلم كواشف الميزات طبقة واحدة في كل مرة. هذا شكل فعال لآلة Boltzmann المقيدة. يمكن أن تفعل النسيان أيضًا. لكنها لا تحتاج إلى النوم ، إنها تحتاج فقط إلى التأمل لفترة من الوقت بعد رؤية كل نقطة بيانات.

المنسق: وماذا عن النظرية الثانية؟

هينتون: النظرية الثانية تسمى خوارزمية Wake Sleep ، وسوف ترغب في تعلم نموذج توليدي. الفكرة هنا هي أن لديك نموذجًا يمكنه توليد البيانات ، وله العديد من طبقات أجهزة الكشف عن الميزات ، ويمكن تنشيطه تدريجيًا من المستوى العالي نزولاً إلى مستوى البكسل ، ثم تحصل على صورة. يمكنك أيضًا القيام بذلك في الاتجاه المعاكس ، ويصبح التعرف على الصورة.

بهذه الطريقة ، ستتكون الخوارزمية من مرحلتين: في مرحلة الاستيقاظ ، تأتي البيانات ويحاول النموذج التعرف على البيانات ؛ هذه المرة لا يتمثل هدف التعلم النموذجي في تعزيز الاتصال من أجل التعرف ، ولكن لتعزيز الاتصال من أجل التوليد. عندما تأتي البيانات ، يتم تنشيط الخلايا العصبية في الطبقة المخفية ، ومن ثم تتعلم الخلايا العصبية كيفية إعادة بناء البيانات بشكل أفضل. تعلم كيفية إعادة بناء كل طبقة. لكن السؤال هو ، كيف نتعلم الاتصال الأمامي مثل هذا؟ الفكرة هي أنه إذا كنت تعرف بالفعل الاتصال الأمامي ، فيمكنك تعلم الاتصال العكسي لأنه يمكنك تعلم إعادة البناء.

الآن وجدنا أيضًا أنه يمكنه استخدام الاتصال العكسي ، يمكنك معرفة الاتصال العكسي ، لأنه يمكنك البدء مباشرة من الطبقة العليا للتنشيط ثم إنشاء البيانات. ولأنك تقوم بتوليد البيانات ، فأنت تعرف حالة تنشيط الخلايا العصبية المخفية ، ويمكنك تعلم الاتصالات الأمامية لاستعادة هذه الحالات. هذه هي مرحلة النوم. عندما تقوم بإيقاف تشغيل الإدخال ، فإنك تقوم فقط بإنشاء البيانات ، ثم تحاول إعادة بناء حالة الخلايا العصبية المخفية التي تولد البيانات. بالإضافة إلى ذلك ، إذا كنت تعرف الرابط من أعلى لأسفل ، فيمكنك معرفة الرابط السفلي ؛ والعكس صحيح أيضًا. لذا إذا بدأت باتصال عشوائي وقمت بتبديل الأمرين ، فمن الممكن أيضًا. بالطبع ، لكي يكون لها تأثير جيد ، تحتاج إلى إجراء تغييرات مختلفة عليها ، لكنها ممكنة بالفعل.

المنسق: emmm ، لا يزال لدينا 8 دقائق ، هل تخطط لمواصلة الحديث عن النظريتين الأخريين؟ في هذه الحالة سوف نتخطى الأسئلة القليلة الماضية.

هينتون: قد تستغرق النظريتان الأخريان ساعة.

الكبسولات فكرة جيدة ، لكنها أيضًا خطأ

المنسق: ثم سنواصل السؤال. ما نوع البحث الذي تقوم به الآن؟ ما هي المشاكل التي تحاول حلها؟

هينتون: في النهاية ، علينا جميعًا الاستمرار في إجراء البحث الذي لم نقم به من قبل. أعتقد أن هناك شيئًا واحدًا في بحثي لن ينتهي أبدًا ، وهو الكبسولات ، وهي نظرية الإدراك البصري من خلال إعادة البناء في ذهني ونظرية توجيه المعلومات إلى المكان الصحيح. في الشبكة العصبية القياسية ، تتحرك المعلومات ، وهي نشاط الخلايا العصبية في كل طبقة ، تلقائيًا ، ولا يمكنك تحديد مكان ترك المعلومات تذهب. تتمثل فكرة الكبسولة في تحديد مكان إرسال المعلومات. حاليًا ، منذ أن بدأت دراسة الكبسولات ، قام بعض الزملاء الأذكياء جدًا في Google بإنشاء نماذج Transformer ، ويقومون بنفس الشيء. كلاهما يقرر مكان إرسال المعلومات ، وهو تحسن كبير.

الشيء الآخر الذي ألهمني لعمل الكبسولات هو تنسيق الإطار. عندما يقوم البشر بالإدراك البصري ، فإننا نستخدم جميعًا إطارات تنسيق. إذا افترض الإنسان إطار إحداثيات خاطئ على شيء ما ، فلن يتعرف على هذا الكائن.

أنت تقوم بمهمة صغيرة للتعرف عليها: تخيل رباعي السطوح قاعدته مثلث ، ثم هناك ثلاثة مثلثات على الجانبين ، وجميع الوجوه الأربعة مثلثات متطابقة. من السهل تخيله ، أليس كذلك؟ ثم تخيل قطعه بطائرة للحصول على قسم مربع. القطع بسيط ، لكن من الصعب الحصول على قسم مربع. في كل مرة تحاول القطع ، ستحصل على مقطع مثلثي.

يبدو من الصعب رؤية كيف يتم قطع هذا المقطع العرضي المربع. لذا اسمحوا لي أن أصف نفس الشيء بطريقة أخرى. دعني أرسم بقلمك ، يوجد قلم في الأعلى وقلم في الأسفل. تخيل أنهما عموديان في الفراغ ، ثم قم بتوصيل جميع النقاط الموجودة في القلم العلوي بجميع النقاط الموجودة في القلم السفلي. ثم لديك رباعي الوجوه. الآن ننظر إلى العلاقة بين هذا رباعي السطوح وإطار الإحداثيات: الجانب العلوي موازٍ لمحور إحداثي واحد ، والجانب السفلي موازي لمحور إحداثيات آخر. لذلك عندما تنظر إليه بهذه الطريقة ، من السهل أن ترى كيف تقطع مستطيلًا ، ويمكنك أن تجد مربعًا في المنتصف. ولكن فقط عندما نفكر في إطار التنسيق هذا يمكننا رؤيته.

هذا واضح للبشر ، ولكن في الواقع ، فإن إطار التنسيق مهم جدًا للإدراك.

الوسيط: تعد إضافة إطار إحداثيات إلى النموذج خطأ مما فعلته في التسعينيات عندما أردت دمج القواعد في النموذج. هل هناك أي اختلاف؟ ألم يعني ذلك أن النظام يجب أن يكون غير خاضع للرقابة؟

هينتون: نعم ، هذا هو نفس الخطأ. فقط لأنني متأكد من أن هذا خطأ سيئ ، يمكنني فقط إضافة القليل ، دون معرفة ذلك. هذا في الواقع يجعل وضعي محرجًا بعض الشيء.

المنسق: هل يهدف بحثك الحالي تحديدًا إلى التعرف البصري ، أم هل فكرت في إطار الإحداثيات أولاً ، ثم حاول جعله أكثر عمومية؟

هينتون: يمكن استخدامه في مهام أخرى ، لكني مهتم بشكل خاص بتطبيقات التعرف البصري.

الوسيط: اعتاد التعلم العميق أن يكون فريدًا جدًا ، ولكن يبدو الآن أنه مرادف للذكاء الاصطناعي إلى حد كبير ؛ وفي الوقت نفسه ، أصبح الذكاء الاصطناعي أيضًا كلمة ذات معنى تسويقي قوي.الناس الذين يستخدمون أي آلة أو خوارزمية يقولون إنهم يستخدمونها. منظمة العفو الدولية. ما هو شعورك كشخص طور هذه التقنيات وساعد في تحقيق هذا الوضع الراهن؟

هينتون: كنت أكثر سعادة عندما أشار الذكاء الاصطناعي فقط إلى نظام الحوسبة القائم على المنطق ورموز التشغيل ؛ قالت الشبكة العصبية في ذلك الوقت أيضًا أنه يمكنك التعلم باستخدام الشبكات العصبية. في الوقت الحاضر ، العديد من الشركات لا تحب هؤلاء ، إنهم يهتمون بالمال فقط. لقد نشأت في هذه البيئة. حتى أنني أرى الآن بعض الأشخاص الذين قالوا إن الشبكات العصبية عبارة عن هراء لسنوات عديدة بدأوا الآن في القول "أنا أستاذ في الذكاء الاصطناعي ، لذا من فضلك امنحني التمويل." انه حقا مزعج.

المنسق: لقد انطلق مجال بحثك ، ولديه نوع من طعم ابتلاع مجالات أخرى ، مما يمنحهم سببًا لطلب المال ، وهو أمر محبط بعض الشيء.

هينتون: لكن هذا ليس غير عادل تمامًا ، فالكثير من الناس عدلوا بالفعل تفكيرهم.

المنسق: السؤال الأخير ، قلت ذات مرة في مقابلة أن الذكاء الاصطناعي قد يكون مثل الثقب الأسود ، إذا قمت ببنائه بطريقة غير صحيحة ، فقد يؤدي إلى إصابتك مرة أخرى. إذن كيف تجنبت جعله مؤلمًا أو حتى جعله ثقبًا أسود في بحثك؟

هينتون: لن أصنع أبدًا ذكاءً اصطناعيًا عن عمد يسبب ضررًا. بالطبع ، إذا صممت ثقبًا أسودًا جيدًا في أكل رؤوس الآخرين ، فهذا شيء سيء للغاية ، ولن أقوم بمثل هذا البحث.

المنسق: حسنًا. لقد أجريت محادثة رائعة اليوم ، أشكركم على قول الكثير. ربما في العام المقبل سنواصل الحديث عن النظريتين الثالثة والرابعة حول الأحلام.

شاهد الفيديو كاملاً:

https://www.youtube.com/watch؟v=UTfQwTuri8Y

2019 القمة العالمية للذكاء الاصطناعي والروبوت

ستعقد القمة العالمية للذكاء الاصطناعي والروبوتات لعام 2019 (CCF-GAIR 2019) ، التي تستضيفها جمعية الكمبيوتر الصينية وتستضيفها بشكل مشترك Lei Feng.com والجامعة الصينية في هونغ كونغ (Shenzhen). 12-14 يوليو 2019 عقدت فى شنتشن.

في ذلك الوقت ، سيجلس في المعركة جيمس هيكمان الحائز على جائزة نوبل ، وأكاديميون صينيون وأجانب ، ورئيس القمة العالمية ، وزميل معروف ، والعديد من الضيوف الكبار. ، لمناقشة حالة البقاء المعقدة للذكاء الاصطناعي والروبوتات في مجالات العلوم والإنتاج والاستثمار.

انقر لقراءة النص الأصلي لعرض المقالات الأخرى ذات الصلة بقلم جيفري هينتون