شبكة لى فنغ [AI تقنية مراجعة] الصحافة: وفقا لجمعية الصينية البروفيسور وانغ لى وى الذكاء الاصطناعي في الفترة الثانية AIDL * ورشة عمل حول مقدمة الذكاء الاصطناعي من أحدث تعلم الآلة قدم تقرير صادر عن "نظرية التعلم الآلي: الماضي والمستقبل" تم تحريرها من شبكة لى فنغ قطع من دون تغيير بنية القاصر الأساس.

وانغ لى وى

وانغ لى وى، والتعلم الآلي في المجالات الرئيسية للأستاذ باحث في جامعة بكين. نشر أكثر من 60 بحثا علميا في مجلات محكمة، بما في ذلك COLT، خطط التنفيذ الوطنية، JMLR، PAMI وغيرها من الاجتماعات. وقد تم اختيار لمنظمة العفو الدولية 10 لووتش 2010، وكان أول من يحصل على هذه الجائزة من العلماء الآسيوية. كان عام 2012 أول مؤسسة العلوم الطبيعية الوطنية لصندوق الشباب المتميز، القرن الجديد المواهب ممتازة. يستأصل أي مؤتمر رسمي الآخرين منطقة الرئاسة، وعدد من المجلات الأكاديمية هيئة التحرير. ما يلي هو الجزء الثالث من المشهد قدم البروفيسور وانغ لى وى الخطب، وبشكل رئيسي على القضايا المتعلقة الهامش نظرية والاستقرار الخوارزمية، وخوارزميات التعلم عميقة من بعض المناقشات.

| الهامش نظرية مقدمة

بجانب إدخال آلة التعلم ثاني أكثر أهمية نظرية --Margin النظرية.

ما هو الفرق الهامش نظرية ونظرية VC؟

VC النظرية والخوارزميات قليلا للقيام، بل هو صورة من تعقيد جمع.

هامش النظرية تختلف، فإنه ينطوي على الكثير من الخوارزميات وراء لي أن أعرض هامش النظرية وتميز تماما الخوارزمية. لذلك علينا أن نفهم، وتعلم آلة نظرية التطور، ومن المقرر أن يبدأ تميز طبيعة بعض من الهيكل، ثم قم بتغيير تدريجيا لوصف الخوارزمية نفسها.

أعتقد في الوقت الحاضر، على وجه الخصوص عمقها الدراسة، يجب أن صورت معظم نظرية تعليمية قيمة في عمق طبيعة خوارزمية التعلم نفسها . بالطبع، كنت تعقيد النموذج هو أيضا مفيدة، ولكن قد لا يكون الأكثر أهمية.

ما هامش ذلك؟

هامش نظرية كنت قد سمعت، مثل SVM، وتعزيز وتشمل هذه الأساليب لديها مفهوم هامش كبير. هو في النهاية ما هو معنى ذلك؟

نظرية الهامش في SVM في كيفية نحن أكثر دراية، تخيل هذا:

مثل زائد أو ناقص نقطتين في الفضاء، وذلك هو العثور على خط فصل هاتين النقطتين. الحاجة إلى إيجاد نوع واحد من طريقة النقطة الفرعية بحيث بعد منقسمة حول هذين، المسافة من سطح أفضل تصنيف، و وهذا ما يسمى تباعد الهامش.

لتشعر تعزيز جهود، وهناك مفاهيم مماثلة. وأشرت أيضا في وقت سابق، تعزيز هو عدد من المصنفات الخطية إلى حد كبير التي حصل عليها مزيج من النتيجة النهائية.

هامش ما هو الدور؟

على سبيل المثال، يمكنك الجمع بين 100 المصنفات، كنت تريد أن ترى داخل هذه المصنفات 100 كم من هذه البيانات كنقطة إيجابية، كم هو ينظر إليها على أنها سلبية.

• إذا حكم عليه إيجابية 50 و 50 سلبية حكم عليه، في الواقع، وهذا التمييز نتيجة للبيانات لا الهامش، الهامش هو 0؛

• إذا حكم عليه مئة في المئة إيجابية، الهامش هو كبير جدا.

ولذا فإننا يمكن أن نفهم ذلك، زيادة الهامش زيادة في الواقع يعكس المصنف الأساسية المستخدمة في الثقة من البيانات نتيجة تصنيف (ثقة) . إذا تم تقسيم مئة في المئة من هذا النوع إلى إيجابية، مما يدل على الثقة في نتيجة عالية جدا، وإذا ما يقرب من 50، ثم الثقة منخفضة جدا. لذلك، يتم التعبير عن هذه الثقة من خلال الهامش، فإنه في الواقع يلعب تعميم هام جدا من النفوذ.

لماذا سوف نبدأ في دراسة نظرية الهامش؟

دعم معظم الجميع بدأ في دراسة مع مرور الوقت VC نظرية، والنتيجة هي نظرية شاملة للتصنيف أكثر الأساسية، تعميم أسوأ الأثر. ولكن في واقع الأمر هو نتيجة التجربة، بعد آلاف تصنيف الأساسية المتكاملة، والتعميم ليس فقط أسوأ لا، يبقى الحصول على أفضل. ويبدو غريبا، لذلك، والناس القيادي للتفكير، وليس فقط للنظر في تعقيد النموذج، ولكن أيضا أن تنظر في ما إذا كانت الخوارزمية نفسها له تأثير على التعميم.

فهم حدسي: كيف تميز التعميم مع الهامش؟

هامش تصوير كل من تعميم SVM، وتعزيز ويمكن أيضا تعميم تصوير. ولكن أولا علينا أن ننسى كل هذه النظريات، بسيطة وبديهية للتفكير من وجهة نظر.

الآن لدينا هذا قارنا حالتين:

• في الحالة الأولى، وأنا الآن لديهم المصنف، فإن معظم البيانات التي لديها الكثير من الثقة، إما جميعا إلى الدرجة إيجابية، أو كل في فئة سلبية. الهامش مع اللغة، وهذا هو، بالنسبة للغالبية العظمى من الهامش البيانات الكبيرة؛

• أما الحالة الثانية، بالنسبة للغالبية العظمى من البيانات لهامش صغير جدا، وأساسا فقط ما يزيد قليلا عن 50.

كلا المصنفين على الرغم مختلفة جدا، ولكن في كلتا الحالتين نحن نفترض أن نسبة الخطأ في تدريب على بيانات التدريب متطابقة.

خطأ تدريب يمكن أن تمثل نقطة نقاط البيانات صحيحة أو خاطئة فقط، في حين أن الثقة في الواقع تمثل حجم قيمة تصنيف محددة. تفكر في ذلك، بالضبط نفس الخطأ التدريب الفرضية، هو الثقة أكثر عرضة للإصابة كبيرة قدرة التعميم قوية، أو أن درجة أكبر من الثقة إمكانية صغيرة؟ حتى من وجهة بديهية جدا للعرض، وليس عن طريق أي نظرية تعلمون، فإنه يجب أن يكون على درجة أكبر من الثقة تعميم واسع. هامش النظرية هو مجرد فكرة بديهية جدا مبنية على أساس رياضي دقيق، ومن ثم لغة صارمة للتعبير.

كان الرياضيات يمكن للطلاب المهتمين يرى داخل البرهان الرياضي محددة، وإذا كان هناك أي مصلحة في هذا، وكنت أفهم ما قلت للتو. وهذا هو للحصول على نتائج التصنيف، لا مجرد إلقاء نظرة على نسبة الخطأ تدريب هذا العدد بسيط، لديك للتركيز على الهامش. يمثل هامش الثقة، والثقة تماما دورا هاما في القدرة على التعميم.

عملت تشو تشى هوا معلم وأنا معا الكثير من العمل، ولا سيما في تفسير تعزيز جهود هذا الصدد. وربما هذا هو تقريبا قبل عشر سنوات للقيام بهذه المهمة. وفي وقت لاحق، وقد فعلت تشو وطلابه الكثير أكثر عمقا، أكثر دقة بعض العمل. حتى إذا كنت مهتما، ثم يمكننا أن نرى ما هي ورقة في هذا الصدد.

| نظرية ملخص هامش

VC النظرية هو ماكرو، بل هو مسألة عبارات بسيطة، والنظر فقط خوارزميات لكل جملة البيانات أو حكما خاطئا على تعقيد النموذج و، مع هاتين النقطتين لوصف التعميم.

و هامش نظرية أن أقول لك أن تكون أكثر تشعر بالقلق إزاء المعلومات الخوارزمية، وإخراج خوارزمية إرادة الكثير من المعلومات من حيث الثقة.

في الواقع، في دراسة متعمقة اليوم الذي يكون أيضا هذه المشكلة: التعلم العميق الناتج النهائي هو ليس فقط خطأ، ولكن الناتج من القيمة الحقيقية، هذه القيمة نفسها تحتوي على كمية معينة من المعلومات، وحجم القيمة إلى حد ما، في الواقع، كما أنه يعكس حجم الثقة. كما بحث يمكننا أن نذهب لاستكشاف هذه القيمة لدراسة تعميم عمق نوع ما من الدور.

من تعزيز عملية التنمية، وحصاد ما ألهم؟

لقد تحدثنا فقط عن نظرية هامش SVM، وتعزيز ينطبق على ذلك، يمكننا أيضا استكشاف العلاقة بين البلدين.

ما يلي هو تعبير رياضي لمحددة تعزيز نظرية الهامش التي قدمها هذا التعبير أكثر تعقيدا، المقترح أصلا من خلال تعزيز المؤلف فرويند وSchapire القادمة. في الواقع هناك العديد من القصص في الداخل.

بإيجاز عن هذه القصة من الداخل.

تعزيز فعلا مثيرة جدا للاهتمام، إذا نظرتم الى التاريخ من تعلم الآلة، وسوف تجد أن التاريخ يكرر تحدث دائما. ربما في عامي 1995 و 1996، فقد تم اقتراح adaBoost الخوارزمية. بعد الخوارزمية المقترحة نفكر، كيف يمكن لهذا مزيج بسيط يمكن أن يعزز كثيرا من أداء ذلك؟ يبدو مثل السحر، وهو نفس التعلم العميق اليوم. هو في الواقع النهج الأساسي الجمع بين المصنفات. الآن لا أحد يمكن أن يفسر لماذا عمق التعلم في الممارسة هو أن يكون مثل هذا التأثير جيدا، ثم خوارزمية adaBoost خرج للتو كذلك. ولكن سرعان ما adaBoost المؤلف فرويند وSchapire اثنين منهم من شأنه أن يعطي نظرية الهامش النظرية، وثبت رياضيا ذلك لتعزيز جهود قادرة على الحصول على المصنف، وعظيم الهامش لها.

ولكن بعد فترة وجيزة، والغابات العشوائية والتعبئة المؤلف ليو بريمان اقترح أيضا نظرية، ودعا الدنيا الهامش. في الجوانب الكمية لهذه النظرية أننا نفعل ما هو أفضل، ولكن على التجريبية والنتائج النظرية ولكن العكس تماما - تعزيز الخوارزمية نظريا أفضل، وجعلت من الناحية النظرية لا نتائج أقل جيدة تعزيز جهود خوارزمية لأداء جيدا. حتى نتمكن من فهم النتائج التجريبية والتوقعات النظرية هذه المرة هو متناقض تماما، وأعتقد أنه في نهاية المطاف يجب أن يكون التجريبي أو النظري تصدق ذلك؟ ثم يجب علينا أن نأخذ روح واقعية، احترام مائة النتائج في المئة: بالتأكيد نظريا ما هي المشكلة. حتى بريمان التوصل إلى استنتاج: الهامش النظرية هو بالتأكيد مشكلة كبيرة، فإنه لا يمكن تفسير هذه الظاهرة الفعلية.

بعد سنوات عديدة، من قبل العلماء، بما في ذلك أستاذي وتشو تشى هوا، والقيام ببعض الأبحاث في هذا المجال، نجد هذه النظرية هي في الواقع ليست مشكلة، المشكلة هي لم النظرية السابقة التي لم تفعل بالمعنى الكمي الأفضل. الكمية هل وضع أكثر عمقا، بعد أكثر تطورا، وسوف تجد الهامش من الملاحظات النظرية والتجريبية على مواءمة . هكذا تعزيز عملية التنمية في قصة إلهام بالنسبة لي شخصيا هو، في الواقع، وضعت في بعض الأحيان إلى الأمام سوف تقدم من الخوارزمية النظرية ، AdaBoosting هو مثال نموذجي للغاية. ولكن لا تقلق، نحن دراسة متعمقة ببطء، وفهم ذلك، وأعتقد أن التعلم العميق هو نفسه، ويجب في المستقبل القريب، وسوف نتعلم من عمق من الناحية النظرية فهم أكثر عمقا.

تقرير حول موضوع البروفيسور وانغ وأساتذة آخرين، لا تنزعج تقارير المتابعة لى فنغ الشبكة.