المصدر: تقريبا الإنسان
هذه المقالة حول 2500 كلمة، القراءة الموصى بها 6 دقائق.
وسوف تستخدم هذه المادة في طرق تعلم الآلة أن أعرض لكم لمعرفة كيفية الجمع بين عمق الأساليب النظرية الافتراضية.
في أعماق | بايز الدورات الصيفية والمحاضرات سيناقش كيفية الجمع بين التعلم العميق الأساليب النظرية الافتراضية، وتحقيق نتائج أفضل في تطبيقات التعلم الآلي. تبين الدراسات الحديثة أن استخدام الأساليب النظرية الافتراضية يمكن أن يجلب العديد من الفوائد. وسوف يتعلم الطلاب أساليب وتقنيات مهمة جدا لفهم الأبحاث التعلم الآلي الحالي. وسوف نقدر أيضا الصلة بين نهج النظرية الافتراضية وتعزيز التعلم، والتعلم الطريقة الأمثل العشوائية الحديث الشبكات العصبية وتقنيات تسوية. بعد انتهاء الدورة، تعيين تعليم الناس أيضا جلسة الممارسة.
معظم المحاضرين والمعيدين طرق النظرية الافتراضية بحثيا أعضاء الفريق والباحثين من أهم المراكز البحثية في العالم. وقد نشرت العديد من المحاضرين وثائق مثل خطط التنفيذ الوطنية، ICML، ICCV، CVPR، ICLR، AISTATS التعلم الآلي واجتماعات دولية أخرى على مستوى أعلى. مناهج البحث النظرية الافتراضية وقد وضعت الفريق مجموعة من المقررات الجامعية، بما في ذلك النهج النظرية الافتراضية، وعمق التعلم، وتحسين نموذج رسومية احتمالي، لديه الكثير من الخبرة في مجال التدريس.
طالبالصيف تم تصميم الدورة ل:
- المرحلة الجامعية (أفضل كلية أكملت سنتين على الأقل)، ولديه خلفية قوية في الرياضيات، والتعلم الآلي لديهم معرفة كافية (بما في ذلك التعلم العميق) من طلاب الدراسات العليا.
- نحن نريد لتوسيع معارف ومهارات مجال تعلم الآلة أو الباحثين الميدانيين وخبراء الصناعة ذات الصلة.
هذا بالطبع هو الركيزة الأساسية
- أساس متين من التعلم الآلي والتعلم العميق مألوفة.
- الرياضيات: الجبر الخطي والكفاءة نظرية الاحتمالات (مهم جدا).
- البرمجة: بايثون، PyTorch ونمباي.
- ديب | بايز 2018 دورات صيفية في اللغة الإنجليزية، بحيث يتمكن الطلاب يجب أن يكون على دراية الإنجليزية التقنية.
I ديب | بايز أن تتعلم أي شيء؟
- لماذا النظرية الافتراضية نهج ذلك مفيد (في آلة التعلم والحياة اليومية)؟ العشوائية في النهاية ما هو؟
- مخفي نموذج متغير. كيفية تدريب نموذج لتحديد أنماط غير معروفة قبل التدريب؟
- نموذج احتمالي للتحجيم. لماذا المشكلة الاستدلال احتمال إلى مشكلة الأمثل لتكون مفيدة؟
- تعزيز الصلة بين التعلم وأساليب النظرية الافتراضية. كيفية تدريب عشوائي الرسم البياني حساب؟
- معدلات التسرب تلقائيا صقل. سوف الشبكة العصبية تناسب أكثر من ذلك؟ (مجلس)
- الأمثل العشوائية. كيفية حساب من قيمة ظيفة نقطة أسرع وظيفة تحسين سرعة؟
والهدف من هذه الدورة هو للتدليل على استخدام الأساليب النظرية الافتراضية في دراسة متعمقة يمكن توسيع نطاق تطبيقها وتحسين الأداء. على الرغم من أن هناك العديد من مجموعة مختلفة آلة التعلم من المشاكل، ولكن احتمال شبكة الاستدلال النظرية الافتراضية يمكن أن تستخدم بطريقة مماثلة لحلها. قلبك ذلك؟
وصف المساقاتوبالطبع يشمل جميع جوانب التعلم النظرية الافتراضية والمبادئ النظرية الافتراضية من أبسط إلى الاستدلال التغاير أكثر صعوبة وماركوف سلسلة طريقة مونت كارلو. ويبين الجدول التالي قائمة من الموضوعات في جميع أنحاء بالطبع، تقريبا الإنسان سيطلع جزء من محتوى الدورة.
اليوم الأول:
- مقدمة في طرق النظرية الافتراضية
- الاستدلال النظرية الافتراضية
- متغير الكامنة نموذج وEM خوارزمية
- خوارزمية EM
في اليوم التالي:
- مقدمة الاستوكاستك الأمثل
- نهج قابلة النظرية الافتراضية
- الاختلاف من التشفير
- ديريتشليت المتغيرات الخفية
في اليوم الثالث:
- كبار طريقة الاستدلال التغاير
- تباين الاستدلال تعزيز التعلم من وجهة نظر
- تعزيز التعلم
- توزيع التسليح التعلم
اليوم الرابع:
- نموذج الجيل
- ضد التعلم
- إعادة حدودي تقنيات طويلة
اليوم الخامس:
- عملية جاوس
- النظرية الافتراضية الأمثل
- عملية جاوس العمق
- ماركوف سلسلة مونت كارلو
- ماركوف عشوائية سلسلة مونت كارلو
اليوم السادس:
- تباين النظرية الافتراضية والشبكات العصبية والتسرب
- شبكة التباين التباين متفرق التسرب و
- عنق الزجاجة المعلومات
وبطبيعة الحال يتطلب ستة أيام كاملة، وبالطبع يوميا كبيرة جدا، تقريبا هو الإنسان لمحة عامة عن معظم الطرق الأساسية والنظرية الافتراضية نموذج المتغيرات الكامنة فيه نهج النظرية الافتراضية هي الفكرة الأساسية للمنهج كله، نموذج متغير الخفية هو أساس العديد من وسائل متطورة لتوليد نموذج.
مقدمة في طرق النظرية الافتراضيةنحن الأمثلة الأولى حول "الفيل" لتقديم نظرية بايز، والفرق تردد بين المدرسة وBayesians وصفا موجزا.
نظرية 1. بايز ':
أولا، الشكل الأساسي للبايز "نظرية هي
أي الخلفي = س احتمال مسبق / دليل
ظهور الرسمي
الآن نبدأ في مناقشة "الفيل" المشكلة.
مجموعة من "العمياء" في اتصال فيل، في محاولة لتخمين ما لمست ذلك، ولكن لا تخمين واحدة صحيحة. في عالم متقلب، وهذا هو ما تبدو وكأنها على فهم العالم عندما احتمال.
لالبساطة، وضعنا المشكلة هي أبسط: مجموعة من "أعمى" على اتصال فيل، ونعلم أن هذا هو الفيل، وأنها تريد لتخمين وزن فيل تستند على شيء واضح.
نهج النظرية الافتراضية هو كيفية حل هذه القضية؟
ونحن نفترض أن والتواصل مع بعضهم البعض بين هذه الملاحظات أعمى، وبعض الحس السليم، الذي هو تخمين الأولي من وزن الفيل:
ثم يمكنهم القيام به:
الملاحظة الأولى هي أن الفرد تطرق الذيل، وY1 طول الذيل، ومن ثم إعادة تخمين وزن الفيل.
الشخص الثاني أول شخص كما التكهنات السابقة، ومنطقة المراقبة لمس المعدة، وY2 المعدة، ثم وزن تخمين الفيل مرة أخرى؛
وبالمثل الثالث، وفقا لتكهنات الشخصي الثاني، ونحن نواصل مراقبة، تخمين ......
إمكانية | (خ Y1)، ومراقبة النتائج نفسها تحدث في هذه العملية، والمعرفة الكلية للبداياتها، تخمين وزن فيل وهذا هو، P مسبقة (خ)، وهذا هو أول شخص المراقبة احتمال P أدلة P (Y1)، وأخيرا الحصول على هذا P (خ | Y1)، وهو (التوزيع الاحتمالي) لاحتمال الملاحظات ذ س على أساس الوزن من الحصول على الفيل:
الشخص الثاني على هذا الأساس، سوف تكون قادرة على الحصول P (خ | Y1، Y2):
والشخص الثالث تكون قادرة على الحصول P (خ | Y1، Y2، Y3) ......
حسنا، كما الملاحظات من وزن الفيل أصبح من الصعب على نحو متزايد لاخفاء (ذروة تصبح حادة):
وبطبيعة الحال، الذي كان يدرس في المناهج الدراسية سيكون بالتفصيل مفهوم خطوة واضحة خطوة، بما في ذلك توزيع مشروط والتوزيع المشترك، ويصف العلاقة بين توزيع هامشية، وقاعدة الضرب، والقواعد، يمكنك وضع ينطوي على سبيل المثال أعلاه المفاهيم المختلفة معا، ومساعدة الطلاب على فهم أكثر شمولا.
2. تردد المدرسة والنظرية الافتراضية الروابط والاختلافات:
المدرسة تردد لا يتحمل أي معرفة مسبقة، دون الإشارة إلى التجربة السابقة، إلا أن الاستدلال احتمال وفقا للبيانات المتاحة حاليا. يفترض المعرفة المسبقة النظرية الافتراضية التي من شأنها أن تكون هناك (تخمين وزن الفيل)، ثم قم بتعديل معرفة مسبقة عينة وتدريجيا الاقتراب من المعرفة الحقيقية. ولكن في الواقع، عندما كمية البيانات النهج لا نهاية، ونتيجة لكثرة المدارس والنظرية الافتراضية عليه هو نفسه، وهذا هو للحد من تكرار الأساليب النظرية الافتراضية.
هذه هي المحتوى العام للجزء النظري أساس الأساليب النظرية الافتراضية، وكذلك بعد جيل، وتحديد الفرق بين النماذج، عملية التدريب النظرية الافتراضية ومناقشة مزايا الأساليب النظرية الافتراضية.
3. نموذج متغير مخفي
أمام وجيزة مقدمة الفكرة الأساسية من بايز "نظرية النهج النظرية الافتراضية، وفي هذا الفصل، يركز ديمتري Vetrov على النموذج المتغير المخفية. مخفي النموذج المتغير هو أساس العديد من الأساليب المعقدة، كما هو الحال في الاختلاف من التشفير يولد هذا النموذج، ونأمل أن ضغط الصورة على شكل سلسلة من المتغيرات الخفية، ويمثل هذه متغير الضمني صورة معلومات الدلالي رفيعة المستوى، مثل الصور للموضوع زاوية واللون وموقف.
في هذا القسم سوف نناقش فكرة بديهية من نموذج المتغيرات الخفية على أساس مضمون العرض ديمتري Vetrov، KL الاختلاف، التباينية مختلطة الأدنى للتوزيع وهلم جرا.
كما ذكر أعلاه، VAE أكبر ميزة أن قصيرة ترميز ناقلات وسيطة تمثل بعض من السمات الدلالية للصورة، ولكن لأننا لا نستطيع أن نعرف بالضبط ما صورة محددة الملامح، حتى نتمكن من وضع هذه النواقل قصيرة تسمى المتغيرات الخفية . حدسي، واحد تماما من الجيل بكسل صورة كاملة من الصعب جدا، لأن الكثير من الاحتمالات ونحن بحاجة للنظر فيها. أولا تقرر ما إذا كنت تريد توليد سمة من الصورة، ومن ثم تولد صورة وفقا لخطة سيكون أسهل بكثير.
VAE هو من هذا القبيل، أولا تعلم كيفية ضغط بشكل صحيح الصورة على أنها مجموعة من المتغيرات الخفية، ومن ثم تعلم كيفية توليد صورة على أساس المتغيرات الخفية. بعد الانتهاء من نموذج التعلم، أعطينا أي مجموعة من المتغيرات الخفية، فإن نموذج محاولة لتوليد الصورة الصحيحة. هذه هي فكرة بديهية من المتغيرات الخفية للنموذج.
يستخدم KL طريقة الاختلاف عموما كمقياس للمسافة بين توزيعات اثنين، وغالبا ما يتم استخدامه لتوليد فقدان نموذج وظيفة. يظهر بعد فهم بديهية من الاختلاف بين KL Q (ض) مع P توزيع (Z) يتزامن مع توزيع أي أصغر الاختلاف KL، وأكثر والمسافة بين اثنين من التوزيعات.
في حالة المتغيرات المنفصلة وقياس KL الاختلاف هو عندما نستخدم تم تصميم واحد للحد من التوزيع الاحتمالي للQ رمز طول الرسالة، عن طريق إرسال رسالة تحتوي على رمز إنشاؤها عند توزيع احتمال P، المعلومات الإضافية اللازمة. KL الاختلاف ديه العديد من الخصائص المفيدة، والأهم هو أنه من غير سلبي. KL الاختلاف هو 0 إذا وفقط إذا P و Q هي نفسها في الحالة التي يكون فيها توزيع المتغيرات المنفصلة، أو في حالة المتغيرات المستمرة هو "في كل مكان تقريبا" متطابقة.
ثم يظهر ديمتري Vetrov حالة نموذج المتغيرات الخفية، اذا كان لدينا بعض طاعة توزيع التمويه غير معروف من العينات، ثم يمكننا استخدام تقدير أقصى احتمال متوسط والتباين طريقة تقدير أو نقطة توزيع غير معروف الاستدلال.
والآن معالم هذه توزيع التمويه وإذا افترضنا أن هناك مجموعة من العينات التي تم جمعها من توزيع جاوس مختلفة، ونحن بحاجة إلى تقدير. هذا لا يحل المشكلة تبدو، ولكن إذا كان لنا أن نعرف أي عينة عينة من خلالها توزيع جاوس معين، هذه المشكلة هي سهلة نسبيا لحلها.
ولكن إذا كنا لا نعرف أي عينات من العينات المأخوذة من توزيع جاوس، فإننا لا يمكن إلا أن استخدام نموذج المتغير المخفية. على الفكرة الرئيسية التي تتمثل في تقدير هذه العينات التي تنتمي إلى توزيع جاوس، وهذا هو، العينات التي تم تعيينها إلى المتغيرات الخفية "يعني" و "التباين". ثم بناء على المتغيرات الخفية لاستكمال نمذجة ثلاثة توزيع التمويه.
ثم اتبع هذه الفكرة، يمكننا بناء نموذج خليط جاوس وتريد لتشفير البيانات إلى Z متغير خفية، ثم أكمل متغير النمذجة وفقا لقايين. كما هو مبين في حالة حيث أننا لا نعرف Z متغير خفية، Z تعظيم أخذ العينات احتمال من العينة X، فإنه يمكن استخلاصها لتعظيم الأدنى من الاختلاف، الذي هو الاختلاف من التعبير عن المبرمج الأساسية.
الاختلاف من التشفير تعظيم بد من الاختلاف (ELBO) أقل يمكن استخدامها كهدف تعظيم الاستفادة من نموذج كامل أو كامل وظيفة فقدان النموذج. في الحالة المذكورة أعلاه، لتحقيق أقصى قدر من الاختلاف يمثل أقل بد أن تجد بعض توزيع جاوس، ومن المرجح أن تنتمي إلى توزيع جاوس كل عينة.
يقدم هذا المساق الكثير من المعرفة النظرية، وخاصة النظريات المختلفة حول Bayesians. إذا كان القارئ للرياضيات أكثر ثقة، ويمكنك معرفة دراسة تفصيلية لهذه السلسلة.
