مذكرة شبكة لى فنغ AI تقنية الاستعراضي: المؤلف هو من Taboola عالم البيانات انبار ناعور، بحثها هو استكشاف تطبيق التعلم في عمق نظام التوصية، يصف المؤلف عدم اليقين نموذج البيانات في المسائل العلمية، واستكشاف لعدم وضوح كيفية تصحيح النموذج. وقد تم تجميع لى فنغ شبكة AI تكنولوجي ريفيو وفقا للنص الأصلي.

عندما جلبت عمق الشبكة العصبية (DNN) تصبح أكثر قوة عندما تتزايد معا التعقيد، وهذا التعقيد أيضا مجموعة جديدة من التحديات للباحثين، بما في ذلك نموذج للتفسير الجنس.

تفسيرها لبناء أكثر قوة ولديه القدرة على مهاجمة نموذج الخصومة من حيث مقاومة حرجة. وبالإضافة إلى ذلك، عندما نحتاج جديد، بعد أن تكون دراسة ميدانية متعمقة لنموذج التصميم، واذا كنا نستطيع شرح نموذج آلية تنفيذية، والتي سوف تساعدنا على تصميم وتحليل أفضل النماذج.

في السنوات القليلة الماضية، وذلك لأن بينة من المهم للتفسير نموذجا يحتذى به، فقد طور الباحثون العديد من الطرق، وفي مؤتمر NIPS العام الماضي أيضا لديه معرض الأبحاث المكرسة (ورشة عمل) لمناقشة الموضوع. توفير تتألف نموذج طريقة تفسيرها:

• الجير: هذا هو وأوضح تقريب خطي جزئيا (التقريب الخطي المحلي) من قبل نموذج التنبؤ.

• يزيد من قيمة تفعيل (تنشيط تعظيم): وهذه الطريقة يمكن أن تستخدم لتحديد والتي سوف يكون مفهوما وضع الإدخال (أنماط الإدخال) أن الحد الأقصى نموذج استجابة (رد النموذجي).

• يتميز التصور.

• تم تضمين طبقة الشبكة العصبية في عمق التأويل مساحة منخفضة الأبعاد.

• طرق الاقتراض من علم النفس المعرفي لشرح.

• KDD 2018 ورقة شبكة لى فنغ AI تقنية مراجعة يدخل المادة إلى فترة "طريقة ثورية جديدة لبدقة وباستمرار شرح عمق الشبكة العصبية"

• تقييم حالة عدم اليقين - وهذا هو محور هذا المقال.

ولكن قبل البدء في الخوض في كيفية استخدام عدم اليقين لشرح النموذج والتصحيح، دعونا نفهم لماذا عدم اليقين وهذا مهم جدا.

لماذا نحن بحاجة إلى التركيز على حالة عدم اليقين؟

ومن الأمثلة البارزة على التطبيقات عالية المخاطر. افترض أنك تقوم بتصميم نموذج لمساعدة الأطباء اتخاذ قرار بشأن أفضل الخيارات العلاجية للمرضى. في هذه الحالة، نحن يلتفت إلا إلى دقة نموذج للتنبؤ النتائج، ولكن القلق أيضا من أن درجة من اليقين من نتائج نموذج التنبؤ. إذا كانت نتيجة حالة عدم اليقين مرتفعة جدا، ثم الطبيب يجب أن تدرس بعناية.

المركبات الذاتية هو مثال آخر مثير للاهتمام. عندما نموذج غير مؤكد ما إذا كانت هناك المشاة على الطريق، ويمكننا استخدام هذه المعلومات للحد من السرعة أو تحريك إنذار لمعالجة للسائق.

عدم اليقين يمكن أن تساعدنا في حل المشكلة لأن عينة البيانات (أمثلة البيانات) تسببت. إذا لم يتم دراسة نموذج عينة مماثلة للبيانات الهدف، والنتائج المتوقعة لأهدافها هي أفضل عينة من "أنا آسف، أنا لا أعرف." هذا يمنع الشعب من أصل إفريقي يعتقدون خطأ أن الغوريلا محرجة أخطاء مثل الصور قبل جوجل. وذلك لأن الخطأ مجموعة التدريب تسبب في بعض الأحيان عدم كفاية التنويع.

عدم التيقن من وضع التطبيق الأخير هو الذي يمكن استخدامه كأداة لنموذج ممارس التصحيح، الذي هو محور من هذه المادة. سنبحث هذه المسألة بتعمق في وقت لاحق، ولكن قبل ذلك، دعونا نفهم أولا ما هي أنواع مختلفة من عدم اليقين.

نوع من عدم اليقين

توجد هناك حاليا أنواع مختلفة من الشكوك والنمذجة، ولكل منها هدف مختلف.

عدم اليقين النموذجي، الذي هو تصور من عدم اليقين (المعرفية عدم اليقين): لنفترض لديك واحد فقط نقطة بيانات، وكنت تريد أن تعرف ما هو نوع من النموذج الخطي أفضل ما يفسر البيانات الخاصة بك. ولكن الحقيقة هي، عندما كنت غير قادر على تحديد خط غير حق - نحن بحاجة الى مزيد من البيانات!

اليسار: عدم التوصل إلى نتائج البيانات في وجود درجة عالية من عدم اليقين. اليمين: عدم اليقين بيانات أكثر أصغر.

يفسر عدم اليقين المعرفي حالة عدم اليقين في معالم النموذج. نحن لسنا متأكدا من النموذج المناسب أن أفضل وصف للبيانات الوزن، ولكن لديه كان أكثر البيانات قادرة على الحد من هذه الشكوك. هذا الغموض هو مهم جدا في تطبيقات عالية المخاطر ومعالجة البيانات المتفرقة الصغيرة.

على سبيل المثال، افترض أنك تريد إنشاء يمكن تحديد ما إذا كانت الصورة المدخلة من الحيوانات قد أكل النموذج الخاص بك. ثم يحتوي النموذج الخاص بك فقط تم تدريب مجموعات الاسود والزرافات البيانات ويعطي صورة غيبوبة كمدخل الآن. لأنه لم يتعلم نموذج الصورة غيبوبة، لذلك توقع عدم التيقن من أن النتيجة سوف تكون عالية. هذا الغموض تنتمي نتائج النموذج، ومن ثم إذا كنت تركز على البيانات الواردة المزيد من صور غيبوبة، ثم عدم التيقن من نموذج سيتم تخفيض.

عدم اليقين البيانات أو دعا الشك العشوائي (Aleatoric عدم اليقين)، ويشير إلى مراقبة الضوضاء المتأصلة. أحيانا الحدث نفسه هو عشوائي، وحتى في هذه الحالة، وحصلنا على فعل المزيد من البيانات لا تساعد، لأن جزءا لا يتجزأ من الضوضاء من البيانات.

لفهم هذا، دعونا نعود إلى نموذج من الحيوانات المفترسة التمييز. لدينا نموذج يمكن تحديد وجود صورة أسد، وبالتالي التنبؤ هل يمكن أن تؤكل. ومع ذلك، إذا لم تكن الأسود الجائعة ماذا نفعل الآن؟ هذا الغموض يأتي من البيانات. مثال آخر هو أن هناك اثنين يشبه الثعبان، ولكن واحدة من سامة، والآخر ليست سامة.

ويمكن تقسيم الشك عشوائي إلى فئتين:

تتعارض مع حالة عدم اليقين (عدم اليقين Homoscedastic): في هذا الوقت كل المدخلات لها نفس الشكوك.

عدم تجانس عدم اليقين (Heteroscedastic عدم اليقين): هذا الغموض يعتمد على البيانات المدخلة. على سبيل المثال، ونموذج للتنبؤ معلومات الصورة العمق، جدار الطائرة ملامح و(ملامح والجدار) من الصورة لديها خط التلاشي قوية (خطوط التلاشي) وجود حالة من عدم اليقين العالي.

عدم اليقين قياس (عدم اليقين قياس) : مصدر آخر من عدم اليقين هو قياس نفسها. عند قياس وجود ضوضاء، وعدم اليقين زيادة. في النموذج الحيوانات المفترسة التمييز، إذا تم القبض على بعض من الصور من خلال نوعية رديئة من كاميرا الفيديو، وبعد ذلك من الممكن أن يضر الثقة للنموذج. أو في عملية اطلاق النار على فرس النهر الغاضب، لأننا تشغيل واطلاق النار، مما أدى إلى عدم وضوح الصورة.

الكلمات الضوضاء (تسميات صاخبة) : في التعلم تحت إشراف، ونحن نستخدم علامات لتدريب النموذج. وإذا كانت التسمية نفسها مع الضجيج، ثم عدم اليقين سوف تزيد.

ومع ذلك، وحاليا هناك العديد من الطرق لتنفيذ أنواع مختلفة من نماذج عدم اليقين. يتم وصف هذه الأساليب في المواد اللاحقة في هذه السلسلة. الآن، لنفترض أن هناك نموذج الصندوق الأسود يتعرض له عدم اليقين من التوقعات، أنه إذا نساعد هذا النموذج لتصحيح ذلك؟

دعونا نأخذ نموذجا Taboola على سبيل المثال، يمكن استخدام النموذج للتنبؤ احتمال ينقر المستخدم على المحتوى المقترح.

عدم اليقين استخدام نموذج التصحيح

هذا نموذج لديها عدد من المزايا التي يقدمها التمثيل ناقلات تصنيف جزءا لا يتجزأ، ومع ذلك، فمن الصعب معرفة قيمة مشتركة جزءا لا يتجزأ من ناقلات نادر (المعمم التضمين). حل مشترك لهذه المشكلة هو استخدام خارج خاص من المفردات (OOV) ناقلات المضمنة.

التفكير في المواد معلن، إن حصة كل المعلنين نادر نفس OOV جزءا لا يتجزأ من ناقلات، ثم نموذج من وجهة نظر، فهي في الأساس نفس المعلن. هذا المعلنين OOV هناك العديد من المنتجات المختلفة، كل منتج لديه مختلف نسبة النقر إلى الظهور (CTR). وإذا استخدمنا المعلنين الوحيد كما من خلال النقر مؤشرا معدل، ثم OOV سوف تنتج غموض كبير.

للتحقق من انتاج نموذج OOV درجة عالية من عدم اليقين، وكنا مجموعة والتحقق من جميع المعلنين جزءا لا يتجزأ من OOV ناقلات تحويل. بعد ذلك، درسنا قبل وبعد عدم اليقين ناقلات نموذج التحويل. كما توقعنا، ويرجع ذلك إلى تحويل ناقلات عدم اليقين، ويزيد من نموذج. إذا كنت تعطي المعلنين ثروة من ناقلات المعلومات المضمنة، سيتم تخفيض حالة عدم اليقين من النموذج.

يمكننا تكرار ذلك لميزات مختلفة، ثم ابحث عن تلك التي تستخدم OOV النتائج الميزة جزءا لا يتجزأ من عدم اليقين أقل عند استبدال النواقل. هذه الميزات غير المفيدة، أو لأننا نوفر لهم على طريقة النموذج هو الخطأ.

حتى يمكننا توظيف تحبب أدق: بعض المعلنين هناك تفاوت الكبير بين نسب النقر إلى الظهور للسلع المختلفة، والمعلنين الآخرين من خلال النقر معدل هو تقريبا نفسه. ونحن نأمل ان يكون هذا النموذج لديه اليقين أعلى من المعلنين من الدرجة الأولى. ولذلك، فإن استراتيجية تحليلات مفيدة هي التركيز على العلاقة بين المعلنين وعدم اليقين من خلال النقر معدل التغير. إذا كانت العلاقة ليست ايجابية، وهو ما يعني أن هذا النموذج فشل في فهم عدم اليقين المرتبطة مع بعضها معلن. هذه الأداة تتيح لنا فهم نموذج العمارة عملية التدريب أو ما إذا كان غير وارد، وتشير إلى ما إذا كان يجب مواصلة تصحيح ذلك.

يمكننا إجراء تحليل مماثل ومعرفة ما اذا المسائل المرتبطة عدم اليقين معين سوف يقلل من عدد المرات أظهرنا أنه (أي أكثر من المستخدمين / عرض المحلي). وبالمثل، نحن نريد هذا النموذج لتصبح أكثر تصميما، اذا كان النموذج لا يزال غير مؤكد، وسوف نستمر في التصحيح.

مثال آخر بارد هو ميزات عنوان: عنوان فريد مع الكلمات النادرة يجب أن يحضر عالية من عدم اليقين نموذج. ويرجع ذلك إلى عدم وجود نتائج النموذج تتعلق تجربة التعلم هذه. يمكننا التحقق من مركزية لتحديد هذه العناوين النادرة التي تحتوي على كلمات وتقدير عدم اليقين نموذج على هذه العناوين. ثم سوف نستخدم عنوان واحد لإعادة تدريب النموذج، ومن ثم لاحظ عدم اليقين بشأن ما إذا كان نموذج هذه العناوين انخفضت. كنا قادرين على الحصول على فهم أفضل من الرسم البياني التالي.

استنتاج

عدم اليقين في العديد من المجالات مشكلة كبيرة. الوضوح في مهمة محددة في مسألة ينتمي إلى أي نوع من عدم اليقين مهم جدا. بمجرد أن تعرف كيفية تصميم نموذج، يمكنك استخدامها بطرق مختلفة. في هذه المقالة، ناقشنا كيفية استخدامها لنموذج التصحيح. في المقال القادم، وسوف نناقش الطرق المختلفة لتقديرات عدم اليقين تم الحصول عليها من هذا النموذج.

عبر "استخدام عدم اليقين لتفسير نموذج الخاص بك"، والتعليقات التي جمعتها التكنولوجيا لى فنغ شبكة AI.