شبكة لى فنغ: المعهد هنا ببيانات ميتو

ما هو النموذج احتمال النظرية الافتراضية؟

يشير تعلم آلة لتوليد تعلم الآلة الإحصائية الضيق، كما هو مبين في الشكل 1 يمكن تقسيمها إلى التعلم الإحصائي يشرف تعلم نوع المهمة، والتعلم شبه إشراف، والتعلم غير خاضعة للرقابة، تعزيز التعلم.

الشكل (1)

في كل نوع من المهام، ويمكن أن يعزى إلى مختلف النماذج نموذج احتمالي ونموذج غير احتمالي، للإشراف على دراسة كمثال على ذلك.

وسيتم وصف نموذج احتمال (نموذج ولدت) بواسطة الدالة F الاحتمال المشترك من X و Y أو توزيع الاحتمال الشرطي، مثل P (X | Y)؛ نموذج غير احتمالي (نموذج التمايز) وصف مباشرة الخرائط X Y بواسطة الدالة F، مثل Y = و (X). تحسين استهداف طائفة واسعة من نموذج التمايز، ولكن هي في خط مع الإدراك البشري؛ وفي نموذج احتمالي، وتوحيد الهدف من كل نموذج الأمثل، وهذا هو تحقيق أقصى قدر من احتمال البيانات المرصودة تظهر في نموذج الاحتمالات. في شطري شكل نموذج التعبير، وأنها يمكن أن تفسر بعضها البعض، مثل الشبكات العصبية.

ولادة نموذج احتمال النظرية الافتراضية

جميع الملاحظات هي وصف نموذج احتمالي المتغيرات الاحتمال المشترك X، Y نظام توزيع أو المعلمة التوزيع الاحتمالي مشروطة ث، أي، P (Y، X | ث). بعد تصميم نموذج احتمال جيد، والسؤال المتبقي هو كيفية تحديد معالم ث من خلال الكثير من البيانات الرصدية، ثم ظهرت نظرية النظرية الافتراضية.

دعاة المدرسة تردد قانون الأعداد الكبيرة الخيار الأفضل للمعلمة متغير هو احتمال مراقبة قيمة الحد الأقصى، واقترح احتمال بايزي صيغة وذاتية، إلا أنهم يعتقدون أن المعلمة يمكن توزيعها، ووضع في البداية من قبل تجربة ذاتية. تردد من مدرسة الشعب غير مقبولة، ويعتقدون أن هذه الحجة يجب أن تكون قيمة محددة يجب أن لا تكون عشوائية.

على سبيل المثال، هناك كشف للكشف عن ما إذا كانت الشمس تنفجر، والتي لديها نحو 0.3 احتمال كذب. عندما يقول التحقيق في انفجار الشمس، ومدرستين من الناس الإجابة ليست هي نفسها.

الشكل 2

الدولة هو مبين في الشكل (3) حيث تكون الشمس معلمة نظام ث، فإن الجواب هو المرصودة المتغيرات كاشف البيانات. إلى المدرسة لمناقشة وتيرة النظرية، إذا كانت المعلمة يمكن أن يكون إلا قيمة معينة، يجب عليك أن تختار أصغر احتمال الخطأ هذه الحجة، أن الشمس يجب أن انفجرت، وإذا Bayesians لمناقشة الحجة كما التوزيع، وتعطي مسبقا بناء على خبرتنا، تم الحصول عليها بعد التفتيش أن الشمس لا ينبغي أن يكون الانفجار، فقط عندما كشف أجاب مرارا وتكرارا "نعم"، انفجرت توزيع الخلفي سوف نرى الشمس.

الشكل (3)

النظرية الافتراضية الاستدلال والمدرسة احتمال النتائج في كمية صغيرة من السيناريوهات البيانات في كثير من الأحيان بعض الاختلافات، ولذلك فمن الضروري وجود لها.

بناء نموذج احتمال النظرية الافتراضية

تولى يشعر حدسي المفاهيم الأساسية لنموذج احتمال النظرية الافتراضية عن طريق بناء النظرية الافتراضية الحالات نموذج احتمال والأفكار لبناء والمزايا.

CKF (التعاونية كالمان فلتر)

الشكل (4)

كما هو مبين، وهناك نوعان من هذه كبيرة نسبيا تردد عيب المدرسة النموذجية 4:

• التدريب لا المتزايد. من الناحية النظرية كل مستخدم السلوك الجديد، يجب علينا إعادة تقدير معالم النموذج مرة أخرى؛

• لا يمكن للمستخدمين التعامل مع مصلحة الانجراف. ممارسة وحشية لتعيين تسوس الوقت، ولكن تسوس الحاجة إلى وظيفة فهم يدويا والقوة، سوبر موديل حساس جدا من المعلمات، واهتمامات كل مستخدم الانجراف ينبغي أن تكون قدرة مختلفة، وهذا لا يمكن أن تكون على غرار.

وفقا لاثنين من العيوب المذكورة أعلاه، لتحويل نموذج النظرية الافتراضية. أولا، أصبحت توزيع المعلمة، وناقلات ش ويتم منح المستخدم متجه المادة ث عملية فينر:

لu و ث يعطي تباين كبير في توزيع مسبق. البعدية بيانات حساب المدخلات. في اللحظة التالية الخلفي مسبقا قبل عملية ينر:

تختلف عن اهتمامات كل مستخدم الانجراف القدرة:

* هنا لحظة من عملية فينر السابقة المشغل، بالإضافة إلى تباين كبير بعد لحظة على أساس الاختبار. وبالتالي ضمان هناك دائما حالة من قدرة الانجراف، إذا كان يساوي 0، سيكون هناك يو مع المنطق التوزيع سوف تصبح تتركز على نحو متزايد، لذلك حتى لو جنحت الفائدة المستخدم مرة أخرى، لأن توزيع مسبق تتركز وظيفة احتمال لا يمكن تعديلها. فأين هو القدرة على التحكم الانجراف الفائدة.

ثم وضع طبقة من التوزيعات الاحتمالية، بحيث هو أيضا عملية فينر، بحيث يكون لكل مستخدم القدرة على الفائدة العائمة يمكن أن يكون التكيف لضبط والتغيير:

بعد التحول النظرية الافتراضية، CFK نموذج والمزايا التالية:

• تتم عملية التدريب في الزيادات.

• أية معلمات، يرتفع البيانات، والاختلاف في وصفة طبية تصبح على نحو متزايد أصغر، وتوزيع أكثر تركيزا، بداهة وتلقائيا تزن البيانات؛

• التكيف المعلمة الانجراف، عند حدوث انجراف اهتمام المستخدمين، فإن الدولة سوف تتبع الانجراف.

الشبكات العصبية النظرية الافتراضية

تشير النظرية الافتراضية الشبكات العصبية إلى المنطق الخلفي عن طريق توسيع شبكة القياسية. عن طريق تحسين الشبكة العصبية القياسية تدريب الوزن يعادل وزن أقصى تقدير احتمال (من وجهة نظر لاحتمال المدرسة).

الرقم 5

أنه يحتوي على ثلاثة أوجه القصور الرئيسية التالية:

• التدريب ليس تدريجي.

• تتطلب المعلمات شبكة بنية فوقية.

• ونحن لا يمكن قياس حالة عدم اليقين التوقعات.

حل المشكلة أعلاه هو إدخال تسوية، من وجهة نظر النظرية الافتراضية، وهذا هو ما يعادل إدخال بداهة على الأوزان. ليس هذا هو النهج الصحيح من مدرسة نقطة احتمال النظر، على الرغم من أنها فعالة حقا في الممارسة العملية. بعد التحول والمزايا التالية:

• ويمكن أن يكون التدريب الإضافي.

• نموذج غير حدودي، لا حجة لا تخلو من المعلمات شديدة، ولكن المعلمات أكثر من اخفاء أعمق من أجل تحقيق حساسية المعلمة أضعف.

• يمكنك تصوير عدم اليقين التنبؤ؛

• مع بيانات مسبقة يوزن تلقائيا.

كيفية تحديث النموذج؟

تباين الاستدلال الاستدلال تباين

وصف المشكلة: المتغيرات الملحوظة X = {X1، X2، ......، XN}، والمتغيرات الخفية Z = {Z1، Z2، ...... هانم}، وP المعروفة (X، Z) أو P (X | Z)، والطلب الخلفي توزيع P (Z | X). منذ التوزيع الخلفي من الصعب في بعض الأحيان للحصول على حل التحليلي، في وظيفة البحث دالة التوزيع البعدية مساحة محدودة يقترب وظيفة، وهناك حاجة لمقياس وظيفة التشابه (الوظيفية):

إذا كيف يمكنك الحصول على ف حل تقريبي (Z) القيام به؟

خطوة 1: عن طريق ضبط ف (Z)، والتقليل ف (Z) وص الخلفي (Z | X) من الاختلاف KL KL (ف || ع)

الخطوة 2: يتم تحويل الأمثل من الحد الأدنى للاختلاف KL (ف || ع) في تعظيم L (ف)

* MinKL (ف || ع) ما يعادل MaxL (ف)

تتراوح فئات تدرس ف التوزيع الاحتمالي (Z) هي فئة محدودة، هدفنا هو تماما الوقت المقصد حد ف (Z) ويمكن الحصول على التوزيع الاحتمالي، التوزيع بحيث أنه في جميع الاحتمالات مجموعة من التوزيعات الاحتمالية يمكن لجميع يتم التعامل معها. ولكن أيضا يجعل مجموعة كاملة التكبير ومرنة تماما، فإنه يمكن أن توفر من EMPTY التوزيع الاحتمالي الخلفي من الحقيقي جيدة تقريب بما فيه الكفاية.

الخطوة 3: استخدام الفضاء يعني نظرية الحقل وظيفة، وف (Z) عدة مجموعة مبسطة من لا علاقة لها:

الخطوة 4: يتم استبدال ف مجمعة مبسطة (Z) في المعادلة المذكورة أعلاه، ومجموعات أخرى تعتبر عادة أن تكون، في المقابل الأمثل

تباين الاستدلال جميع النماذج، وحساب بالتناوب الصيغة. المستقلة نموذج معادلة متى P (X، Z) إضفاء أشكال محددة، يمكن أن تحسب على أساس صيغة التحديث ف:

من ف (Z) مبادئ حزمة وف (Z) من عائلة وظيفة مبدأ اختيار اثنين من النصائح:

1. في المتغيرات الخفية نموذج احتمال نفس المستوى في المجموعة، عندما يكون عدد من الاحتمال الشرطي التكامل يمكن الموافق المستويات الأخرى لأنها لا تحتوي على متغيرات هي على النحو إعادة الهيكلة المستمرة، دون حسابات.

2.Q مترافق (Z) من عائلة التوزيع المحددة الشرطية دالة التوزيع الأسرة، عند حساب الحاجة لبناء التكامل المنشود يتم ضرب مع توزيع المشروط ف (ض)، لضمان توزيع توزيع الظروف الدهنية مترافق اختيار تضاعفت شكل النهائي أو شكل بسيط الأصلي.

احتمال الاحتمالية العكسي العكسي

احتمال والعودة انتشار الشبكة العصبية وضع التحديث النظرية الافتراضية معروف:

بعد التماس الخلفي ف توزيع (، ، ).

خطوة 1: W باستخدام تقريب KL الخلفي

توزيع الخلفي كما يمكن كتابة ث

، أين و (ث) يرتبط احتمال ث، وتسعى إلى أن تقدم الخلفي لتوزيع جاوس

.

في عملية حسابية على الخلفي ث، لا يحتوي على وظيفة جزء من ث يمكن اعتبار الثوابت تجاهلها. لأن اثنين آخرين الفروق ث و على مختلف المستويات، بحيث F (ث) لا تحتوي على هذه المعلمتين.

* على الرغم من أن هناك بحثا عن وظيفة الأمثل، ولكن بسبب القيود في شكل الفضاء وظيفة، لذلك هم في الواقع في البحث عن الأمثل المعلمات م والخامس

عن طريق التقليل من KL الاختلاف KL (ف ^ الجديدة || ق)، ويمكن الحصول عليها مباشرة باعتبارها القيمة المثلى:

بشكل عام، واستخدام الاستدلال التغاير أن أكون هنا، لأن هنا من الصعب نسبيا العثور Z (طلب هذه نقطة):

ولكن هنا يتم استبداله من قبل تقريبي شكل Z، وهو ما يعادل تقريبا لطبقة الأخيرة من توزيع الخلايا العصبية في استجابة إلى:

خطوة 2: نشر إلى الأمام، Z ^ الحصول L الحسابي والتباين

على عملية نشر إلى الأمام هو في جوهره التوزيع الاحتمالي، ولكن منذ التوزيع التمويه، عملية الاتصال يمكن تبسيط إلى معلمة التوزيع.

الخطوة 3: باستخدام المعلمات تحديث المعادلة العكسي

وأخيرا، فإن الطبقات التي تحتوي على Z إلى المعلمات وظيفة جاوس، والتدرج وبالتالي عكس حساب المعلمة وتوزيع تحديث طبقات، وهذا من شأنه أن يحل مشكلة نموذج النظرية الافتراضية تحديث الشبكة العصبية.

وتصف هذه الورقة تطبيق نماذج الاحتمالية في التعلم الآلي والنظرية الافتراضية نموذج الاحتمالات، والذي هو حاليا اتجاه أكثر نشاطا من الذكاء الاصطناعي، وأعتقد أنه سيكون هناك المزيد والمزيد من العمل لاستكشاف في هذا المجال، ونتطلع إلى الجديد التنمية. سنضع الشبكة العصبية النظرية الافتراضية المستخدمة في العمل الفعلي، فإن المادة المتابعة تبادل بعض الخبرة معك.