شبكة لى فنغ منظمة العفو الدولية تكنولوجي ريفيو : "الانتروبيا" هو على الارجح إحصائيا، واحدة من المفاهيم الأساسية للمعلومات للمبتدئين لتعلم معظم جعل Chouchangbaijie. ونحن نعلم جميعا مدى الكون يمكن استخدامها لوصف ثراء المعلومات الواردة، ولكن على وجه التحديد كيف حدث ذلك؟ AI تقنية مراجعة هذه المادة سوف يأخذك إلى إعادة تعلم ما للنظام "الكون" هو في الواقع ما كان يقوله.

افترض أنك تبادل مع ثلاثة مرضى ينتظرون في عيادة الطبيب. وكان ثلاثة مرضى للتو اختبار المخدرات، وأنهم يواجهون نتيجتين محتملتين: المرضى أو ليس مريضا. ومن المفترض أن ثلاثة مرضى هي غريبة وجيدة في الرياضيات. أنها تقدم كان أبحاثهم خطر مرضه، وتود أن تؤكد التشخيص من خلال هذه.

المريض يعلم أن لديه 95 في المئة يمكن أن يصيبه. لالمريض B، كانت نسبة 30 احتمال، واحتمال C من المرضى المريضة دون المرض و50.

عدم اليقين جناح

أولا، علينا أن نركز على مسألة بسيطة. في كل الأمور الأخرى متساوية، هؤلاء المرضى الثلاثة، التي تواجه أكبر من عدم اليقين؟

الجواب على هذا السؤال واضحة، والمريض C. وجهه هل من الممكن في هذه الحالة ليس هناك أعظم درجة من عدم اليقين: تماما مثل النسخة الفحص الطبي لعملة واحدة إرم.

للمريض، على الرغم من وضعه لا يدعو الى التفاؤل، ولكن على الأقل كان لديه الحد الأدنى من عدم اليقين حول ما إذا كانت هذه المشكلة المرض. بالنسبة للمريض B، وعدم اليقين له بين المريض والمريض وC.

هذا هو السبب في إدخال مفهوم الانتروبي: وصفا لحالة عدم اليقين في الوضع بأنه بين العشرين والعشرون، في البيئة كل يوم من هذا المستوى غرامة قد تكون كافية، ولكن لمهام التعلم الآلي، مثل وصف واسع جدا.

تدابير عدم اليقين

الكون يسمح لنا سؤال مهم في الحياة: الأمور سوف تتطور في نهاية المطاف إلى أي نوع من النتائج، القياس الدقيق والحساب.

وبعبارة أخرى، الكون هو مقياس لهذا النوع من عدم اليقين.

في هذه المقالة، راجع شانون الكون هو الكون (شانون الكون). في الواقع، هناك عدة أنواع أخرى من الكون، ولكن في معالجة اللغة الطبيعية أو مجال تعلم الآلة، والكون ذكرنا هم شانون الكون.

لذلك، في ظل غياب لاحظت على وجه التحديد، الصيغة التالية هي الكون. لهذا الحدث وX، هناك ن النتائج المحتملة، واحتمالات وp_1 ... p_n، الصيغة:

الخصائص الأساسية

إذا كنت أول مرة رأيت هذه الصيغة، قد تسأل سؤالا: لماذا استخدام وغاريتمي؟ لماذا هذه الصيغة سوف تكون قادرة على قياس عدم اليقين؟ وبطبيعة الحال، لماذا يجب أن الرسالة H لتمثيل الكون؟ (الرسائل H تطورت ظاهريا من الرسالة العاصمة اليونانية إيتا أكثر، ولكن في الواقع لماذا استخدام حرف H لتمثيل، أو لديهم تاريخ معقد، يمكن تبدو مهتمة في هذا السؤال: لماذا استخدام H لالانتروبيا ؟ (https://math.stackexchange.com/questions/84719/why-is-h-used-for-entropy)

للالقضايا في كثير من الحالات، وأعتقد أن قطع من النقطتين التاليتين هو خيار جيد: (1) أنا واجهت هذا الهيكل الرياضي هي مثالية لهذه الصفات؟ (2) ما إذا كانت هناك هياكل أخرى يمكن أيضا أن تجتمع كل هذه الصفات المرغوب فيه؟

لالانتروبيا شانون كإجراء من عدم اليقين، فإن الجواب على كلا السؤالين هي: (1) كثيرا، (2) لا.

دعونا نأمل أن نرى واحدا تلو الآخر ما يجب أن يكون طبيعة صيغة الكون.

الخصائص الأساسية ل1: توزيع موحد لها أعظم من عدم اليقين

إذا كان هدفك هو للحد من عدم اليقين، ثم يجب أن يكون بعيدا عن التوزيع الاحتمالي موحد.

استعراض موجز لالتوزيعات الاحتمالية: توزيع الاحتمال هو وظيفة لكل نتيجة ممكنة لديه احتمال، وجميع الاحتمالات تضيف ما يصل إلى 1. عندما تكون جميع النتائج الممكنة نفس الاحتمال، التوزيع غير موحدة. على سبيل المثال: عملة إرم التجربة (50 و 50 الاحتمال)، الزهر موحدة (احتمال كل وجه على سدس على حد سواء).

وزعت بالتساوي مع أقصى الكون

وهناك قدر كبير من عدم اليقين تصل القيمة القصوى عند توزيعها بالتساوي. الكون تلبية هذا المطلب. ونظرا ن النتائج الممكنة، مع أقصى الكون التي تم الحصول عليها في وقت واحد في كل نتيجة احتمال.

ما يلي هو محاكمة برنولي للالكون الصورة. (محاكمات برنولي هناك نتيجتين محتملتين: p و 1-ع):

تجربة برنولي، عندما P = 0.5، أقصى الكون

الخصائص الأساسية 2: للحصول أحداث فردية، وعدم اليقين هو مضافة

لنفترض A و B أحداث مستقلة. وبعبارة أخرى، نحن نعرف النتيجة من الأحداث A و B أي تأثير على النتائج.

وينبغي أن يكون عدم اليقين بشأن هذين الحدثين حدثين منفصلين والشكوك، والذي هو السبب في أننا نأمل أن طبيعة صيغة الكون يجب أن يكون.

لأحداث فردية، وعدم اليقين هو مضافة

استخدام اثنين من عملة دعونا إرم التجربة كمثال لجعل هذا المفهوم أكثر واقعية. يمكننا إما إرم اثنين من النقود في نفس الوقت، أو يمكنك إرم عملة وثم رمي عملة أخرى. في كلتا الحالتين، وعدم اليقين هو نفسه.

النظر في احتمال من اثنين عملة خاصة، وهو أول جنب عملة حتى (H، رئيس) هو 80 احتمال النسخ الاحتياطي (T، الذيل) هو 20. تواجه ذيول احتمال يصل وغيرها من القطع النقدية إلى 60 و 40 على التوالي. إذا زملائنا إرم اثنين من القطع النقدية، ثم هناك أربعة احتمالات: أن تكون إيجابية، الإيجابية والسلبية، على أي حال، فانفان. على التوالي المقابلة احتمال .

الكون مشترك بين حدثين مستقلة يساوي الكون من أحداث مستقلة و

وهذه الاحتمالات تقديمهم إلى صيغة الكون، يمكننا أن نرى:

تماما كما توخينا، الكون مشترك بين حدثين مستقلة يساوي الكون من أحداث فردية و.

3 الخصائص الأساسية: احتمال وقوع 0 للانضمام إلى النتائج لا يكون لها تأثير

لنفترض أن هناك لعبة وشروط الفوز هي كما يلي: (أ) طالما أن النتيجة رقم # 1، يمكنك الفوز. (B) يمكنك تحديد توزيع ألف وباء في اثنين من احتمال لعبة. هناك نوعان من التوزيعات الممكنة A، رقم 1 # 80 نتيجة احتمال، وسجل رقم 2 وجود احتمال بنسبة 20. توزيع B ديه ثلاث نتائج، نتائج 80 # 1، # 2 سجل رقم 20 0 النتائج رقم # 3.

والثالث هو زيادة احتمال 0 ليست نتيجة تكون مختلفا

نظرا خيارين ألف وباء، والتي سوف تختار؟ يجب أن تكون الإجابة الصحيحة الممكنة لايستطيع أو العين البيضاء. إضافة النتيجة الثالثة لم تزد أو تنقص عدم التيقن من هذه اللعبة. من يهتم في النهاية مع A أو B نعم، لأن ما فائدة هي نفسها.

الانتروبيا الصيغة أيضا يرضي هذه الخاصية:

وهذا يعني أن الزيادة هي نتيجة لاحتمال 0، ولن تؤثر على قدر من عدم اليقين.

4 الطبيعة الأساسية: ينبغي أن يكون الارتياب في القياس المستمر

الخاصية الأخيرة هي مستمرة إلى حد كبير.

استمرارية التفسير الأكثر بديهية ليست قطع أو الفراغات. وهناك تفسير أكثر دقة هو: (في السيناريو لدينا غير مؤكد) أي تغيير طفيف، ويمكن الحصول على الإخراج من المدخلات (الاحتمال) في تغيير صغير بما فيه الكفاية.

وظيفة لوغاريتمي في كل نقطة في المجال مستمرة. على مجموعة فرعية من المنتج وعدد محدود من الوظائف وأيضا مستمرة. هذا قد يأتي ظيفة الكون مستمرة.

تفرد نظرية

Khinchin (1957) أثبتت أن عائلة فريدة من نوعها وظائف تتفق مع ما ورد أعلاه أربعة السمة الأساسية لديه النموذج التالي:

حيث هو ثابت موجب. دعا Khinchin نظرية التفرد. يتم تعيين إلى 1، واستخدام عدد من قاعدة 2 الحصول على الكون شانون.

مرة أخرى، واستخدام الكون كإجراء من عدم اليقين لأنه يحتوي على خصائص نتوقع، وكان خيارا طبيعيا لجعل من الخصائص الأربعة المذكورة أعلاه للقاء العائلة من الوظائف.

خصائص أخرى

بالإضافة إلى نظرية تفرد لKhinchin في أربعة الخصائص الأساسية، ويحتوي الكون أيضا بعض الخصائص الأخرى، فيما يلي وصف لبعض منهم.

5 الطبيعة: مع مزيد من توزيع الزي من النتائج المحتملة للمزيد من عدم اليقين

على سبيل المثال، يمكنك أن تختار في عملة إرم إرم النرد وتجارب الاختبار، إذا كانت عملة وجها لأعلى أو وجها الزهر 1 أن الفوز حتى على. يمكنك اختيار الاختبار؟ إذا كنت ترغب في تعظيم الدخل، واختيار القطع النقدية. إذا كنت ترغب فقط في تجربة الشك المقبل، فإنه قد تختار الزهر.

مع زيادة عدد النتائج تساوي الاحتمالات، كما ينبغي زيادة عدم التيقن من القياس.

يتم ذلك عن طريق الكون: H (1/6، 1/6، 1/6، 1/6، 1/6، 1/6) >  H (0.5، 0.5)

في العام، L (ك) وجود توزيع موحد للنتائج K الكون، يمكننا الحصول على:

لم > ن، هناك

الطبيعة 6: حدث ديه شكوك غير سالب

هل تعرف ما هو التيقن من أنه سلبي؟ على أي حال، أنا لا أعرف.

لمقياس سهل الاستعمال من عدم اليقين لأي المدخلات التي ينبغي دائما إرجاع نتيجة غير سلبية.

صيغة الكون لتلبية نفس الطبيعة، ونحن ننظر في الصيغة:

ويعرف الاحتمال في حدود 0-1، وبالتالي فإن عدم سلبية. حتى سجل الاحتمال هو سلبي. مضروبا في احتمال احتمال العدد لا يغير علامة. لذا ينبغي أن تكون سلبية، سلبية يجعل بعد الجمع النهائي. لذا لجميع المدخلات، والكون هو غير سلبية.

الطبيعة 7: تحديد نتيجة عدم التيقن من الأحداث مع 0

افترض أن لديك عملة السحر، مهما كنت إرم عملة دائما جانب الحق.

كيف يمكنك تحديد هذا السحر عملة عدم اليقين أو الشك في الأحداث لتحديد نتيجة في حالات أخرى؟ في هذه الحالة فإن الوضع لا اليقين، وبالتالي فإن النتيجة هي طبيعية جدا، وعدم اليقين هو 0.

أيضا تلبية الكون تعريف هذا النوع.

لنفترض أن تحدث نتائج ط، أي p_i = 1، بحيث H (X) هو:

وهذا هو، لتحديد أحداث الكون هي صفر.

أي تأثير عكس المعلمات من أجل: الطبيعة 8

هذا هو خصائص مرغوب فيه واضحة أخرى. تعتبر قضيتين، أولا، واحتمال احتمال وجود الجانب عملة الوجه وصولا واحتياطية على التوالي 80 و 20. وكانت الحالة الثانية عكس ذلك تماما احتمال: احتمال من الجانب الأيمن النسخ الاحتياطي وبنسبة 20 و 80 على التوالي.

نوعين من عملة إرم لديهم نفس الاختبار الكون، أي، H (0.8، 0.2) = H (0.2، 0.8).

المزيد من الشكل العام لنتائج الاختبار، لدينا:

في الواقع، هذه المحاكمة لأي عدد من النتائج قابلة للتطبيق. يمكننا ضبط ترتيب الحجج بأي شكل من الأشكال، وجميع النتائج هي نفسها.

ملخص

أذكر، شانون الكون هو مقياس لعدم اليقين.

انها قابلة للتطبيق على نطاق واسع لأنها تلبي عددا من المعايير أردنا (وأيضا لأن حياتنا مليئة عدم اليقين). تفرد نظرية يخبرنا أنه ليس هناك سوى عائلة وظائف لديها أربعة الخصائص الأساسية التي نريد. شانون الكون هو الخيار الطبيعي لهذه العائلة وظيفة.

الكون له خصائص (1) موزعة بانتظام للحصول على أقصى الكون، (2) لأحداث مستقلة الكون غير مضافة، وزيادة عدد من نتيجة (3) وجود غير الصفر احتمال، وسوف تزيد الكون، (4) الاستمرارية؛ (5) وغير سلبية، الانتروبيا (6) هو الحدث العزم 0؛ (7) ترتيب المعلمة ثبات.

عبر TowardsDatascience، لى فنغ شبكة جمعتها منظمة العفو الدولية تقنية مراجعة

التعليم العالمي القمة AI + تشي التكيف

تذاكر مجانية لفتح التطبيق!

شبكة لى فنغ يى في التعليم السناجب AI والتعليم والهندسة التكيف التعليم IEEE الفريق العامل المعايير، التي عقدت في 15 تشرين الثاني AI + الفكري العالمي التكيف قمة التعليم في مركز كيري بكين. الحضور أكاديمية المستشفيات الأمريكية، وآلة عميد التعلم مايكل جوردان، تعلم الآلة الأب توم ميتشل أكد وبحكمتك سر AI تكيف التعليم الحالية والمستقبلية.

اشترك لرمز فحص مجاني