انقر على رأس "CSDN" تابعنا

صناعة تكنولوجيا المعلومات الإنترنت، هناك ظاهرة مثيرة للاهتمام، ولعب العاصمة الذين المنتج اللعب من الناس، يمكن للناس الفني اللعب بشكل جيد تجد مكانها ويكون ناجحا في هذه الصناعة، والتي يمكن أن نعرف فقط، مثل، مختلفة عن بقية لا تحتاج إلى معرفته . الناس اللعب التكنولوجيا هي داخل الأكثر صعوبة في القيام به، ولكن أيضا أدنى دخل ثلاثة، لديهم دائما للحفاظ على التعلم، والحفاظ على أنفسكم أن تصبح فطيرة.

في نهاية مايو من هذا العام، Alphago العودة والفوز على بطل العالم جي كه، AI قدمت مرة أخرى اجتاحت النار في الهشيم من خلال صناعة التكنولوجيا، جذبت الكثير من الاهتمام ومهندس التعلم المستمر للتطور التكنولوجي في هذا المجال، التفكير في كيفية AI تفعل الهندسة، وكيفية الهندسة المعمارية تطبيق نظامنا، الوسيطة، والهندسة المعمارية وزعت والهندسة المعمارية البيانات الكبيرة جنبا إلى جنب مع منظمة العفو الدولية، أي نوع من سيناريو الهبوط للمستقبل للقيام التخطيط الفني والتخطيط.

نشرت قبل مقال "كيف أن ندرك عمق خوارزمية الشبكة العصبية مع 70 خطوط من التعليمات البرمجية جافا" (انقر على "قراءة النص" للمواد)، وتسجيل العمليات والإجراءات الحسابية لتحقيق عمق الشبكة العصبية، ورقة مزيد من الدراسة والمبادئ الرياضية خلف .

ولكي نفهم تماما عمق التعلم، في نهاية المطاف ما نحن بحاجة إلى معرفة الرياضيات ذلك؟ كثيرا ما نرى قوائم سلسلة من الموضوعات الرياضية: حساب التفاضل والتكامل والجبر الخطي، نظرية الاحتمالات، وظيفة معقدة، وحساب العددي، وهلم جرا. هذه المعرفة الرياضية ذات الصلة، ولكن في واقع الأمر هو تحقيق أقصى قدر من المعرفة، وتكاليف التعلم تكون طويلة جدا، ونحن نحاول تقليل فهم تحريض احتياجات التعلم عمق المعرفة والاشتقاق الرياضية.

(الفرز وفقا لفهم التعلم، والمكان الخطأ، والخبراء والعلماء يرحبون توجيه النقد).

وظيفة من وجود علاقة من الشبكة العصبية متعدد الطبقات

حساب خطأ من العصبية طبقة المدخلات شبكة متعددة الطبقات، كانت مخبأة في عدد وافر من الطبقات إلى طبقة الناتج النهائي، فإنه يمكن أن ينظر إليها على أنها مزيج من سلسلة من الدالة المتداخلة التي حصلت عليها رياضيا بوصفها وظيفة من طبقة الناتج من المدخلات وظيفة الطبقة التالية ، كما هو مبين في الشكل.

الشكل (1)

نبدأ الحديث دالة الخطأ، وظيفة الخطأ لمعرفة عمق وظيفة مربع نموذجية من الفرق، ولكن أيضا وظيفة عبر الكون هو وظيفة من الفرق التربيعي إلى هنا كمثال:

TJ تمثل كل عصبون الهدف، الجريدة الرسمية التي تمثل كل قيمة الانتاج الخلايا العصبية

حيث = الجريدة الرسمية و (ZJ)، و هي وظيفة التنشيط عادة وظيفة من الصورة:

أو وظيفة relu:

هو دالة خطية ZJ (ي Wij طبقة تشير إلى ط طبقة الأوزان اتصال ويبلغ وزنه عقدة، يشير BJ ي لطبقة عقدة التقاطع):

منظمة اوكسفام الدولية إلى الأمام مرة أخرى وهلم جرا، في جميع أنحاء الشبكة العصبية يمكن التعبير عنها بواسطة الدالة أعلاه لالتعشيش.

مشكلتنا الآن هو كيف مرات عديدة من خلال تعديل ما سبق Wij و BJ ، دعونا دالة الخطأ E يصل إلى الحد الأدنى؟

وبعبارة أخرى، يجب أن تكون المتغيرات المذكورة أعلاه ث و ب قيم متغير كيفية تحقيق ذلك؟ للإجابة على هذا السؤال، دعونا نلقي نظرة على معنى الهندسي للدالة الخطأ.

معنى الهندسي ويقلل من التدرج وظيفة خطأ

للراحة لفهم، علينا أن نفهم من دالة الخطأ بعدين وثلاثة، وإذا كانت قيمة الانتاج ليست سوى الجريدة الرسمية، ووضع سجل تي جيه = 1، ثم دالة الخطأ E الجريدة الرسمية فقط تكوين X، الإحداثيات Y العلاقة كما خريطة 2 أدناه:

الشكل 2

الجريدة الرسمية أي عند واحد فقط من وظيفة الخطأ E هو مجرد قطع مكافئ بسيط، يمكن أن ينظر إليه في الجزء السفلي عندما O = 1، ثم E = 0 دقيقة.

لذلك، عندما O لا تساوي 1، ونحن بحاجة إلى وسيلة لضبط O، O ترك مثل كرة صغيرة، مثل، ينظر إليها على أنها وعاء مكافئ، المتداول عليه قطع عاء عبر قاع نظرا لخطورة والعودة إلى توقف ثابت في الموقف السفلي. ماذا يمكن تحقيق هذا تأثير سحري، وهذا هو، ومشتق من علماء الرياضيات اختراع، إذا O في كل مرة يحذف حجم خطوة مشتق بعيدا عن الجزء السفلي من الآن، المماس للمشتقات الموافق تراجعا كبيرا قريبا من القاع بالقرب من مكان، ومشتق من الظل صغيرة، وانخفاض بطيء، في الجزء السفلي من O = 1 نقطة للمشتقات 0، ولا تنقص، وعلى الجزء السفلي، ومشتق من الظل تصبح سلبية، لذلك فهو تعديل اتجاهه، فقط الجاذبية لتحقيق نفس التأثير. نحن نسمي هذا النهج من الصعب فهم لاتخاذ اسم، ودعا أصل التدرج.

تبدو الشعور هندسي ثلاثي الأبعاد، على افتراض أن O1 قيمة الانتاج، O2 اثنين، ومجموعة T1 = 1، T2 = 1 ثم O1، O2، وظيفة التكوين E الخطأ فقط X وتنسيق العلاقة Y، Z كما خريطة 3 أدناه:

E = 1/2 (1-O1) 2 + 1/2 (1-O2) 2

الشكل (3)

إعطاء X التعسفي، قيمة Y، Z قيمة تم الحصول عليها عن طريق حساب وظيفة E، لتشكيل سطح منحن ثلاثي الأبعاد، قيمة الحد الأدنى في القاع. فإننا نواصل استخدام الأسلوب أعلاه من أصل التدرج، وسوف يكون مشكلة، والآن هو O1 متغير، O2 اثنين، في النهاية التي استخدام المشتقات ذلك؟ يمكن أن ينظر إلى هندسة أعلاه، إذا O1، O2 محاور خفضت في وقت واحد في الاتجاه السفلي، ثم E يمكن أن تصل إلى قيمة الحد الأدنى، يمكن تخيل O2 هو ثابت، وهو ما يعادل قسم O1 ثنائي الأبعاد والشكل E، واستخدام ما سبق طريقة طرح O1 الخطوات المشتقة يمكن الحصول على كمية الاختلاف من O1، O1 هو ثابت من الممكن أيضا الحصول على تكوين ثنائي الأبعاد مستعرضة من E وO2، وO2 في مقدار التغير يتم الحصول عليها. سيتم التعامل مع هذا الأمر المتغيرات الأخرى، ولكن فقط للأسلوب متغير اشتقاق الحالي دعا مشتق جزئي.

مما سبق أن للثنائي وظيفة ض = و (س، ص) من أسلوب التدرج أصل لالحقائق، هو كل X، Y مشتق جزئي، ثم وظيفة الهيدروكسيل، هو نفس الأسلوب بالسعي، ولكن الهندسة متعددة الأبعاد من العالم من الصعب التعبير عنها، لأننا نعيش في عالم ثلاثي الأبعاد، فمن الصعب أن نتصور مثل هذا كلاين زجاجة العالم رباعي الأبعاد، وتذهب إلى أسفل الزجاجة التي كتبها زجاجة متصلة من خلال البعد الرابع، لا يمكن للعين البشرية انظر فقط العالم ثلاثي الأبعاد، وجوه ثلاثية الأبعاد في العالم يمكن أن تنقل من خلال قناة البعد الرابع إلى موقع آخر حتى يبدو وكأنه اختفى الكائن، ظهر فجأة في أماكن أخرى، وإلى جانب هذه النقطة، ننكب على العمل.

نظرا لطبيعة مشتق هو أسفل إلى إلى 0، التي لا تتغير، وبالتالي فإن طريقة أصل التدرج لإيجاد ممكن فقط إلى عش الجبلية، إلا أنها لم تصل إلى أعمق حوض، هناك أدنى عيب المحلي لذلك لدينا للحفاظ على تعديل المعلمات الأولية، واستكشاف التدريب عدة مرات، ونسعى جاهدين لتلبية أفضل النتائج للوصول إلى الحضيض.

الآن هناك مشكلة هنا ويفسر كمتغير O طريقة التدرج النسب لإيجاد، ولكن في الواقع نحتاج إليه هو لضبط قيمة BJ Wij و، وفقا لاستنتاج أعلاه، يمكن أن نجد ليتحامل Wij وBJ التي تم الحصول عليها عن طريق إجراء دالة الخطأ E ، يتم تعيين حجم خطوة ثابتة خاصة بهم، على النحو التالي:

فكيف للعثور عليه، من خلال وظيفة الشبكة العصبية للعلاقة من الجزء الأول من سبق، وBJ Wij إلى وظيفة الخطأ E هي وظيفة متداخلة متعددة الطبقات، حيث مشتق جزئي من الحاجة إلى استخدام وظيفة المركبة، هنا، ونحن نفهم المبادئ الرياضية، جنبا إلى جنب مع الصيغ الرياضية المستخدمة أدناه، فإنه يشكل تقليل اشتقاق المعرفة الرياضية اللازمة.

اشتقاق المعادلات الرياضية حاجة

1، وصيغة وظيفة مجمع منحرف

2، مشتقة صيغة تنفيذية أربعة

3، صيغة مشتقة

طالما أننا نتذكر المجموعات الثلاث المذكورة أعلاه الصيغة، يمكن أن تدعم اشتقاق الكامل أدناه.

الاشتقاق الرياضي

المنعطف الأول في الشبكة العصبية متعدد الطبقات تعريف مشكلة رياضية، مثل خريطة 4 أدناه:

الشكل (4)

1، لوزن طبقة الناتج Wij واعتراض BJ، من خلال وظيفة الخطأ E من Wij المشتقات الجزئية، لأن وظيفة E لا يمكن أن يكون تعبيرا Wij مباشرة، نجد مشتق جزئي وفقا للوظيفة المركبة صيغة من المجموعة الأولى، فإنه يمكن التعبير عن الجريدة الرسمية و ZJ Wij مشتق جزئي من الطرق:

منذ ZJ هي وظيفة خطية نعرف

الجريدة الرسمية وZJ هو التعبير المباشر:

ولذلك، فإن مشتق من التعبير عن E Wij مشتق جزئي كما يمكن كتابة و (ZJ)، أيضا مشتق جزئي من BJ قد تكون و مستعملة (ZJ) أعربت مشتقة ( تدل صيغة الاشتقاق )

لأن وظيفة الخطأ E يمكن التعبير عنها مباشرة من الجريدة الرسمية، ما زلنا التي يمكن جنيها على النحو التالي، وفقا للالمجموعة الثانية والمجموعة الثالثة مشتق من صيغة وأربعة صيغة مشتقة الحسابية:

وأخيرا، للحصول على مشتق من صيغة عامة أعرب فقط باستخدام و (ZJ) حيث الجريدة الرسمية هي الشروط الناتج طبقة الإخراج، أوي هو طبقة إخراج مقالات:

من ما سبق أن الجريدة الرسمية = و (ZJ)، و هي وظيفة التنشيط، عادة relu الصورة وظيفة أو وظائف، نواصل المشتقة كما يلي:

(1) إذا كانت وظيفة تفعيل هي وظيفة من ليالي، وفقا المشتقة منه إلى الصيغة التالية:

يمكنك الحصول على الاستنتاج ( 1 )، الوزن Wij واعتراض BJ إن صيغة التحديث هو:

(2) إذا كانت وظيفة تفعيل هي relu وظيفة، وفقا المشتقة منه إلى الصيغة التالية:

يمكنك الحصول على الاستنتاج ( 2 )، الوزن Wij واعتراض BJ إن صيغة التحديث هو:

2 بالإضافة إلى ثقل الأوزان طبقة الناتج Wij وBJ للاعتراض، مخفي أعم الأوزان طبقة Wki واعتراض ثنائية التحديثات يجب أن تكون كيفية العثور عليه؟

لا نزال نجد دالة الخطأ E مع المشتقات الجزئية Wki وثنائية، والمستمدة من سبق صيغة I، ويمكن الحصول على

للطبقة الإنتاج، وظيفة الخطأ E يمكن التعبير عنها مباشرة الجريدة الرسمية، ولكن بالنسبة للطبقة خفية، ودالة الخطأ E لا يستطيعون التعبير عن مباشرة أوي، علاقة بوصفها وظيفة من الشبكة العصبية متعددة الطبقات، وأنا أعلم الجريدة الرسمية يمكن أن تنتقل إلى الأمام من قبل أوي مزيج سلسلة من المهام الحصول.

منذ عمق التعلم ليست بالضرورة مرتبطة ارتباطا كاملا، أوي افترضنا أن فقط ي طبقة والإخراج العقد متصلا الصورة، وJ0 المسمى لشبيبة، والشكل (4) ما سبق، لأوي، وفقط عن عقد المتصلة به، ومع وظيفة التكوين الجريدة الرسمية، لا صلة لها الجريدة الرسمية ليست وظيفة، لذلك لا يمكن اعتبار اتصال مرحلة ثابتة الجريدة الرسمية للمركبة وظيفة المشتقة الجزئية.

وعلاوة على ذلك، وفقا لوظيفة العلاقة، يمكن أن تشكل مباشرة أوي ZJS، ZJS الجريدة الرسمية، التكوين المباشر، وظيفة مركبة من المعادلات المشتقة الجزئية سلسلة كتب مشتقة على النحو التالي:

وفي الوقت نفسه، ما سبق صيغة ZJS، دالة الخطأ E مشتقاته جزئية، يمكن اعتبار البنود المتبقية كما ثابت:

ولذلك، فإن النتائج الصيغة أعلاه في اصل اشتقاق كما يلي، يمكن التعبير عن تماما من ZJS المشتقات الجزئية من E:

الآن نحن دالة الخطأ E إلى ZJS مشتق جزئي لمصطلح خطأ تدل متصلا العقد طبقة الانتاج اشتقاق ما سبق من صيغة، وتحسب القيمة التي تم تحديثها Wij يمكن الحصول عليها:

ولذلك، فإن الأوزان طبقة مخفية والوزن تحديث اعتراض، ويمكن الحصول على هذا المصطلح خطأ من طبقة الإنتاج، وبالمثل ينطبق أيضا على طبقة أخرى خفية، ويمكن الحصول عليها من الطبقة الثانية (nextlayer) مصطلح خطأ، هنا هو الاستنتاج من اثنين، كانت مخبأة الأوزان طبقة Wki واعتراض ب أنا الصيغة التحديث هو:

ملخص

من خلال السيطرة الرياضيات والاشتقاق أعلاه، ونحن نفهم عمق تعلم لماذا هذا الحساب، واستخدام المقبل لاستخلاص استنتاج استنتاجات والثانية، يمكنك استكمال تنفيذ البرنامج خوارزمية التعلم العميق، ولم يتبق سوى الهندسة المعمارية والمشاكل الهندسية . عمق نموذج التعلم نوع الإلتواء، من أجل الحد من التعقيد التدريب، وزنه العديد متطابقة (أوزان تبادل)، وفقط، والعقد العصبية تحت شاردة واحد (متصلة جزئيا)، المبادئ الرياضية، طرق الحساب، والتدريب تجسيدا هو نفسه على النحو الوارد أعلاه، لإعطاء النتيجة النهائية هي مجموعة من المعلمات النموذج، وذلك باستخدام مجموعة من المعلمات لضمان الأقرب إلى وظيفة خطأ الحد الأدنى.

الكاتب: يوان بنغ، مهندس معماري كبار ، الممارسين أكثر من عقد من الزمن في مجال تقنية جافا، وقد كتب مجموعة متنوعة من البرامج مفتوحة المصدر، وخدم علي عدد من كبار الخبراء، كبير مهندسي هواوي الوسيطة، كبار الخبراء تاوباو. وقد نشرت مفتوحة المصدر إطار تمثيلية Fourinone (بشع) موزعة التكنولوجيا الأساسية، CoolHash محركات قواعد البيانات المتوازية، كتاب "تصميم النظم الموزعة على نطاق واسع والهندسة المعمارية وعملي"، مع عدد من حقوق التأليف والنشر البرمجيات وبراءات الاختراع.