مذكرة لى فنغ شبكة AI تقنية الاستعراضي: صاحب البلاغ تشن تشونغ مينغ، لى فنغ شبكة AI تقنية مراجعة الافراج المرخص له.

لماذا هو بلدي نموذج شبكة CNN تدريب الأمور أكثر من المناسب؟ تم تغيير المعايير ومرات عديدة لا تعمل، في النهاية هو عينة من مشكلة أو مشكلة مع تعريفات نموذج الشبكة؟ لن يكون هناك أي مشكلة؟

CNN كل نموذج شبكة طبقة من التعلم هو ما يتميز؟ لماذا بعض الناس يقولون: إن الطبقة الأولى هي التفاف نواة استخراج حافة سمة من المعلومات، بعض الناس يقولون يتم استخراج الطبقة الأولى التفاف الأساسية ميزة اللون؟ لديهما في نهاية المطاف هو أو ما الذي يحدث؟

طبقات الشبكة يمكن CNN ثم تفقد للحفاظ على نفس معدل دقة وفقدان ذلك؟ يمكن طبقات طرح تقليل معلمات الشبكة، كان لي ذاكرة GPU هو لن كبيرة جدا، شبكة كبيرة جدا يصلح، لا نريد لشراء GPU يمكن أن يكون إلا بإعادة قطع طبقة، لا إله كبير يمكن أن يعلمني كيفية تشغيل آه؟

وفي كثير من الأحيان التي نواجهها المشاكل المذكورة أعلاه، والإشاعات بدأت لتفجير بابا الناس أعمى التباهي. وقبل ذلك، حتى أنا لا أعرف VGG16 شبكة الأخيرين block5 conv2 والتدريب conv3 block5 إلى آخر القيام به تقريبا يكن لديك الكثير من الميزات الملمس. هل تعلم؟ أنا لا أعرف إذا كان يمكنك أن تتعلم معي، أنا مبتدئ في CNN المحلية لم تبدأ بعد لحفرة الوثب قبل شعبية جدا، وكان الآن حفرة عميقة. تخلى جي حفرة. . . .

كتب مؤخرا حيث الأدوات الشركة الخاصة لتحليل نموذج الشبكة تدريبهم من قبل CNN، كما هو مبين أدناه: من الرسم البياني الأول يمكننا أن نرى هذه الصورة هناك بعض نموذج ذهبية ذهبية، مثل الكثير من ذيل السمكة، ثم هناك الكثير من المقاييس وسيطة، صورة غريبة جدا، ولكن لا يحملون أي شيء ضد هذه الصورة، لأنه يفترض أن كنت وضعت هذه الصورة القيت خلال VGGNet ImageNet نموذج البيانات التي تمارس في معسكر تدريبي خارج عن احتمال ذهبية بالتأكيد 99 حاولت أكثر من 100 مرة لرؤية ليس فقط لذهبية.

وبالمثل، فإن الشكل 2، والخطط الثلاث، فإن النتائج هي من هذا القبيل، حتى بلدي الليبرالية أخت ورقة مدرسة فنون لرؤية ويايا تسمى هذه الأرقام، ما هو هذا، مثير للاشمئزاز، كيف الثلاثة الأولى ولكن هناك قليلا مثل الطيور أنها ليست الطيور. نعم، ونحن نفعل مثل هذه الشبكات العصبية مثير للاشمئزاز الصور. أكثر وضوحا ملامح أكثر مثير للاشمئزاز.

تم الحصول على التصور من خلال التفاف FIG التدرج الصعود

الاصطناعية افترض متصور التفاف نواة في الصورة السينية، ونحن نريد أن نجعل هذه الصورة المركبة يمكن أن يكون س الخلايا العصبية المقابلة (الإلتواء) وجود أعلى قيمة التنشيط. هذه الصورة المركبة التي حصل عليها نواة الالتواء هو حجم القاعدة الشعبية أو "يبحثون خصائص نسيج ل"، "نريد أن نرى". هذا هو عندما نريد أن نجد صورة من خلال شبكة CNN، وانتشار للنواة الالتواء محددة، يمكن هذه الصورة جعل أعلى درجة من نواة الالتواء.

لتركيب هذه الصورة، ونبدأ مع بداية من صورة الضوضاء العشوائية، كل قيمة بكسل من اللون المحدد عشوائيا.

التالي، ونحن نستخدم هذا بمثابة ضجيج مدخلات CNN FIG شبكة نشر إلى الأمام، ثم الوصول إلى ط عشر طبقة من ي-ث التفاف نواة تفعيل a_ij (خ)، ثم القيام شبكة العودة نشر الحوسبة دلتا a_i (خ ) / دلتا س التدرج، وأخيرا نحن الإلتواء من الضوضاء التدرج يتم تحديث نمط ضجيج FIG. الهدف هو تغيير اللون من أجل زيادة قيمة كل بكسل في تفعيل نواة الالتواء، وهنا باستخدام أسلوب الانحدار الصعود:

وهو itselong التدرج معدل التعلم الصعود. يتم تكرار العملية المذكورة أعلاه حتى تكون الصورة اكس طبقة ط ال يسمح للي-ث التفاف نواة لها قيمة التنشيط أعلى.

لتنفيذ المحددة التي يتعين علينا أن نحدد وظيفة الخسارة، وسوف تستخدم وظيفة فقدان لتحقيق أقصى قدر من التفاف نواة تفعيل قيمة معينة. إلى فقدان بوصفها وظيفة من أهداف التحسين، ويمكننا أن نفهم في النهاية أي نوع من الصور يمكن أن تجعل من هذا الإلتواء نواة لتحقيق القيمة تفعيل أفضل.

الآن نحن نستخدم Keras الخلفي لإتمام هذه الوظيفة الخسارة، التدرجات (الخسارة، والمتغيرات) لخسارة عودة ظيفة التدرج فيما يتعلق المتغيرات.

START_TIME = time.time

# والخسارة هي تفعيل الخلايا العصبية للفئة المختارة

فقدان = layer_output

# نحن حساب الانحدار من الصورة المدخلات WRT هذه الخسارة

الخريجون = K.gradients (الخسارة، input_img)

# هذا ترجع الخسارة وخريجي بالنظر إلى الصورة المدخلات

# إضافة أيضا إشارة لتعطيل مرحلة التعلم (في حالتنا التسرب)

أعاد = K.function ( ، )

np.random.seed (1337) # لاستنساخ

# نبدأ من صورة رمادية مع بعض الضجيج العشوائي

input_img_data = np.random.normal (0، 10، (1،) + model.input_shape )

# (1) لمحور دفعة

علما بأن وجود trick-- صغير التدرج المحسوب لعملية تسوية L2، بحيث التدرج ليست صغيرة جدا أو كبيرة جدا، فوائدها هي أن تكون سلسة إجراءات متدرجة الصعود.

وظيفة إلى وظيفة مع معلمات الإرسال النهاية الخلفية مثيل فئة وظيفة Keras العودة. هذا يتوافق مع كائن باعتبارها وظيفة وظيفة يستخدم، أي ما يعادل من الحمولة الزائدة المشغل قوس، والمخرجات = self.train_function (المدخلات).

وiterate_fun وظيفة الخسائر المحددة فقط، يمكن الآن بتسريع القيمة تفعيل محسوبة على أساس التدرج الزيادة في نواة الالتواء.

# نحن تشغيل الصعود التدرج ل 1000 خطوات

لأنني في مجموعة (1000):

loss_value، grads_value = أعاد ( ) # 0 لمرحلة الاختبار

input_img_data + = grads_value * learning_rate # تطبيق التدرج إلى صورة

طباعة ( 'قيمة الخسارة الحالية:'، loss_value)

# فك شفرة الصورة المدخلة الناتجة عنها، وإضافتها إلى قائمة

IMG = deprocess (input_img_data )

kept_images.append ((IMG، loss_value))

END_TIME = time.time

طباعة ( 'تصفية معالجتها في س د "(class_index، END_TIME - START_TIME))

وأخيرا، وإخراج صورة كما هو موضح أدناه، والذي هو الرأس؟ أو رأس الغنم؟ لا أرى ImageNet اتصال أنا لا أعرف ما في الرأس. ولكن هذا الأسلوب هو أن نحاول أن نجعل شيئا مع التفاف الصورة المدخلة حبات تريد أن ترى، أن تستكمل ارتفاع الخسائر وحبات طبقة التدرج التفاف على الصورة الأصلية إدخالها في ملء التفاصيل حصول التفاف البصرية خريطة النووية.

كل التفاف FIG البصرية

التصور التفاف النواة هي جزء الأكبر للاهتمام من هذا المثال، هو الجزء المفضل. من خلال تحليل نموذج شبكة CNN التفاف النواة، وسنرى في نهاية كل طبقة المستخلصة التفاف نواة غير أي نوع من المحتوى، وخصائص الملمس. عندما نفهم معنى وراء ذلك المستخرج يتميز نموذج CNN، هل يمكن أن يكون ما يكفي من الثقة لتعديل المعلمات من التفاف الشبكة العصبية CNN.

هنا سوف نستخدم تم تدريب VGG16 نماذج الشبكة لانتظاما الأساسية تصور التفاف كل طبقة الشبكة هو أن نرى طبقة بعد طبقة CNN تحلل استخراج ميزة الإدخال في نهاية المطاف هو ما.

النتيجة النهائية للتنفيذ كما هو مبين أدناه، لاستكمال نواة الالتواء Block1_Conv1 الرئيسي لون الترميز، والتوجيه، وما إلى ذلك، إلى نواة الالتواء Block2_Conv2 أكثر بكثير أكثر الملمس والتوجيه الحبوب تختلف عن Block1_Conv1 واللون وأكثر أعرب غنية ومتنوعة، ويمكن أن ينظر إليه على حافة بعض أداء متفاوتا.

مع مزيد من استمرار نموذج الشبكة VGG16، واللون والملمس اتجاه التكوين الأساسي، وتوليد تدريجيا نسيج خاص. عند دخول Block3_Conv1، والتوجيه، ويبدأ أداء اللون يصبح صغيرة، بدأت تظهر ملامح الملمس أكثر تعقيدا (دائرية حلزونية، مضلع، يشبه الموجة شكل بالاشتراك)، والتي يمكنك أن ترى بوضوح نسيج Block5_Conv1 على نحو أكثر تحديدا، والالتواء مع نمو المعلومات النووية الفضاء الإلكتروني وظهور المزيد من الميزات المتطورة والمعقدة.

الإلتواء نواة يزداد تعقيدا، لأنها بدأت لدمج أكثر وأكثر عن مدى المكاني للمعلومات، والمعلومات المقدمة، وأعرب عن المخصب بدرجة أكبر.

بعد قارئ دقيق قد تجد المحاولة الفعلية: لن يكون هناك كمية صغيرة من نواة الالتواء البصرية فارغة أو نفس في نفس الطبقة الالتواء، مما يعني أن عملية الالتواء والاختيار لاحقة تأثير أي عمليا، من خلال التسرب نواة الالتواء لتقليل كمية من حساب والحد من إمكانية overfitting الشبكة.

وعلاوة على ذلك، سيكون هناك جزء التفاف نواة تصور بالتناوب والترجمة، للحصول على مزيد البصرية نواة الالتواء. هذا هو اتجاه البحوث مثيرة جدا للاهتمام، ونحن قد تكون قادرة على استبدال يحتمل أخرى طبقة الشبكة التفاف نواة من خلال إيجاد وسيلة لثبات التناوب، وبالتالي ضغط عدد من نواة الالتواء. من المستغرب أنه حتى بالنسبة لمستوى عال نسبيا من مرشح، مثل Block4_Conv1 عن طريق تناوب، ترجمة للحصول على نفس البصرية نواة الالتواء لا تزال صالحة.

ولكن لconv3 block5 الماضي، بعد التعليمة البرمجية من الناحية العملية، سوف نجد أن هناك فقط 512 الإلتواء نواة 65 الإلتواء فقدان نواة ليست 0، وهذا هو، والباقي من نواة الالتواء لم تعد قادرة على الاستمرار في استخراج المعلومات حول ميزة الملمس الأبعاد عالية هذه هي الطريقة الشيء نفسه؟ لماذا أليس كذلك؟ وهذا هو أيضا ResNet أو GoogleNet لتحسين VGGNet قد أحيانا ليس كل شبكة CNN التفاف نواة (الخلايا العصبية) يمكن أن تشارك شبكة الحوسبة، تلعب دورا في ارتفاع استخراج ميزة الأبعاد. يظهر الشكل التالي ResNet قفزة طريقة طبقة، لأن VGG من conv3 block5 بدأت conv2 block5 لتظهر نواة الكثير الإلتواء لا فائدة، وconv3 block4 هناك الكثير من المعلومات المفيدة يمكن أن تنتقل إلى الوراء.

مع التحليل البصري للنموذج شبكة CNN، ونحن نفهم بعمق أكثر تفاصيل خطوة بخطوة في عملية التفاف الشبكة العصبية CNN، على وجه التحديد ما يستخرج نسيج يتميز المعلومات. إذا كان لديك الطاقة، يمكنك أيضا تحديد بايديكم التسرب العصبية عرض التفاف الشبكة العصبية التي overfitting لماذا، وكيف يمكن تقليم الشبكة. هذه عملية مثيرة جدا للاهتمام، ولكن أيضا عملية الاختبار البشري من الصبر.

CNN حقا فهم البصرية

ظيفتين رئيسيتين التفاف الشبكة العصبية CNN ما يلي: 1) إدخال مزيج من البصرية-المكانية صورة التفاف النواة، على مستوى مكون فصل. 2) من خلال التفاف نواة الهرمية إدخال بيانات الخرائط إلى مساحة هندسية مختلفة.

بعض الناس سوف يدعي التفاف الشبكة العصبية CNN قبل التفكير الهرمي للفصل المدخلات صورة، وهي عملية يحاكي قشرة البصرية الإنسان، وبالتالي الحصول على مثل هذا التأثير تطورا. ولكن الحقيقة هي حقا؟ من منظور علمي، وهذا لا يعني أننا حقا في طريقة لحل مشكلة الرؤية الحاسوبية، نحن فقط استخدام نهج رياضي لأخذ العينات إدخال البيانات صورة ورسم الخرائط الفضاء الهندسي. العلم حتى يتم شرح ذلك، ولكن هم في الواقع لم دحض القشرة البصرية لا تعمل بهذه الطريقة.

على الرغم من أن الدراسة لا يستطيعون التعبير عن عمق الفكر الصحيح، ولكن لا شك في كفاءته هو مدهش بحيث لا خوارزمية أخرى يمكن أن المباراة في السنوات الأخيرة، وحتى في بعض الحالات تجاوزت دقة التنبؤ للبشرية! نحن لا نتطلع إلى خوارزميات تعلم طريقة تفكيرنا، وإنما لاحتضان الرياضيات، مع طريقة خاصة لخدمة الإنسانية، ومواصلة ليتم اكتشافها، والاستمرار في إنشاء ومواصلة قيادة في مجال المحاكاة الرقمية!

المراجع:

Yosinski__2015__ICML_DL__Understanding_Neural_Networks_Through_Deep_Visualization

كيف تلفيفي الشبكات العصبية رؤية العالم

العنوان: الشبكي: //blog.keras.io/how-convolutional-neural-networks-see-the-world.html

لى فنغ شبكة AI تكنولوجي ريفيو.