هذا المقال هو عبارة عن تجميع للAI Yanxishe بلوق التكنولوجيا، والعنوان الأصلي:

مقدمة أساسية لمفصول الإلتواءات

الكاتب | تشي وانغ فنغ

الترجمة | طوال الليل، الأحداث أصلع محرر الرأس | انغ الأسماك، بيتا

الرابط الأصلي:

https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728

وسوف أي شخص ينظر إلى العمارة MobileNet تواجه التفاف فصل (تلافيف فصل) مفهوم. ولكن ما هو "التفاف فصل"، مع التفاف معيار ما هو الفرق؟ التفاف فصل من نوعين رئيسيين:

• مساحة التفاف فصل (تلافيف فصل المكانية)

• عمق التفاف فصل (تلافيف فصل depthwise)

مساحة التفاف فصل

من الناحية النظرية، وهذا هو أسهل على حد سواء واحد، ويشرح فكرة التكامل حجم إلى قسمين (اثنين حبات الإلتواء)، ولذا فإنني سوف بدء تشغيله. للأسف، الفضاء التفاف فصل لديه بعض قيود كبيرة، وهو ما يعني أنه لم يستخدم على نطاق واسع في دراسة متعمقة.

يدعى الفضاء التفاف فصل ذلك لأنه يتم معالجة بشكل رئيسي وصورة التفاف النواة (نواة) الأبعاد المكانية: العرض والارتفاع. (أبعاد أخرى، "عمق" البعد، كل صورة هي عدد من القنوات).

مساحة للانفصال التفاف نواة الالتواء يمكن تقسيمها ببساطة إلى قسمين حبات الإلتواء أصغر. وينقسم معظم حالة شائعة نواة الالتواء في 3X13X31X3 والإلتواء النواة، على النحو التالي:

الشكل 1: A نواة 3X3 فصل مكانيا

الآن، لا تقوم نحن خارجا مع 9 الضرب الوقت الإلتواء، والالتواء بل مرتين، ثلاث مرات كل الضرب (أي ما مجموعه 6)، وذلك لتحقيق التأثير نفسه. أقل الضرب، والتعقيد الحسابي من التراجع، على المدى الشبكة بشكل أسرع.

الشكل 2: بسيطة والتفاف فصل مكانيا

الأكثر شهرة يمكن فصل مكانيا في التفاف سوبل حافة كشف التفاف نواة ل:

الشكل (3): سوبل التفاف فصل النواة

مساحة المشكلة الرئيسي هو عدم التفاف فصل من كل نواة الالتواء يمكن "فصل" إلى قسمين حبات الإلتواء أصغر. هذا يصبح مزعجا بشكل خاص أثناء التدريب، لأن الشبكة قد تستخدم كل ما يمكن من نواة الالتواء، لا يمكن إلا أن استخدام جزء صغير من الإلتواء يمكن تقسيمها إلى نواتين أصغر.

فصل عمق الإلتواء

فصل التفاف المكاني مختلفة، والالتواء وعمق انفصال نواة الالتواء لا يمكن "كسر" في اثنين من النوى الصغيرة. لذلك، هي أكثر شيوعا عليه. هذا هو نوع ينظر في keras.layers.SeparableConv2D أو التفاف فصل tf.layers.separable_conv2d.

عمق التفاف فصل وسميت بهذا الاسم لأنه لا يشتمل فقط على الأبعاد المكانية، كما يتصل البعد العمق (عدد من القنوات). قد يكون صورة إدخال ثلاث قنوات: R، G، B. بعد عدة الإلتواء، قد يكون صورة وافر من القنوات. يمكنك التفكير في كل قناة من صورة تفسيرا محددا (تفسير)؛ على سبيل المثال، "الأحمر" قناة شرح لكل بكسل "حمراء"، "الأزرق" قناة لكل تفسير بكسل "الأزرق"، " الأخضر "قناة شرح لكل بكسل" الخضراء ". صورة 64 وجود قنوات 64 وجود تفسير مختلف للصورة.

الإلتواء المكاني للانفصال وبالمثل، فإن التفاف نواة الالتواء عمق انفصال إلى قسمين نواة التفاف منفصلة، واثنين من حبات الإلتواء لمدة الإلتواء: التفاف نقطة بفارق نقطة وعمق وconvolved. ولكن أولا، دعونا ننظر في التفاف العادي هو كيف يعمل.

الإلتواء القياسية:

إذا كنت لا تعرف كيفية العمل في الإلتواء من منظور ثنائي الأبعاد، يرجى قراءة هذه المادة أو رؤية هذا الموقع.

ومع ذلك، صورة 2D نموذجية ليست، ولديها العرض والارتفاع في نفس الوقت أيضا لديه عمق. دعونا نفترض أن لدينا 12x12x3 المدخلات بكسل صورة، وهذا هو حجم 12x12 صورة RGB.

السماح للالتفاف صورة 5X5، لا الحشو (الحشو) في خطوات 1. إذا اعتبرنا فقط العرض والارتفاع للصورة عملية التفاف من هذا القبيل: 12x12 - (5X5) - >  8X8. 5X5 التفاف نواة 25 بكسل لكل الضرب القياسي في كل مرة خرج عدد 1. ونحن في النهاية الحصول على بكسل 8X8 من الصورة، لأنه لا يوجد التعبئة (12-5 + 1 = 8).

ومع ذلك، منذ صورة لها ثلاث قنوات، نحن التفاف النواة أيضا بحاجة إلى ثلاث قنوات. وهذا يعني أنه في كل مرة قمت بنقل التفاف النواة، ونحن في الواقع تنفيذ 5x5x3 = 75 الضرب، بدلا من 5X5 = 25 الضرب.

وفي حالة ثنائية الأبعاد، ونحن مرة واحدة كل 25 بكسل الضرب مصفوفة العددية، الإخراج الرقمي. بعد نواة 5x5x3 الإلتواء، و12x12x3 تكون الصورة صورة 8x8x1.

الشكل (4): معيار 8x8x1 الناتج الإلتواء

إذا كنا نريد أن زيادة عدد القنوات في الناتج صورة منه؟ إذا كنا نريد لإخراج 8x8x256 ذلك؟

حسنا، نحن يمكن أن تخلق 256 الإلتواء نواة لإنشاء 256 صورة 8x8x1 ثم التراص معا يمكن أن تخلق صورة من الناتج 8x8x256.

الشكل 5: خرج التفاف قياسي له 8x8x256

هذا هو مبدأ التفاف القياسية. أود أن تتخيل أنها وظيفة: 12x12x3- (5x5x3x256) - > 12x12x256 (حيث عدد القنوات ممثلة 5x5x3x256 ارتفاع الأساسية، عرض وعدد من القنوات المدخلات وقنوات الانتاج). لا يعني أن هذا ليس الضرب مصفوفة، ونحن لا تتضاعف الصورة بأكملها من الإلتواء، نواة الالتواء ولكن سوف تنتقل إلى كل جزء من الصورة، ومضروبا جزء من الصورة.

عمق عملية التفاف انفصال يمكن تقسيمها إلى قسمين: التفاف عمق (depthwise الالتواء) والإلتواء pointwise (pointwise الإلتواء).

الجزء 1 - التفاف العمق:

في الجزء الأول، وعمق من الالتواء، ونحن لا تتغير الصورة المدخلة حالة التفاف العمق. كنا 3 الشكل 5x5x1 من النواة.

الفيديو 1: النوى التكرارية من 3 إلى صورة 3-قناة:

https://www.youtube.com/watch؟v=D_VJoaSew7Q

الشكل (6): عمق التفاف نواة سوف تستخدم ثلاثة 8x8x3 الصورة في 12x12x3 صورة

كل قناة صورة نواة 5x5x1 التكرار (ملاحظة: قناة، وليس كل قنوات)، لإعطاء المنتج العددية من كل مجموعة بكسل 25، للحصول على صورة 8x8x1. وتضاف هذه الصور معا لخلق صورة ل8x8x3.

الجزء 2 - بكسل الإلتواء:

تذكر، الصورة الأصلية إلى التفاف الصورة 12x12x38x8x256. حاليا، وعمق التفاف ديه لتحويل صورة 12x12x3 الصور 8x8x3. الآن، نحن بحاجة إلى زيادة عدد القنوات من كل صورة.

يدعى بكسل الإلتواء ذلك لأنه يستخدم نواة 1X1، أو وظيفة نواة لاجتياز كل نقطة. عمق الأساسية لعدد من القنوات المدخلات صورة، في حالتنا، هو 3. ولذلك، فإننا التكرار 1x1x3 من خلال صورة 8x8x3 نواة للحصول على صورة 8x8x1.

الرقم 7: نقطة من convolving صورة تحويل القناة 3-قناة صور 1

يمكننا خلق 2561x1x3 النوى، كل إخراج صورة 8x8x1 لإعطاء الشكل النهائي للصورة 8x8x256.

FIG 8: نقطة نواة 256 الإلتواء بفارق نقطة والقنوات الناتج صورة 256

هو من هذا القبيل نحن التفاف إلى قسمين:! الإلتواء عمق الإلتواء ونقطة نقطة. أكثر تجريدي، إذا كانت وظيفة التفاف الأصلية 12x12x3 - (5x5x3x256) 12x12x256، يمكننا استخدام يعبر هذا الإلتواء الجديد 12x12x3 - (5x5x1x1) - >  (1x1x3x256) - > 12x12x256.

نعم، ولكن لخلق عمق التفاف فصل ما هو عليه؟

دعونا حساب عدد من أجهزة الكمبيوتر للقيام الضرب التفاف الأصلي. هناك 2565x5x38X8 نواة يمكن ان تتحرك مرات. هذا هو 256 x3x5x5x8x8 = 1228800 الضرب.

التفاف فصل؟ في التفاف العمق، لدينا ثلاثة 5x5x1 النووية انتقلوا 8X8 مرات. وهذا هو 3x5x5x8x8 = 4800 تضاعفت. في الالتواء نقطة للدولة، لدينا 2561x1x3 النووية انتقلوا 8X8 مرات. هذا هو 256 x1x1x3x8x8 = 49152 الضرب. إضافة لهم، وهذا هو، 53952 الضرب.

52952 أصغر بكثير من 1228800. كمية أقل من الحساب، يمكن للشبكة التعامل مع المزيد من البيانات في فترة زمنية أقصر.

ومع ذلك، وهذا هو الوقت؟ انا اول واجهت هذا يفسر كيف، حدسي لم يفهم حقا. التفاف اثنين لا تفعل نفس الشيء؟ وفي كلتا الحالتين، التي نمر بها صورة 5X5 نواة، وسوف يتم تخفيضها إلى قناة واحدة، ثم توسيع نطاقه ليشمل 256 القنوات. لماذا بمعدل أكثر من مرتين الآخر؟

بعد فترة من التفكير، وأدركت أن الفرق الرئيسي هو: التفاف العاديين، أجرينا 256 مرة من التحول الصورة. وينبغي أن تستخدم كل تحول 5x5x3x8x8 = 4800 الضرب. في التفاف فصل، الذي قمنا به مرة واحدة فقط تحول صورة - في عمق الإلتواء. ثم، فإننا سوف صورة تحويلها بمد بسهولة إلى 256 قناة. أنت لا تحتاج إلى تحويل صورة مرارا وتكرارا، ونحن يمكن أن توفر القدرة الحاسوبية.

ومن الجدير بالذكر أنه في Keras وTensorflow في، هناك معلمة تسمى "مضاعف العميق" من. الإعداد الافتراضي هو 1. عن طريق تغيير هذه المعلمة، لا يمكننا تغيير عدد من عمق قنوات الانتاج الإلتواء. على سبيل المثال، إذا وضعنا عمق مضاعف 2، كل 5x5x1 الأساسية الناتج صورة 8x8x2 ذلك أن إجمالي الناتج عمق الإلتواء (كومة) من 8x8x6، بدلا من 8x8x3. بعض الناس قد يختار تعيين عمق المضاعف يدويا لزيادة عدد المعلمات في الشبكة العصبية، من أجل معرفة أفضل المزيد من الميزات.

ما هي عيوب التفاف فصل عمق؟ بالطبع! الإلتواء لأنه يقلل من عدد من المعلمات، إذا كان لديك شبكة صغيرة، قد تحصل على عدد قليل جدا من المعلمات من الشبكة الخاصة بك قد لا تكون قادرة على تعلم بشكل صحيح في التدريب . ومع ذلك، إذا ما استخدمت بشكل صحيح، فإنه لا يمكن زيادة كبيرة في الكفاءة في انخفاض الكفاءة، مما يجعلها خيارا شعبيا للغاية.

1X1 نواة:

وأخيرا، النقطة التفاف نقطة باستخدام هذا المفهوم، أريد أن أتحدث عن استخدام نواة 1X1.

A نواة 1X1 - أو بتعبير أدق، وهو ن النوى 1x1xm، حيث n هو عدد قنوات الإخراج، m هو عدد من القنوات الإدخال - يمكن أن يكون خارج المستخدمة من التفاف فصل. كائن 1X1 نواة هو زيادة كبيرة أو نقصان في صورة العمق. إذا وجدت هناك عدد كبير جدا أو قليل جدا من قناة الالتواء، 1X1 الأساسية يمكن أن تساعد في توازن ذلك.

ومع ذلك، بالنسبة لي، الرئيسي الأساسية الغرض 1X1 هو غير الخطية. بعد كل طبقة من الشبكة العصبية، يمكننا تطبيق الطبقة النشطة. سواء ReLU، PReLU، Softmax أو غيرها، مع طبقة الإلتواء مختلفة، الطبقة النشطة هي غير الخطية. مزيج خطي من الخطوط المستقيمة تبقى على التوالي. نموذج يمتد إمكانية طبقة غير الخطية، التي عادة ما تكون أن "عمق" من هذه الشبكة هو أفضل من الأسباب شبكة "واسعة". لزيادة عدد طبقة غير الخطية من دون زيادة كبيرة في كمية من حساب والمعلمات، يمكننا استخدام نواة 1X1 وإضافة طبقة بعد تفعيله. هذا يساعد على إضافة طبقة أخرى من العمق إلى الشبكة. شبكة شبكة شبكة لى فنغ لى فنغ لى فنغ

إذا كان لديك أي أسئلة، يرجى ترك التعليق أدناه! لا ننسى ان نثني على نقطة من هذه القصة!

أريد الاستمرار لعرضها روابط ذات صلة والمراجع؟

انقر على [ التفاف فصل مقدمة أساسية للوصول]:

https://ai.yanxishe.com/page/TextTranslation/1639

إشعار الحية | شبكة كاملة حصرية AI Yanxishe AIS (ACL، IJCAI، مكتب المفتش العام) 2019 أوراق تقرير

ALS 2019 من قبل جمعية العمل للشباب معالجة المعلومات الصينية، لجنة هانغتشو تشيانتانغ الجديدة المساحة الإدارية، Sogou بحث تقرير الصحيفة تنظيمه. سيكون الاجتماع 25 مايو 2019 في 26 مايو في مدينة هانغتشو تشيانتانغ DAISO الجديد الذي عقد في مركز المدينة الدولي بو.

يعيش في:

في الساعة 9:00 يوم 25 مايو 17:30

في الساعة 9:00 يوم 26 مايو وحتى الساعة 18:00

طرق ووتش:

بعد إضافة ورقة [NLP] مجموعات النقاش لبدء مشاهدة:

https://ai.yanxishe.com/page/paperGroup/42