شبكة لى فنغ (عدد الجمهور: ليو فنغ شبكة) ملاحظة: يتم ترجمة هذا المقال من جماعة لى فنغ ترجمات من بلوق التكنولوجيا، واللعب العنوان الأصلي مع هجمات عدائية على الأجهزة يمكن أن نرى المنافسة عام 2018، والمؤلف هو snakers41.

الترجمة | ياو يينغ التشطيب | MY

معلومات عن المباراة ضد هجوم

TLDR.

حدث لي للمشاركة في MCS2018 في مواجهة المنافسة. عند المشاركة في هذه المسابقة كان في وقت متأخر (عند إضافتها مسافة من الوقت فقط لمدة أسبوع)، ولكن في النهاية تشكيل فريق من أربعة أفراد. من بينها، ثلاثة أعضاء فريق (زائد لي) هو شرط ضروري لدفع هذا الانتصار (لإزالة أي واحد، ونحن من المرجح أن الماضي فرشاة والنصر).

والهدف من هذه اللعبة هو لتغيير وجه (حركة استقلال جنوب السودان حركة استقلال جنوب السودان شرط لا تقل عن 0.95)، بحيث مربع التفاف الأسود الشبكة العصبية لا يمكن التمييز بين الوجه مصدر مختلف والوجه الهدف.

وصف موجز لجوهر اللعبة - تعديل الوجه، بحيث جهان الصندوق الأسود لا يمكن تمييز الفرق (قياس المسافة على المسافة الإقليدية من التمثيل على الأقل من القاعدة L2 نظر).

العمل ضد الحاجة إلى الهجوم وأشياء مفيدة بالنسبة لنا:

بسرعة تدوين التدرج (FGSM) هو مفيد، وسوف يشكل إضافة الكشف عن مجريات الأمور من أفضل قليلا.

قيمة أسلوب التدرج بسرعة (FGVM)، سيضيف إلى حد كبير تأثير تحسين الكشف عن مجريات الأمور.

تطور صيغة التفاضلي (ثابتة شبكة الأقمار الصناعية المادة ستيلر تحدث عن هذه الطريقة) + قيمة بكسل من الهجوم؛

نموذج الانصهار (بنية الشبكة ويفضل 634 طبقات ResNet نموذج)؛

مزيج مبتكر من عبور صورة المستهدفة؛

توقفت أساسا في أقرب وقت ممكن خلال هجوم FGVM.

لماذا نحن غير مجدية:

إضافة إلى الزخم FGVM (والذي هو صالح لتلك الفرق في المرتبة الدنيا، وربما الانصهار وأكثر فعالية من مزيج من الزخم ارشادي؟)؛

هجوم (C & W الهجوم، ينتهي إلى حد كبير في إنهاء الهجمات، logits الانتباه مربع نموذج) كرليني وفاغنر المقترحة - هذا الأسلوب صناديق الحوار (WB) هو مفيد، ولكن الصندوق الأسود (BB) لا طائل منه.

واستنادا إلى نهاية سيامي LinkNet (على غرار هيكل UNET، ولكن على أساس ResNet) الأسلوب. مربع الحوار نفسه هو مفيد وغير مجدية على الصندوق الأسود.

لم يكن لدينا الوقت لمحاولة (ضيق الوقت، أو عدم وجود جهد، وكذلك الالتزام):

لتعزيز الطالب اختبار التعلم المناسب (وسوف نقوم بتعديل واصف)؛

تعزيز في وقت وقوع الهجوم.

مقدمة عامة عن لعبة:

يحتوي على المنافسة مجموعة بيانات صغيرة 10005 + 5 صورة جنبا إلى جنب.

تزويد الطلاب تعلم بيانات كبيرة - أكثر من 10،000 الصور.

كافيه نموذج الصندوق الأسود لعدد كبير من قبل تجميع (بسبب استخدام هذه لا يمكن استخدامها بشكل جيد على الإصدار الحالي من البرنامج - ولكن التعامل معها في نهاية المطاف من قبل المنظمين). انها لا تزال مؤلمة قليلا، لأن الصندوق الأسود لا يقبل دفعات من الصور.

توفر هذه اللعبة رموز الأساس (بصراحة، هذه ليست مفتوحة المصدر، كما أعتقد، لا يوجد شعب).

المواد الأساسية:

نتائج تتكاثر أساس التعليمات البرمجية.

لدينا عرض.

جميع الفائزين من العرض التوضيحي.

1، MCS2018 لمحة عامة عن اللعبة وكيف التحقت

المنافسة وطرق

بصراحة، كنت مبهورا هذا المجال مثيرة للاهتمام. أعتقد أن هناك جوائز GTX 1080 تي FE نسخة من بطاقة، فمن نسبيا مستوى المنافسة "منخفضة" (بفارق كبير عن المنافسة مع 4000 شخص مع Kaggle + المواد المستنفدة للأوزون الفريق بأكمله).

كما ذكر أعلاه، فإن الهدف من اللعبة هو للتشويش على نموذج الصندوق الأسود، مما يجعل من المستحيل تمييز الفرق بين شخصين (مع L2 القاعدة أو المسافة الإقليدية). المنافسة هي "الصندوق الأسود" لعبة، لذلك كان علينا أن البيانات الواردة في يقطر شبكة طالب الأمل التدرج الصندوق الأسود والأبيض مربع التدرج هو مماثل بما فيه الكفاية للهجوم على الأداء.

في الواقع، إذا كنت تقرأ الأدبيات الأكاديمية (مثل هذا وهذا، على الرغم من أنها لا أقول لكم حقا في ممارسة ما هو مفيد)، وأفضل نموذج للفريق حققت عن طريق التقطير، يمكنك بسهولة العثور على بعض ما يلي: القانون:

أبسط تنفيذ الهجوم (على الإطار الحديث) بما في ذلك المربع الأبيض أو فهم البنية الداخلية التي يهاجمون التفاف للشبكة العصبية CNN (أو مجرد إطار)؛

وقدم دردشة ... اقتراح لحساب الوقت من الصندوق الأسود إجراء تقدير، وبالتالي ضغط هيكلها.

مع الأخذ بعين الاعتبار إعطاء ما يكفي من البيانات، يمكنك محاكاة الصندوق الأسود أبيض مربع مع التدريب الصحيح.

حاليا معظم الطرق التقليدية هي:

نهاية C & W هجوم (هنا لا تستخدم).

FGSV تمديد ذكي (مثل الزخم + التكامل).

أن نكون صادقين لدينا حيرة في صفوف الناس باستخدام اثنين من حل نهاية مختلفة تماما (لا نعرف بعضنا البعض، وهذا هو مستقل تماما)، ولكنها لا تعمل على الصندوق الاسود. قد يعني هذا أنه في إعدادات مهمتنا، وهناك بعض الإعدادات مخبأة تسرب، لكننا لم إشعار. مثل العديد من التطبيقات رؤية الجهاز الحديثة نهاية تماما قد تعطي نتائج جيدة (مثل تحويل النمط، خوارزمية مستجمعات المياه العميقة، وتوليد الصور، والحد من الضوضاء الفنية، الخ)، ولكن لا جدوى.

كيف يعمل أسلوب التدرج

يمكنك أساسا عن طريق التقطير، لمحاكاة الصندوق الأسود مع مربع أبيض، ثم حساب التدرج من المدخلات والمخرجات نموذج الصورة. كما سر المعتاد مخبأة في مجريات الأمور.

الهدف مصفوفة

مصفوفة الهدف هو القاعدة L2 يعني (المسافة الإقليدية)، وهي المصدر والمقصد الصور (5 * 5) بمعدل متوسط 25 مجموعات.

بسبب القيود CodaLab، وأعتقد أن النتيجة الفردية (الدرجة الكلية وفريق) يتم التلاعب يدويا من قبل مسؤول، وهو خائفة قليلا.

فريق

بعد تدريبي بعد الآثار شبكة طالب هي أفضل من غيرها (حتى الآن)، وAtmyre مناقشة (لقاء مشاكل مماثلة من قبل، وقالت انها ساعدتني مع الترجمة الصحيحة من الصندوق الأسود)، شاركنا كل الأخرى العشرات، وبطبيعة الحال، قبل يومين أو ثلاثة أيام من الموعد النهائي في لعبة ونحن لا نشارك في الأساليب والرموز:

فشلت طراز بي-نهاية (وهي أيضا)؛

لدي نموذج الطالب عظيما.

لديهم ممتاز ارشادي التفاضلية FGVM (يستند مدوناتها على خط الأساس).

لم أكن قد بدأت تجهيز نموذج يقوم على التدرج، لتحقيق بالقرب 1.1 - في البداية لأسباب شخصية، ورفض استخدام كود الأساس (أي تحد) على المستوى المحلي.

في ذلك الوقت لديهم القدرة الحاسوبية يست قوية جدا؛

وأخيرا، ونحن نأخذ خطر، جنبا إلى جنب مع القوى الأخرى - قدم لي devbox / CNNs / التجارب الاجتثاث والملاحظات، والإفراج عن توفر عدة أسابيع رمز قاعدة.

مرة أخرى، أعربت مهاراتها التنظيمية والتوصيات نكران الذات امتنانه العميق.

أعضاء الفريق هم على النحو التالي:

https://github.com/atmyre-- كانت القبطان (اعتقد من ادائها). وقدمت النسخة النهائية من تطور الهجوم الفرق الجيني.

https://github.com/mortido-- والكشف عن مجريات الأمور ممتاز أفضل طريقة لتحقيق بهجوم كود الأساس + FGVM تدريب نموذجين.

https://github.com/snakers4 - باستثناء بعض اختبار الاجتثاث، وتوفير ثلاث عشرات من الطلاب خلال نموذج العرض + حساب العمل الإضافي والنص المقدم القدرة النهائية +.

https://github.com/stalkermustang.

وأخيرا، تعلمنا الكثير على بعضها البعض، وسعيدة جدا لخوض هذه التجربة. وهو واحد من أكبر ثلاثة في غياب مساهمة، ونحن لا يمكن الفوز بها.

2، والطلاب التفاف التقطير الشبكة العصبية

يمكنني استخدام نموذج الطالب لتحقيق أفضل نتيجة في التدريب، لأنني كنت كود بلدي بدلا من داخل خط الأساس.

مفتاح نقطة / صالحة النقطة:

لكل الهندسة المعمارية مصممة بشكل فردي النظام LR.

من خلال التدريب توهين آدم + LR في بداية؛

ثم للطي و / أو حتى أكثر ذكاء (لم أكن استخدام) أو على وزن الدوري معدل التعلم متكاملة؛

مراقبة دقيقة نظرا إلى أكثر من تركيب ونموذج المناسب والقدرات؛

ضبط يدويا مجلة الخاص بك، لا تعتمد فقط على مذكرات التلقائي. على الرغم من أنها تعمل بشكل جيد، ولكن إذا كان لديك كل الحق في ضبط، ووقت التدريب يمكن تقصير 2-3 مرات. ولا سيما عندما نموذج الانحدار الثقيلة مثل DenseNet.

أفضل هندسة معمارية ضخمة هي المناسبة؛

تدريب خسائر L2 بدلا من الانحراف مربع يعني هو ممكن، ولكن لم تكن دقيقة جدا أيضا. التشغيل عن طريق نموذج التدريب مربع الخطأ نفسه هو أكثر من مجرد عرض مع مسافة L2 L2 القطار فقدان نموذج يقترب الأسود الناتج نموذج الصندوق. ربما لأن الخطأ مربع يعني، وصناديق نستخدم الكائن لكل دفعة على حدة Bx512 التدريب (للسماح تبادل المعلومات بين أكثر صقل والصور)، وL2 هي على التوالي في النموذج ناقلات 2x512 التدريب.

لا فائدة:

(ليس مناسبا، لأن ارتفاع القرار الاختزال يتطلب وأعلى) العمارة التأسيس مقرها. على الرغم من أن التأسيس-V1 والثالث حاول استخدام الصورة بدقة كاملة (حوالي 250x250)؛

VGG القائم على الهندسة المعمارية (الإفراط في تركيب)؛

"لايت" العمارة (SqueezeNet / MobileNet-- underfitting)؛

تحسين الصورة (لا تعديل واصف - حتى صديق ثالث إيقاف)؛

في عملية الصورة بالحجم الكامل.

تحدي روح من المنظمين في شبكة يوفر أخيرا مواصفات دفعة واحدة. ولكن هذا هو لزملائي في الفريق ولا فائدة، وأنا على استخدام التعليمات البرمجية الخاصة بك، ولكن أنا لا أفهم لماذا هو هنا.

حيث الخريطة بكسل واستخدام هجوم واحد. وهذا يفترض أن الصورة بالحجم الكامل هو أكثر فائدة (فقط مقارنة 112x112x search_space و299x299xseach_space).

لدينا أفضل نموذج - لاحظ الدرجة القصوى هي 3 * 1E-4. مع الأخذ في الاعتبار تعقيد النموذج، فإنه ليس من الصعب تخمين نموذج الصندوق الأسود هو ResNet34. في بلدي التجارب، ResNet50 + دون المستوى ResNet34.

وكانت خسارة الفرق الأول

3، والنتيجة النهائية وتحليل الاجتثاث

تحليلنا الاجتثاث من هذا القبيل:

حلول أعلى مثل هذا (حسنا، فتح هذا ResNet مكدسة مزحة، وقال انه يعتقد ResNet هو بنية الصندوق الأسود):

بعض الفرق الأخرى النصائح المفيدة ذكية:

المعلمات ابسيلون على التكيف.

البيانات المعززة.

الزخم.

الزخم نيوتن.

مهاجمة مرآة انعكاس.

تشانغ جنبا إلى جنب بيانات الصورة --5000 كسر فقط 1000 صور فريدة من نوعها، مما يعني أنك يمكن أن تولد المزيد من البيانات التدريب.

الكشف عن مجريات الأمور مفيدة لFGVM:

ضجيج = العائد على السهم * المشبك (غراد / grad.std، -2، 2)؛

عدة متكاملة من التدرج الشبكة العصبية التلافيف CNN.

حفظ التغييرات فقط عندما خفض متوسط الخسارة؛

وبين المزيد من الهدف باستخدام مزيج من هذا الهدف؛

استخدام فقط من التدرج مربع يعني القياسية (لFGSV).

ملخص موجز:

الأول هو ليس الحل الأكثر أناقة.

لدينا معظم الحلول المتنوعة.

والثالث هو الحل الأكثر أناقة.

4، نهاية لهذه الغاية نموذج

حتى إذا فشلوا، والمستقبل هو يستحق المحاولة. لمزيد من المعلومات تشير إلى شبكة الفاحص، وباختصار، حاولنا:

C & W للهجوم.

اثنين الهدف الإثارة سيامي LinkNet.

نموذج نهاية

عملية نموذج نهاية

ما زلت اعتقد ان خسارتي جميلة جدا.

5 والمراجع ومزيد من القراءة

1، لعبة الصفحة الرئيسية

2، مكتبة عامة لدينا

3، سلسلة من المقالات حول الاختلاف من الترميز (VAE) هو موضوع قريب

4، وهيكل من المواد على التشابه (وحركة استقلال جنوب السودان) من

1، ويكيبيديا

2 "Backpropable" PyTorch تحقيق

5، الفارق المادي خوارزمية التطور

1، بلوق ستيلر

2، SciPy

6 تجريبي

1، لدينا

2، كل من

7، وأكثر فائدة من المادتين

1 و https: //arxiv.org/pdf/1710.06081.pdf

2 و https: //arxiv.org/abs/1708.03999

8،2 في جميع أنحاء أوراق المكان:

1 و https: //arxiv.org/abs/1712.07107

2 و https: //arxiv.org/abs/1801.00553

الرابط الأصلي: https://spark-in.me/post/playing-with-mcs2018-adversarial-attacks

لى فنغ لى فنغ صافي صافي