مذكرة لى فنغ شبكة AI تقنية الاستعراضي: منذ إيان غودفلوو، الذين وجدوا أن بعد تعديلات طفيفة من الصور العادية يمكن أن تخدع يمكن أن تصبح الشبكة العصبية صورة المصنف "عينة المواجهة"، هو سبب هذه الظاهرة أكثر وأكثر الباحثين البحوث المتعلقة الاهتمام يتزايد أيضا.
قبل أن نشروا هذه النتائج من UIUC: "عينة المواجهة هي نمر من ورق، وHaoshi لا تخرج" العروض التي يمكن بسهولة خداع المواجهة المصنف صورة عينة وثائق الإلكترونية، وطبع النوع، بعد طلقات بعد يتم تقليل تأثير إلى حد كبير؛ دراسة أخرى تظهر OpenAI، يمكنك تعديل كثافة مختلفة المواجهة عينة، وارتفاع درجة التعديل للتحول منظور أكثر قوة، وأكثر استقرارا وقادرة على خداع المصنف، ولكن العين البشرية وسوف تكون أكثر وأكثر غير طبيعي.
دون هذا من مختبر الذكاء الاصطناعي في جامعة كاليفورنيا في بيركلي بلوق (بير) البحث (أيضا على مقطورة) لمزيد من الدراسة كيفية خداع للكشف عن وجوه، هو إنجاز جديد آخر في اتجاه المواجهة عينة الدراسة. وقد أجريت لى فنغ شبكة AI تقنية الاستعراض إلى تجميع النص الكامل.
الشبكة العصبية عمق (ديب الشبكات العصبية، DNNS) مثل أن عددا كبيرا من التطبيقات كان تقدما كبيرا، بما في ذلك معالجة الصور، وتحليل النصوص والتعرف على الكلام. DNNS أيضا الكثير من المعلومات أصبحت شيئا - جزءا هاما من إدارة النظام. على سبيل المثال، فإن نظام الرؤية مركبة بدون طيار تستخدم DNNS لتحديد المشاة والمركبات وعلامات الطريق على نحو أفضل. ومع ذلك، فقد أظهرت الدراسات الحديثة أن DNNS عرضة لهجمات ضد عينة: أدخل تدخل اصطناعية وأضاف بعناية يمكن أن تكون مضللة وهاجم DNN نظام الخصومة، فإنه لا يمكن تصحيح للأشخاص والمركبات وعلامات الطرق في استخدام التصنيف. هذه العينات مواجهات في العالم الحقيقي تثير المخاوف الأمنية للأفراد والمجتمعات. على سبيل المثال، مع إدخال نظام تضليل تصور القيادة تلقائيا طبيعة الخصومة سيارة تابعة للاضطراب، وتصنيفها بشكل خاطئ لإشارات الطرق، مما يؤدي إلى عواقب كارثية محتملة.
بعض التقنيات الموجودة يمكن استخدامها لتوليد العينة وكذلك الدفاع ضدهم. في هذا بلوق، ونحن نقدم لفترة وجيزة الجيل القادم من الخوارزمية الرقمية الأكثر تقدما ضد العينة، ومن ثم نناقش خوارزمية ولدت ضد عينات تحت ظروف بيئية مختلفة بناء على أجسام حقيقية. وسوف نقدم تحديثا نحن توليد عينات حقيقية ضد جهود للكشف عن الهدف.
عينة المواجهة الرقمية
في حالة بيضاء مربع، إنشاء عدد من الطرق المختلفة وقد اقترحت ضد العينة، وهذه المرة ضد شبكة التعلم عميقة يمكن معرفة كل المعلومات. يفترض أن هناك حجة قوية ضد حالة أبيض مربع، ويمكن أن تساعد في تطوير نظام الدفاع مضمونة المستقبل لإرساء أساس متين. هذه الأساليب تساعد على فهم الأرقام على العينة.
غودفلوو آخرون طريقة التدرج السريع، وتطبيق أول وظيفة فقدان أجل تقريب شيدت ضد العينة.
واقترح أيضا إلى إنشاء أسلوب تدخل المواجهة يقوم على تعظيم الاستفادة من الهجمات المستهدفة. على وجه الخصوص، هذه الهجمات بناء وظيفة موضوعية، وهذا هو الفرق بين عملية حل يسعى إلى تحقيق أقصى قدر من البيانات المدخلة من العلامة والعلامة المهاجم المطلوب الهدف الحقيقي، مع التقليل من الاختلاف بين البيانات المدخلة في تشابه معين. في مشكلة التصنيف في رؤية الكمبيوتر، وهو مقياس مشترك هو القاعدة L2 من ناقلات المدخلات. عموما، على مقربة من بعضها البعض بين عينات المدخلات وجود أقل مسافة L2. لذلك، لحساب العين البشرية هي مشابهة جدا، ولكن من المصنف جدا لإدخال البيانات المختلفة ممكنة.
التحقق من البحوث التي أجريت مؤخرا على الصندوق الاسود الرقمي ضد الهجرة من العينة، أن عينة من الممكن أيضا لتوليد المواجهة في ظروف الصندوق الأسود. وتشمل هذه التقنيات عينات توليد ضد نموذج معروف لمربع أبيض، ثم اختبارها على نموذج لتكون هجمات مجهولة.
عينة المواجهة الفعلية
لفهم أفضل لهذه الثغرات، هناك الكثير من العمل هو دراسة كيف يمكن للعالم المادي عينة من تأثير DNNS.
وقد أظهرت دراسات أخرى Kurakin من خلال كاميرا الهاتف الذكي لعينات تصنيف المطبوعة على الورق ضد، من المحتمل أن يكون أساء تصنيف. شريف الذي هاجم التدخل من خلال إضافة نظام التعرف على الوجه المواجهة في إطار نظارات إطار الوجه. يظهر عملهم في ظل ظروف حقيقية من الاستقرار النسبي، والتغيرات الصغيرة في الموقف، وتغيير زاوية الكاميرا أو المسافة، وتغيير الإضاءة، ويمكن أن يتم بنجاح الاعتداءات الجسدية. ومن المعلوم ساهمت عينة المواجهة الفعلية تفسيرا للاهتمام من بيئة مستقرة.
وقد أظهرت أبحاثنا مؤخرا "التعلم العميق نموذج الاعتداء الجسدي القوي" هجوم حقيقي على المصنف. الخطوة المنطقية التالية هي أن لدينا للهجوم عن طريق كاشف. خوارزميات الرؤية الحاسوبية لتحديد مشهد الكائن من المربع المحيط والتنبؤ مشيرا إلى موقع وفئة الكائن. مقارنة مع المصنف، كاشف ينتحل أكثر صعوبة، لأنهم يتعاملون مع الصورة بأكملها واستخدام المعلومات السياق التنبؤ (على سبيل المثال، توجه وموقف الكائن الهدف في المشهد).
YOLO كاشف هو الشعبية، متقدمة خوارزميات الوقت الحقيقي، وأظهرنا في التجارب التي المواجهة عينة المادية. على سبيل المثال لدينا على علامات مواقف حقيقية في شكل تدخل ملصقا. الصورة أدناه هو مثال لدينا نوع من التدخل المضادة.
نحن أيضا إجراء اختبار ديناميكية لاختبار الأداء للكشف عن طريق تسجيل مقطع فيديو. كما يمكن أن يرى من الفيديو، YOLO تقريبا جميع الأطر الشبكة لا يمكن التعرف على علامات التوقف. إذا كان المركبات الذاتية الحقيقية السفر على الطريق، ويمر مع ميزة المواجهة مغلقة أمام إشارات المرور، وانها لا ترى علامة التوقف، مما قد يؤدي إلى وقوع حادث في تقاطع. ولقد خلقنا بعد تدخل وزاوية تغييرات قوية - وهذا هو معظم المتغيرات المشهد من دون طيار المشتركة.
حتى أكثر إثارة للاهتمام هو ضد عينات YOLO الحقيقي التي تم إنشاؤها بواسطة كاشف يمكن أيضا معيار خداع أسرع شبكة R-CNN. يحتوي الفيديو لدينا نوع أجريت على أسرع R-CNN ضد عينة اختبار ديناميكية. لأن هذا هو الهجمات الصندوق الأسود في أسرع R-CNN، فإنه ليس ناجحا في حالة YOLO، الذي هو النتيجة المتوقعة. ونحن نعتقد أن زيادة تكنولوجيات أخرى (مثل التدريب المتكامل)، والهجوم الصندوق الاسود تكون أكثر كفاءة. وعلاوة على ذلك، ولا سيما لتحسين سرعة الهجوم R-CNN يمكن أن تولد نتيجة أفضل. نحن نكتب مقالا، لاستكشاف مزيد من التفاصيل عن هذه الهجمات. وفيما يلي مثال على صورة أسرع R-CNN لا يمكن التعرف على المحطة معلما.
في كلتا الحالتين (YOLO وأسرع R-CNN)، فقط عندما تكون علامات الوقوف قريبة جدا من الكاميرا من الكشف عن (حوالي 3 إلى 4 أقدام). في سيناريو حقيقي، هذه المسافة هي قريبة جدا من السيارة حتى لا تتخذ تدابير تصحيحية فعالة. ترقبوا رقتنا المقبلة، والذي يحتوي على مزيد من التفاصيل حول نتائج الخوارزمية والتدخل المادي متقدمة على كشف وجوه.
هجوم خوارزمية نظرة عامة
وتستند هذه الخوارزمية على الهجمات المصنفات العمل السابقة لدينا. في جوهرها، ونحن نستخدم طريقة الأمثل لتوليد عينة المواجهة. ومع ذلك، لدينا أثبتت التجربة التجريبية التي كشف تنتج قوية عينة المواجهة الفعلية بالمقارنة مع الحاجة المصنف خداع لمحاكاة البيئة الحقيقية المتغيرة بشكل اكبر. وهذا ممكن لأن كاشف يحتاج إلى أخذها في الاعتبار عند توقع المزيد من المعلومات السياقية. وتشمل الملامح الرئيسية القدرة على تحديد الخوارزميات في تسلسل محاكاة البيئة الحقيقية، فضلا عن القدرة على تحديد الترجمة ثبات. هذا هو اضطراب يجب أن تكون فعالة بغض النظر عن أي موقف يقع الكائن الهدف في مكان الحادث. منذ كائن متحرك بحرية في المشهد، اعتمادا على وجهة نظر مراقب، لا يتم الأمثل لهذه الحالة تدخل من المرجح أن تفشل عندما يتحرك جسم. لهذه المشكلة، ونحن نذهب للخروج من ورقة سوف تحتوي على معلومات أكثر تفصيلا حول الخوارزمية.
الدفاع محتمل
ونظرا لهذه العينات المادية والمواجهة الرقمية ضد عينات، وقد درس على نطاق واسع في وسائل الدفاع الممكنة. ومن بين هذه الأساليب، وهناك عدة أنواع من طريقة التدريب على القتال هي فعالة جدا. غودفلوو أول من اقترح استخدام التدريب على القتال وسيلة فعالة لتحسين DNNS متانة، وTramer وذلك توسيع نطاقه ليشمل تعلم القتال. وضع Madry من خلال التدريب المتكرر وعينات أخرى إلى الأمام أيضا ضد شبكة قوية. إلى التدريب على القتال، ونحن بحاجة إلى أكبر مواجهة مجموعات البيانات العينة. وبالإضافة إلى ذلك، تشير التدريب المتكامل أنه إذا هذه المواجهات عينات من نماذج مختلفة، لذلك يمكنك جعل الدفاع أكثر قوة. فوائد التدريب على القتال المتكاملة في تعزيز تنوع العينة ضد هذا النموذج يمكن البحث في كامل القتالية فضاء العينة. وبالمثل، هناك العديد من نموذج دفاع مختلفة، ولكن يشير إلى أن أي دفاع الطريقة التقليدية كرليني واغنر قوي، على الرغم من أن الهجوم على التكيف.
باختصار، من أجل العثور على أفضل دفاع استراتيجية دفاعية ضد هذه العينات، لدينا طريق طويل لنقطعه، ونحن سوف استكشاف بترقب هذا المجال مثيرة.
شبكة بير، لى فنغ جمعتها منظمة العفو الدولية تكنولوجيا مراجعة،: عبر
