مذكرة لى فنغ شبكة AI تقنية الاستعراضي: تتم كتابة هذه المقالة للمواد حصرية مدرب أرنب شبكة لى فنغ AI تقنية الاستعراضي، وأعيد طبعه دون إذن محظور.

الجيل الزوار نموذج هناك نوعان من الأشياء التي نوقشت على نطاق واسع، واحدة منها تقوم على أسلوب نمط GAN نفيديا توليد حقيقية كافية مواجهة HD صور (1024x1024) ، هو آخر قطعة من الورق DeepFakes: تهديد جديد لوجه الاعتراف؟ تقييم وكشف يشير DeepFakes توليد كاذبة الوجه بما فيه الكفاية لخداع أكبر عدد من أكثر الأنظمة المتطورة التعرف على الوجه والكشف. من خلال هذين الأمرين، ولدت في نهاية عام 2017، وبعد ذلك تم حظر منتدى رديت من deepfakes إعادة إدخال مجالنا من الرؤية، ثم بعد ذلك في السنة، deepfakes الآن حققنا أي تقدم؟

بالإضافة إلى Deepfakes، موضوع ساخن آخر هو مسألة الهبوط دراسة معمقة حول المشروع.

وتأمل هذه المادة لإطلاق النسخة الأولى من تطور الآن، والتفكير في الهبوط والصادرة عن deepfakes بين التعلم العميق من ورقة، لا يوجد فرق.

ما هو Deepfakes، ما هو المبدأ؟

قبل إعادة التفكير Deepfakes، فإن الجواب على ذلك ممكنا في Deepfakes الاتصال الأولي قد يكون مشكلة، لماذا هذا التصميم، بدلا من استخدام دورة GAN؟

انظر FIG واحد (الشكل 1):

هذه الصورة توضح دورة GAN تحقيق تأثير على نفس مجموعة البيانات (ترامب، قفص)، حيث الأول والصف الثالث كمدخل، والعمود الثاني والناتج الرابع المقابلة.

على سبيل المثال الناجح، لتوليد صورة واضحة، التحويل تحويل العالمي (Deepfakes هو تحويل جزئي، التي من شأنها أن أقول لاحقا)، ومن ثم المزيد من المشاكل للمثال فشل:

نقطة هامة الأولى هي أن التعبير لا يمكن أن تكون 1-1، والآخر هو بكسل مختلطة يبدو بلا معنى.

بالنسبة للنقطة الثانية، سيكون هناك في Deepfakes الواقع، Deepfakes كمشروع لديها بعض الوسائل للتعامل مع هذا، ولكن النقطة الأولى هو خطأ فادح، إذا كان التعبير جو من المراسلات لا يمكن ضمانه، ثم الإخراج هو أيضا معنى واضح.

أما لماذا يسبب هذا السبب، وبعد DeepFakes مقدمة سيعطي شرحي.

نحن نعلم CycleGAN هنا القيود، CycleGAN ضمان التحول في دلالات، ولكن لا توجد طريقة للتأكد من بعض التفاصيل، والعرض القادم للDeepfakes الهيكل الأولي.

أولا، DeepFakes العمارة الإجمالية دينويسي autoencoder، أدلى صاحب فرضية: وجه أي شخص، بعد أفيني تحويل WA، WA وهو ما يعادل أي من وجه، وجها وهذا هو، أي التشويه A تأتي، لذلك إذا كانت الشبكة يمكن أن تتعلم من WA دي الإشاعة استعادة ل، ثم الشبكة سوف تكون قادرة على تحويل أي من وجها لA.

في تصميم هيكل الشبكة، يجب أن الكتاب تنفق الكثير من الفكر. في التشفير الذي يستخدم ميزات تم استخراج طبقة وصلة كاملة كسر قبل الإلتواء في العلاقة المكانية للطبقة، هي حتى يعمل بكامل طاقته ما بين كل بكسل، وهيكل العاملين في النظر فك PixelShuffler صحيح أيضا، في ، المستخدم لديه لمعرفة كاد، إذا تم حذف هذه الهياكل، فإن نموذج تتحول إلى AutoEncoder، والحصول على النتيجة المرجوة.

الحصة الإجمالية شبكة التشفير، مقسوما بهدفين فك الترميز هو أن نتعلم المزيد من الميزات وفيرة الوجه، والناس مختلفة ليتم تشفيرها على نفس الوجه مساحة خفية، ثم من خلال مختلف فك المختلفة المستخدمة طريقة "إعادة الإعمار" العودة.

صور من

لكن المثير للاهتمام، Zhayi محة، كل من الافتراضات والتصاميم هي بارعة، ولكن لم يتم حتى استخدمت تصميم هذا النموذج في نهاية عام 2017 في بعض المناطق المشتركة في إعدادات CV، مثل هيكل المتبقية، وأنه حتى طبقة القاعدة ليست تستخدم لقياس الصورة ولا لكن ، اقترحت الأدب أن القاعدة المتبقية، وظيفة يمكن كخسارة السطح المنحني على نحو سلس، وتغييرات لاحقة في هذا تحسنت ثلاثة التقارب يساعد نموذج.

DeepFakes الأثر الناتج الأصلي كما هو مبين:

كما العمود الأول والصورة الرابعة، وكانت النتيجة إعادة الإعمار الثانية كما الخامس والثالث والسادس زرع وجه نتيجة لذلك، يمكن ملاحظتها، وقد تم الاحتفاظ deepfake جوه في تحويل الأصلي التفاصيل التعبير، ولكن أفضل من نتائج ولدت GAN إلى طمس.

الأسباب

1. للحصول على نتيجة CycleGAN، يمكننا تحليل خسارتها، هو مقياس لمدى CycleGAN A التحويل إلى B؟ نعم، ضد الخسائر. سواء KL الاختلاف، JS الاختلاف ...... هو مقياس المسافة بين التوزيعات اثنين. معرفة احتمال الأساسي نعرف أنه عندما X، Y ومطابق الموزعة، نشير إلى X، Y لها نفس الخصائص على احتمال مثل EX = EY، لكن لا يمكن الحصول X = Y، والذي يوضح GAN لديه قوية جدا في "الإبداع". وفي الوقت نفسه، عندما كمية البيانات ليست كافية، والتدريب GAN إشكالية (لأن البيانات لا يمكن أن تكون ممثلة بشكل جيد التوزيع، وعرضة للانهيار على توليد حالة خاصة). في مجموعة البيانات، جنبا وجه قفص وجود بيانات أقل، وتفوق على العكس من ذلك، عندما يكون من فشل في الأساس جوه الجانب رابحة المحولة. A الصف الثالث في FIG، الأول والثاني.

تنطبق نفس المشكلة في عملية حصان وحمار وحشي تحويل cyclegan، لوحظ أيضا.

هذه المشاكل، في استخدام MSE وMAE خطأ بكسل مثل الهدف الأمثل يمكن التخفيف.

2. DeepFakes ليست مثالية، هو واحد لأن استخدام MAE بمثابة الخسارة يعني، يمكن أن يسبب صورة ضبابية. ثانيا، WA = أي وجه، وهذا افتراض غير محدودة.

أولا، من الذكور وجها لوجه إمرأة إلى B، من الإناث الوجه النسائي الوجه B إلى A بداهة الصعب.

ثانيا، يمكن أن القيود المفروضة على هذا الافتراض فقط تحويل جزء من ملامح الوجه المحيطة بها، ووجه الانحياز أم لا، سوف المعلمات تحويل تآلفي يؤثر على النتائج. DeepFakes نسخة محسنة من كل يتوافق المكونات إلى نموذج مختلف من المعلمات تحويل تآلفي، وقضى الكثير من وجهه جهد ما قبل الإنسان. متطلبات cyclegan لمرحلة ما قبل المعالجة ليست عالية جدا. فذلك لأن فقط في التحول المحلي، ويولد ثابت حجم الصورة من النموذج الأصلي في 64x64، وذلك بعد توليد حتما عليك القيام به تغيير حجم، أصلا وجه واضح مزيد اضح.

النقطة الثالثة، والتي هي تماما القدرة على فهم البيانات. في عصر المستشري ميتو، إذا نظر فقط ميزات البيانات، وبعض الممثلات وجه قسم البيانات ملامح تميز منخفضة للغاية، مما أدى إلى نتائج غير مرضية.

تحسن

بعد تحليل المشكلة، هو أكثر مشكلة هامة من السهل أن حل مشكلة التعريف.

لمشاكل الوضوح الناتج الصورة لأن متوسط من MAE، ونحن يمكن حلها عن طريق إدخال GAN، والكتاب الحالي إدخال اثنين من الممي في ، المقابلة للصورة AB، كما cycleGAN، وحتى إدخال متسقة دورة خسارة، بينما في البرنامج الرسمي، المؤلف، كما هو الحال في pix2pix، كما هو الحال في إدخال conditionGAN، بالإضافة إلى التمييز بين الصواب والخطأ، ولكن أيضا لتحديد ما إذا كان الاقتران.

في تجاربي، وقد تقرر أن deepfakes دينويسي autoencoder هو نوع واحد من التفكير، لذلك قدمت للتو الممي، لمزيد من التفاصيل صورة التكميلية ولدت، بغض النظر عن الفرق بين A و B. مثل ريال الآخرين ودينويسي نفس المهمة. النتائج النهائية متشابهة بصريا، ويمكن للمرء أن حفظ بعض المعلمات، وثانيا، إذا كان مقدار أي واحد من ألف والبيانات B ليس، في الواقع، وجعل التدريب أكثر استقرارا. من معين من أشار، قان على الرغم من أنه سيجعل تصبح الصورة واضحة، ولكن لا تضمن نفس التفاصيل والأعمال الفنية، التي تنطوي على اثنين من السيناريوهات. إيلاء المزيد من الاهتمام إلى المؤثرات البصرية هو مزيد من الاهتمام بالتفاصيل المستعادة، على ما يبدو Deepfakes السابق، وبالتالي فإن إدخال المواجهة، غير مقبول.

عندما ترون فإن النتائج لا تحصل على أكثر من النتائج GAN GAN وأكثر وضوحا، ولكن أيضا مشكلة أخرى، عندما لا لحية، وتدريب عينة B لديه لحية، GAN سوف الزحف إلى B مع لحية مميزة، في عندما محول B، ستضاف تلقائيا لحية. إذا إما AB مع النظارات، والآخر لم يكن كذلك، ثم تأثير تحويل بالعكس.

لماذا أذكر هذا لأنه على الرغم فهم الحس السليم، GAN هذا "مبالغة" هذا ليس صحيحا، ولكن في الواقع، ونحن قد تبدأ كذلك من البشر، إلى الإدراك البشري، هو كيف نميز A غير A؟

بسيطة جدا، مقارنة مع الحواس الخمس، ما إذا كان الشخص لديه لحية، والنظارات، والشعر هو أيضا مهم، في الواقع، ويضم من واحد، على معدل الاعتراف الناس ليست عالية. إذا كانت الصور الجسم كله، وضعية الجسم مهم أيضا، حتى إذا كان على مدار السنة ولتبين للناس صورة رجل ملتح، هل رأيت صورته الملتحي، لكنها لا تشعر انتهكت و. حتى GAN جلب البيانات من السمة الرئيسية، مما أدى في أكثر من لحيته، في الواقع، ليست مشكلة كبيرة، وحتى أكثر أهمية هو حل تحويل الفيديو، وهذه لحية مميزة فقدت فجأة في إطار معين، والإحساس الناتج عن المخالفة وعلى أن تكون أكثر أثقل.

لحل هذه المشكلة، وDeepFakes تحديث مسؤول، وقد اعتمدت آلية قناع. قناع شبكة الجيل والتشفير شبكة وحدة فك الترميز حصة كل الطبقات الأخرى باستثناء الطبقة الأخيرة، وطبقة أخيرة لتوليد مجموعة من القيم من قناع 0 ~ 1، ويشار إلى صورة فرضية مولد G، الصورة الأصلية هي S، ثم الاستخدام النهائي لل الصورة ل

بهذه الطريقة، هل تعلم لجعل جزء نموذج للصورة التي تريد تحويلها.

صور من صفحة المشروع

بعض الحديث عن العمارة متعددة GAN، مرة واحدة كانت لدي شكوك، والكثير من تحويل صورة أو صورة تحرير حاليا ولماذا أكثر هو StandardGAN الخسارة، في حين أن آخرين بغض النظر عن النظرية والنتائج هي GAN جميلة (مثل WGAN -GP، ساجان)، ولكن نادرا ما تستخدم. بعد الحصول على بعض المناقشة ونتيجة لذلك، GAN تحقيق هذه الخلافات، فمن الأفضل في ورقة نشرت رسما بيانيا لطيفة. وكانت النتائج صامتة، ولكن واقعية جدا.

قد يكون هذا الواقع أسباب التالية:

1. أنواع مختلفة من المهام، الموجودة حاليا النتائج GAN مذهلة، ومعظمها في التوزيع ولدت صور عشوائية، وتحويل الصورة تحسنا في بنية متعددة التشفير فك، وأكثر الأخير من التشفير سابق لترميز الصورة، إضافية معلومات مسبقة قد يقلل من الاعتماد على بنية المولد.

تقييم 2.GAN نفسها حدودا.

وأشار أصدقاء الكشافة من عدم وجود مؤشر ونوعين من التقييم ااا في و ، GAN GAN المؤلف من طريقة تقييم جديد اقترحت أيضا، ولكن لم يكن سبب رد فعل الكثير في معرفة تقريبا.

في رأيي، وهو GAN مختلفة بالتأكيد هناك فرق، ولكن على الأقل في الصورة لا تنطبق تأثيرات بصرية لغير GAN وليس آخر.

في الكاتب يقدم آلية الاهتمام الذاتي، وهي ساجان، والاهتمام الذاتي لعدد من طبقات من ساجان، والتحسينات في الرواية الرسمية، لا يدخل هذا، وأنا اتبع ساجان هيكل، مضيفا النفس للانتباه، وتوليد النتائج التي تم التوصل التالية:

مرئي، بالمقارنة مع الأخذ الاهتمام بالنفس وSpectralNorm جلب الحسابية إضافية، ساجان لم تجلب فوائد كافية لDeepfakes.

في دراسة كاملة للتأثير على تعريف وظيفة الخسارة، ولكن إلى الحديث عن عامل آخر يؤثر على وضوح وحجم المشكلة.

حجم المشكلة بسيط جدا، وحتى الآن مولد صورة نموذج 1024 قادر على توليد، عالية الوضوح وجها ليست مشكلة. ولكن هنا نريد أن نفكر في المشكلة، DeepFakes حقا بحاجة لتوليد الناس وجه تشانغ Gaoqing؟ أو هل تحتاج؟

عندما المبينة المبادئ السالفة الذكر Deepfakes ذكرنا، فمن تمت إزالة الأفضل عدم مرتبطة ارتباطا كاملا طبقة، ثم من الوقت لزيادة حجم الصورة، سيؤدي حتما إلى معلمة طبقات الزيادة مرتبطة ارتباطا كاملا، المستخدم يسبب تأخير في الهجرة مجموعة البيانات وقتهم .

نحن بحاجة إلى التعرف على حجم الدقيق للتأثير على سيناريوهات الحق، والسوق يمكن تقسيمها إلى مشاهد زرع وجه في DeepFakes اثنين، الأول هو كما كان من قبل، "وفقا لزيا عسكريا"، والذي هو صورة واحدة من زرع وجه، وآخر أنواع الصور الفيديو الاصطناعية.

ووالوجه متعددة الأغلبية جزء سابق من الصورة، ثم إنتاج عالية الجودة الإنسان الوجه هو المهم. هذا الأخير، والمزيد من الناس ظهرت نصف طول الصورة، وجه أثر قليلا على تصور هذا القرار، في الوقت الذي صور المنتجات عالية الدقة، سوف تحتاج إلى تغيير دقة منخفضة، وسوف يؤدي أيضا إلى فقدان التفاصيل.

تأثير نوعية البيانات على DeepFake

في استخراج البيانات والتعلم الآلي، وعلى وجه الخصوص تم التأكيد كلمة واحدة، أي القمامة في القمامة خارج. يحدد الحد الأعلى للجودة نموذج البيانات، والتي هي سمة من سمات ينعكس بوضوح في DeepFake.

والافتراض الأساسي هو أن DeepFake المذكورة سابقا نعتقد التفاف الوجه = أي وجه، وبالتالي استخدام هيكل denoiseGAN، ثم ليس من الصعب أن نتصور، بالإضافة إلى استخدام تحويل تآلفي جعل الوجه الخارجي الضوضاء، وهناك وسائل أخرى؟ الجواب هو نعم. في ، واستخدم القائمون على الدراسة probrandomcolor_match، تبادل الحسابي والتباين من اثنين من مختلف الألوان وجهه لجعل الضوضاء، ويطمس الحركة، والضبابية إلى تلف الوجه الأصلي، في حين يمكن أيضا أن ينظر إلى هذين النهجين باعتباره تعزيز سبل البيانات.

وبالإضافة إلى ذلك، من أجل جعل التدريب على نموذج أفضل، وذلك باستخدام (كان محاذاة العين) العين تدرك، وفقدان حافة وقناع الآليات المذكورة أعلاه، تغييرات على Dlib الأصلي مسؤول، والناس تغير MTCNN المواقع الوجه وتحديد النقاط الرئيسية، وكذلك المواءمة الناس وجها وغيرها من العمليات، وأفضل، وبيانات أكثر مرونة. لأن Dlib MTCNN أداء أسوأ مما كانت عليه في حالة من الوجوه الجانبية ومحمية.

ويشمل ليس فقط البيانات لتجهيزها البيانات اضطراب، بما في ذلك معالجة بعد ذلك.

بعد الحصول على مخرجات النموذج، تحتاج إلى تعيين الظهر، ثم الحاجة إلى وسائل استخدام للاندماج الصورة، مثل التمويه التمويه، وقد تم نشر بواسون انصهار هذه معالجة الصور التقليدية.

وليس من الصعب معرفة، سواء كان أو المشاريع الرسمية، وتحسين على بعد الطبعة الأولى من DeepFakes، على غرار طبقة تأخذ فقط وسيلة مشتركة للمشهد NormLayer وResBlock، الخ، بدلا من إعادة اختراع هيكل شبكة أكثر قوة أو قضاء بعض من طبقة والنظريات حول طويل القامة، ولكن البيانات على التدخل وإعادة النظر في التركيز على مشكلة النمذجة.

الفرق بين الورق والهندسة

في مراجعة كاملة DeepFakes عملية التنمية، وليس من الصعب الحصول على بعض الأفكار لفارق التوقيت، ونحن عادة كتابة أوراق. الميزة الواضحة الأولى في ورقة، ونحن ندفع ويمكن إجراء المزيد من الاهتمام من الورق. على سبيل المثال، إذا كان اتجاه ورقة العمل، نظرية جميلة. على سبيل المثال، بعد أن علمت عمق النار، وكانوا يستخدمون مجموعة متنوعة من المجالات التعلم العميق، وبعض كسر، وبعض فقط لجذب العين. وبعد GAN النار، وتدفقوا إلى GAN. في المشروع، إلى حد كبير مهجور هذا العصرية جيدة موقف نموذج == تأثير، ونعرف المشكلة تقريبا في مناقشة أكثر استفاضة لهذه القضية جرا. في يعكس أعلاه أيضا ساجان مقارنة LSGAN الاستخدام، على DeepFakes لم تجلب فوائد كافية.

النقطة الثانية هي أن بعض إجراءات لفهم الأوراق. وهناك الكثير من الأشياء، مثل اختيار بعض العثرات الإحصائية على النتائج التجريبية، أو عرض النتائج، وسوف يسبب الارتباك للقراء. على سبيل المثال، حتى BigGAN هذا المستوى سيكون له شبكة من الناتج معنى، والباقي من غير المرجح GAN أن يكون مثل جميع الأوراق تظهر أقل استقرارا. وتطبيقات الانترنت في بعض الأحيان أكثر حساسية للأخطاء، ورقة على خلاف، مثل فشل إخفاء عينة من على خط المرمى. وبطبيعة الحال، ووضع الأمور تحتاج إلى عملية، إذا صارمة جدا، وأن العديد من الأوراق يمكن حظر التمويل الاتحادي.

ولكن الأثر الأكبر على بيانات النموذج، مبدأ GIGO نعلم جميعا، ولكن لأننا نقوم أوراق اختبار الكتابة على مجموعات البيانات العامة، ومجموعات البيانات العامة تميل إلى أن تكون أكثر نظافة، والعادات time'd على الأرجح ننسى تجاهلها. مرة واحدة عندما كان بند أو البنود الشخصية للتجربة، لذلك تحتاج إلى تنقية البيانات جمع أو البيانات، يمكن أن تتصور طعم لها. 70 من الوقت والتعامل مع البيانات نفسها، وليس مثيرا للقلق.

في ورقة ، يقارن العديد من تأثير زيادة البيانات المشتركة على أداء نموذج. مرئي، وذلك باستخدام مجموعة بيانات العام على برامج معالجة البيانات المختلفة سيكون لها أيضا تأثير على أداء نموذج، ولكن فقط قبل معالجة البيانات من الصعب على المواد المنشورة، وسائل جديدة إلا إذا جعلت هذا تخبط هذا تأثير مذهل.

وكذلك فهم من الساحة التجارية، وهذا هو أيضا كثيرا ما سمعت، ولكن الوافدين الجدد أن يتساءل، ما هو المقصود من فهم المشهد الأعمال؟ إذ يشير إلى ما سبق، أعتقد إطار واحد من فيديو وأطلقوا النار القدح حجم الوجه حول كيفية المقترحة افتراض أكثر مناسبة فيما يتعلق عوائق تؤثر على نظرة الناس لل"وجه" وهويتهم، وهو التفكير في السيناريوهات. فقط من خلال فهم سيناريوهات الأعمال، من أجل جعل بنية نموذج المناسبة، قبل وبعد المعالجة للبيانات. مثل الحاجة للقيام أول النقطة الأساسية هي الانحياز في بعض المشاهد، كما أنها لهذا السبب. بشكل عام، ديب التعلم من إمكانات كبيرة، ولكن فقط إذا ما استخدمت في المكان المناسب.

نقطة أخرى، بالمقارنة مع النصوص مفتوحة المصدر من تدريب الأوراق، إذا كان هناك أكثر نضجا المكتبات الصناعية، هي أكثر قيمة التعلم. لأنه في المشروع، عندما يكون حجم البيانات يصل إلى مستوى معين، في بيئة موزعة، لتحقيق بعض النماذج هناك مجموعة متنوعة من المتغيرات. مثل بطاقات عبر المذكورة في تزامن BN. يمكن للطلاب المهتمين قراءة بعض الأوراق يحركها الهندسة جزئية، مثل مقال يوتيوب نظام التوصية، مثل تقنية الملصقات الذكية مماثلة لوبان، مجموعة جمال علي. على الرغم من أن "إنشاء" ملصق، ولكن في الواقع GAN هي مجرد واحدة من المكونات، ووضع ذكي جدا هذا يشبه صورة توليد هذه المسألة لا تزال مربع أسود محل المشكلة Seq2Seq أفضل من الرقابة والتدخل.

بعد الكلمات

على تمييز من الأوراق والمشاريع أعلاه، ونحن قد شائعة في العديد من المناسبات، وبعض استنتاج واضح، ولكن اذا نظرت حولك رجل يمسك نقطة لنسأل، في كثير من الأحيان لا أقول شيئا. ثم DeepFakes هذه المقالة رحلة التنمية، بالإضافة إلى رأي شخصي، عندما قمنا بتحليل يمكن تحليل المشكلة مسبقا هذه من تلك الجوانب والتحسينات.

أما لماذا وDeepFakes الانتخابات، على الرغم من أن أي مشروع واسع النطاق ليست كذلك، ولكن DeepFakes بدأت الخروج إلى نزهة على التطبيق، بدلا من التركيز على تطوير السيناريو، الموافق تفاصيل التصميم DeepFakes والنظر، وأخشى، هي بعض من المشاريع لصالح، لا يزال هناك قيمة أ.

إشارة

https://arxiv.org/pdf/1812.04948.pdf

https://arxiv.org/pdf/1812.08685.pdf

https://zhuanlan.zhihu.com/p/34042498

https://github.com/shaoanlu/faceswap-GAN

https://zhuanlan.zhihu.com/p/54146307

https://zhuanlan.zhihu.com/p/54213305

https://www.zhihu.com/question/304599202/answer/546354846

https://zhuanlan.zhihu.com/p/51870052

https://zhuanlan.zhihu.com/p/40496177