الأنفس جي تقرير جديد

الترجمة: ثلاثة الحجر، شياو تشين، سلالة مينغ

[استعراض فاز جي الجديدة مع تطور GAN، وصورة واحدة وحدها تكون قادرة على توليد تلقائيا الوجه الرسوم المتحركة ليست صعبة. لكن في الآونة الأخيرة في GANimation جديدة رديت جيثب والساخنة، ولكن هذه التكنولوجيا إلى آفاق جديدة. GANimation الوجه التعبير بناء الأسلوب المستمر توليف تشريح الوجه البشري واحد (تشريحيا)، قادرة على تقديم الصورة في منطقة مستمرة، ويمكن التعامل مع صورة خلفية معقدة وظروف الإضاءة.

إذا كان يمكن أن تكون الصورة وحدها قادرة على توليد تلقائيا الوجه الرسوم المتحركة، فإنه سيتم فتح الباب أمام تطبيقات جديدة في مجالات أخرى ، بما في ذلك صناعة السينما والتصوير الفوتوغرافي، والأزياء، والتجارة الإلكترونية، وهلم جرا. مع شبكات الجيل والشبكات المواجهة الشعبية، وجعلت هذه المهمة تقدما كبيرا. مثل هيكل StarGAN ليس فقط قادرة على تجميع نظرة جديدة، ولكن أيضا لتغيير وجه سمات أخرى، مثل العمر ولون الشعر أو الجنس. وعلى الرغم من StarGAN تنوعا، ولكن يمكن فقط تغيير في جانب معين من خصائص سطح منفصلة، على سبيل المثال في مهام تعبيرات الوجه التوليف، البيانات تدريب مجموعة تجمع القوى الديموقراطية، فقط ثمانية من مجموعة البيانات تعبيرات الوجه التسمية الثنائية ( التسمية الثنائية)، هي حزينة ومحايدة، والغضب والاحتقار والاشمئزاز، والمفاجأة، ويخشى والفرح.

GANimation تهدف إلى إقامة نموذج الوجه الرسوم المتحركة الاصطناعية مع مستوى FACS الأداء ويلغي الحاجة للحصول على أي إشارات الوجه (الوجه التاريخي) في الميدان، وتوليد الهيكلي (تشريحيا علم) التعبير المستمر. لهذا الغرض، ونحن نستخدم مجموعة البيانات EmotioNet الذي يحتوي على مليون تعابير الوجه (استخدام منها 200،000) الصور. وبناء هيكل GAN، بشرط أن ناقلات ذات بعد واحد: يدل على وجود / غياب وحجم كل عملية أساسية. لدينا وسيلة غير خاضعة للرقابة من تدريب هذا الهيكل، فقط باستخدام الصورة أسترالي النشطة. من أجل تجنب تعبيرات مختلفة، تحدث ظاهرة التكرار عند نفس الشخص يتم تدريب صورة، يتم تقسيم المهمة إلى مرحلتين. أولا، نظرا لتدريب الصور، والنظر في ظروف AU أساس هيكل اتجاهين المعركة ويعرض صورة جديدة في التعبير المطلوب. الصورة الاصطناعية استعادة مظهره الأصلي، والتي يمكن مقارنتها مباشرة إلى الصورة المدخلات، وتقييم الخسائر اقتران توليد صور اقعية. وبالإضافة إلى ذلك، يذهب النظام أيضا وراء معظم التكنولوجيا المتقدمة، كما أنه يمكن معالجة الصور في المتغيرة باستمرار الظروف الخلفية والإضاءة.

وأخيرا، فإن تعبيرات الوجه بناء طريقة تركيب المستمر على هيكل قادر على تقديم صورة في منطقة مستمرة، ويمكن التعامل مع صورة خلفية معقدة وظروف الإضاءة. ومن غان بالمقارنة مع الطرق الأخرى القائمة، سواء كان ذلك مجديا في ولدت جودة الصورة من نتائج، هي مفيدة.

الشكل 1: صورة الوجه الرسوم المتحركة ولدت

دون رقيب التعلم + آليات الإنتباه

دعونا يعرف صورة مدخلات RGB كما

يتم التقاط هذه في أي تعابير الوجه. قبل تشغيل مجموعة من الوحدات N

يتم ترميز التعبير عن كل لفتة، حيث كل

وهو يمثل قيمة تطبيع بين 0 و 1، مما يدل على حجم العملية وحدة ن عشر. ومن الجدير بالذكر أنه نظرا لهذا التمثيل المستمر، يمكن أن يكون طبيعيا أقحم بين تعبيرات مختلفة، والتي يمكن أن تجعل مجموعة متنوعة من واقعية، على نحو سلس تعابير الوجه.

هدفنا هو أن نتعلم تعيين

، ويل

يتم تحويلها إلى الخلية المستهدفة على أساس عملية

الناتج صورة

، وهذا هو: نحن نريد لتقدير الخارطة:

الشكل 2. نظرة عامة على طريقة الصور اقعية لظروف توليد

يتكون الهيكل المقترح من وحدتين رئيسيتين: عودة الاهتمام واللون قناع مولد G ؛ فهو يستخدم لتقييم درجة صورة ولدت

تحقيق والتعبير التنظيم

من الناقد (الناقد) D .

لا يحتاج نظامنا الرقابة، وهذا هو، من دون نفس الشخص مع تعبيرات مختلفة من الصور، لا تفترض أن الصورة الهدف هو معروف.

مولد G

وحدة مولد

وهم مدربون على واقعية الصورة في تعبير الوجه المطلوب.

ومن العناصر الأساسية لنظامنا هو G فقط ركزت الصورة على تلك المناطق المسؤولة عن تركيب تعبير جديد والحفاظ على ما تبقى من عناصر الصورة مثل الشعر، والنظارات والقبعات والمجوهرات وهلم جرا لن تتأثر. وتحقيقا لهذه الغاية، فإننا تضمين آلية التركيز الباني.

FIG 3: مولد القائم على الاهتمام

إعطاء صورة المدخلات ومولد الوجه الهدف والظهر والمذكرة وقناع على كامل تحويل صورة ملونة RGB C. يتم إضافة اهتمام يعرف قناع كثافة كل بكسل لكل بكسل من الصورة الأصلية لتحديد نطاق تقديم الصورة النهائية.

على وجه التحديد، ومولد ليس العودة إلى الصورة بأكملها، ولكن اثنين من قناع الإخراج، قناع اللون C وقناع الاهتمام A. ويمكن التعبير عن الصورة النهائية على النحو التالي:

تقييم تجريبي

أولا، المكونات الرئيسية للاختبار، أي واحد ومتعددة تحرير AU. ثم التكنولوجيا الحالية تتم مقارنة نموذجنا ومنفصلة العواطف تحرير المهام، وإثبات قدرتنا على نموذج مجال معالجة الصور، يمكنك إنشاء الكثير من القدرة على تحويل تشريح الوجه. وأخيرا، نحن مناقشة أوجه القصور والفشل للنموذج.

ومن الجدير بالذكر أنه في بعض التجارب، لا يتم اقتصاص صورة الوجه المدخلات. في هذه الحالة، علينا أولا استخدام كاشف 2 لتحديد مكان وقطع الوجه، واستخدام (1) التعبير عن تحويل ليتم تطبيقها على المنطقة ذات الصلة. وأخيرا، فإن ولدت الوجه الخلفي صورة في مواقعها الأصلية في الصورة الأصلية. آلية الانتباه (آلية الانتباه) لضمان الانتقال السلس بين الوجه قطع من الصورة معالجتها وتحويلها الصورة الأصلية.

رأيت في وقت لاحق من هذا الرقم، مقارنة مع الطراز السابق، وتعامل هذه الخطوات الثلاث يمكن الحصول على دقة وضوح الصورة أعلى (انظر النص الوصلة في النهاية).

تحرير وسائل عمل واحد: 4 FIG.

كما يزيد من قوة (0.33)، يتم تنشيط عدد من حدة الإجراءات المحددة. FIG الصف الأول يتوافق مع الحالة التي تنطبق على وحدة العملية الصفر كثافة، الصورة الأصلية يمكن أن تتولد بشكل صحيح في جميع الحالات.

الشكل 5: الاهتمام نموذج

تفاصيل وسيطة قناع التركيز A (الصف الأول) وقناع اللون C (الصف الثاني). بيت القصيد من الصورة هو نتيجة التعبير عن طريق التخليق. لاحظ أن قناع منطقة قتامة تمثل مساحة الصورة مع درجة عالية من الترابط بين كل وحدة عمل معينة. احتفظت المناطق أخف من الصورة الأصلية.

الشكل 6: بالمقارنة مع معظم التكنولوجيا المتقدمة من نوعي

تم تطبيق يظهر في الصورة صورة الوجه تجميع النتائج DIAT، CycleGAN، IcGAN، StarGAN ونهجنا. كما يمكن أن يرى، حلولنا بين دقة البصرية والقرار المكانية توفر أفضل توازن. StarGAN بعض نتائج استخدام كان هناك درجة معينة من طمس.

الرقم 7: التوزيع المكاني للعينة التعبير الوجه

أن معلمات من قبل YG متجه الوحدة متحرك، صورة حقيقية يمكن توليفها من مجموعة متنوعة من الصور صورة لنفس المصدر.

الرقم 8: التقييم النوعي من الصور الطبيعية

أعلاه: يتم إعطاء صورة (يمين) مأخوذة من الصورة الأصلية (يسار) وفيلم "قراصنة الكاريبي" واستخدامه في نهجنا الذي تم إنشاؤه. أدناه: بطريقة مماثلة، وذلك باستخدام إطار الصورة (أقصى اليسار المربع الأخضر) تجميع الصور الجديدة من خمسة تعبيرات مختلفة من "لعبة العروش" المسلسلات التلفزيونية.

الرقم 9: النجاح والفشل

FIG تمثل على التوالي الصورة المصدر السنة الدولية للأرز والهدف Iyg، وأقنعة اللون C و A. قناع FIG الاهتمام هو في حالة متطرفة من قصص النجاح. هذا الرقم هو عدد من الإخفاقات.

يشير عنوان

الرسالة: الشبكي: //arxiv.org/abs/1807.09251

الرمز: HTTP: //www.albertpumarola.com/research/GANimation/

فاز جي الجديد AI WORLD 2018 تذاكر الجمعية العامة] [الطائر المبكر للبيع!

سيتم عقد جديد جي وون 20 سبتمبر AI WORLD 2018 مؤتمر في مركز المؤتمرات الوطني ببكين، دعا تعلم الآلة العراب، مع التركيز على أستاذ آلة الاستخبارات في جامعة كارنيجي ميلون توم ميتشل، Maike سي نمر مرقس، تشو تشى هوا، وتشنغ تاو كبير، تشن Yiran منظمة العفو الدولية وقادة آخرين ومصير البشرية.

موقع الجمعية العامة الرسمي:

الآن وحتى 19 أغسطس، جي الأنفس الجديد رقم طبعة محدودة من تذاكر وقت مبكر الطيور اتصال وثيق مع الشركة الرائدة عالميا في منظمة العفو الدولية، والذكاء الاصطناعي، شاهد الصناعة العالمية على قدم وساق.

• النشطة تذاكر الصف تصل:

• تذكرة خط نشط رمز ثنائي الأبعاد: