الأنفس جي تقرير جديد

تقديم صورة، تحسين الصورة، واستعادة الصور القديمة هو موضوع ساخن في رؤية الكمبيوتر، ومع ذلك، القليل من البحث جيدا يدرك مهام متعددة مع نموذج.

مؤخرا، صدر المستعمل جيثب جانسون انتيتش يسمى DeOldify المشروع، وهو تلوين الصور وإصلاح للقطعة أثرية قديمة.

العنوان: الشبكي: //github.com/jantic/DeOldify

دعونا ننظر أولا إلى النتائج:

ماريا أندرسون كما الجنية فلور دي فارين ويوبوف Rabtsova كما صفحتها في باليه "الجمال النائم" في مسرح الامبراطوري، سانت بطرسبرغ، روسيا، 1890.

امرأة الاسترخاء في غرف معيشة لها (1920، السويد)

طلاب الطب تشكل مع جيفة حول 1890

سيرفر في هاواي، 1890

المولوية الحصان، 1898

الداخلية ميلر والإسكافي الصودا نافورة، 1899

باريس في 1880s

ادنبره من السماء في 1920s

(اضغط على الصورة للمزيد من النتائج تصل إلى رؤية نهاية المقال)

التفاصيل الفنية

وهو نموذج يستند إلى عمق التعلم. على وجه التحديد، والجمع بين الأساليب التالية:

• الذات الاهتمام لتوليد المواجهة الشبكة (Https://arxiv.org/abs/1805.08318). الطيف بالإضافة إلى مولد هو المدربين قبل UNET الخارج، لم يكن لدي سوى القليل من التعديل، فقد موحدة (التطبيع الطيفي) والاهتمام الذاتي (الاهتمام الذاتي). في البداية حاولت تحقيق نسخة اسرشتاين GAN، لكنها لم تنجح، ثم انتقل إلى هذا الإصدار ما يرام. أنا مثل نظرية اسرشتاين GAN، ولكن في واقع الامر لم ينجح، لذلك أنا أحب GANS-الاهتمام الذاتي.

• إلهام من هيكل التدريب التقدمي زراعة GANS (Https://arxiv.org/abs/1710.10196). ولكن ليست هي نفسها بالضبط، والفرق الرئيسي هو رقم الإصدار من طبقات لا يزال هو نفسه - تغيير فقط تدريجيا حجم المدخلات وضبط معدل التعلم من أجل ضمان حجم تحويل ناجح. النتائج النهائية هي في الأساس نفسه - تدريب أسرع وأكثر استقرارا، وأفضل التعميم.

• اثنين من الوقت النطاق تحديث القاعدة (Https://arxiv.org/abs/1706.08500). بل هو أيضا في غاية البساطة، وهو واحد من التكرار الناقد مولد / الناقد ومعدل التعليم العالي.

• مولد الخسارة وهو يتألف من جزأين: جزء واحد يستند إلى حد كبير VGG16 إدراكي الخسارة (أو ميزة الخسارة)، بحيث كبير الانحراف فقط إنشاء نموذج لنسخ صورة الإدخال. الجزء الثاني هو النتيجة فقدان الناقد. لالغريب الذي، وفقدان الإدراكي وحده لا يكفي لتحقيق نتائج جيدة. وغالبا ما يتم تشجيع فقط حفنة من بني / أخضر / أزرق، أساسا انها مجرد الغش في الاختبارات، والشبكة العصبية جيدة جدا في القيام بذلك! القضية الأساسية هنا بحاجة إلى أن ندرك أن، GAN تعلم فعلا وظيفة الخسائر والتي بالنسبة لنا في آلة التعلم في السعي لتحقيق المثل الأعلى هو في الحقيقة خطوة كبيرة. بطبيعة الحال، عندما كنت وضعت شيئا من قبل جهة مرمزة لتعلم الآلة، وعادة ما تحصل على نتائج أفضل. هذا المشروع هو واحد من هذا القبيل.

مكان رائع هذا النموذج هو أن لديها مجموعة واسعة من تعديل صورة مفيد جدا، وينبغي أن تكون قادرة على القيام بذلك بشكل جيد. ومن الأمثلة على ذلك نتيجة للنموذج المذكور الملونة، ولكن هذه ليست سوى جزء من خط الأنابيب، ونفس النموذج يمكن وضع المزيد من المهام.

يمكنني استخدام هذا النموذج لتطوير المهمة التالية هي إصلاح الصور القديمة لجعلها تبدو أفضل، لذلك مشروعي القادم "Defade" نموذج . لقد فعلت الجهد الأولي، وأنا أكتب هذا النموذج هو بالفعل في المراحل الأولى من التدريب. أساسا، انها مجرد نفس التدريب نموذج الصورة التي أعيد بناؤها، وذلك باستخدام مبالغ فيه تعديل التباين / سطوع لتعزيز صورة، وصور باهتة والتناظرية / صور سيئة القديمة التي يتم التقاطها باستخدام الجهاز. رأيت بعض النتائج الواعدة:

كيفية بدء هذا المشروع

هذه هي النقاط الرئيسية لهذا المشروع - أريد أن جعل مع GAN الصور القديمة تبدو أفضل، والأهم من ذلك، حتى أن المشروع هو مفيد.

وبنيت مكتبة Fast.AI هذا المشروع. للأسف، وذلك باستخدام النسخة القديمة، وأنا لم ترقية إلى الإصدار الجديد. ولذلك، فإن الشرط الأساسي هو:

• الإصدارات القديمة من مكتبة Fast.AI : HTTPS: //github.com/jantic/fastai

• Fast.AI القائمة تبعيات : لدينا requirements.txt مريحة وenvironment.yml

• Pytorch 0.4.1 (spectral_norm المطلوبة، وبالتالي تحتاج إلى أحدث إصدار مستقر).

• Jupyter مختبر

• Tensorboard (أي تركيب Tensorflow) وTensorboardX (https://github.com/lanpa/tensorboardX). وتجدر الإشارة إلى أنه، افتراضيا، وسوف تكون مكتوبة صور التقدم لكل 200 التكرار Tensorboard، بحيث يمكنك بسهولة عرض يتم تنفيذ العملية المستمرة للنموذج.

• رسومات سمين . كنت غيفورسي 1080TI (11GB)، نريد حقا أن يكون أكثر من 11 غيغابايت من الذاكرة. UNET والناقد كبيرة جدا، ولكن أفضل كلما زاد تأثير.

بالنسبة لأولئك الذين يرغبون في بدء صورتها على الفور تم تحويله الناس: ...... حسنا، أنت في حاجة إلى الانتظار بالنسبة لي لتحميل الأوزان المدربين قبل. مرة واحدة متاح، ويمكن الرجوع إليها في دفتر التصور. وسوف تستخدم ColorizationVisualization.ipynb. ما عليك سوى تحميل ملفي مولد (colorizer) أوزان ليحل محل colorizer_path = IMAGENET.parent /('bwc_rc_gen_192.h5 ')

افترض أنك تشغيل ذاكرة كبيرة بما فيه الكفاية على GPU (على سبيل المثال، 11 GB غيفورسي 1080Ti) هذا البرنامج، سأبقي حجم حول 500px. إذا كانت الذاكرة هي أقل من 11GB، يمكنك تقليل صورة، أو محاولة تشغيل على وحدة المعالجة المركزية.

مشروع العنوان:

https://github.com/jantic/DeOldify

[] تاريخ المجتمع

جي وون AI صناعة التكنولوجيا + تجنيد المجتمع الجديد، رحب هبطت طلاب + AI صناعة تكنولوجيا الفائدة، بالإضافة إلى ليتل مساعد مايكرو إشارة: aiera2015_3 في المجموعة، وإذا سيدعى في المجموعة المعتمدة، تأكد من تعديل المجموعة بعد الانضمام إلى المجتمع الملاحظات (الاسم - الشركة - فرص العمل، مجموعة المهنية للمراجعة أكثر صرامة، يرجى فهم).