[استعراض فاز جي الجديدة فريق NVIDIA CVPR-18 سوبر وضع التشغيل البطيء استخدام ورقة التعلم العميق، ويسمح أي فيديو إلى وضع "HD اللعب البطيء" ولا يفوتون أي تفاصيل. اليوم، مفتوح المصدر تم تحقيقه PyTorch، عجل في محاولة ذلك!
هناك دائما بعض التفاصيل التي كنت ترغب في معرفة وجهة نظر جنون اتسعت ولكن لا يزال ما تشيناي، مثل ما يلي:
أحيانا أعتقد مربوط تحلق الريشة، صعبة للغاية، وهذا هو الحد من العين البشرية.
هل يمكن القول، حلا جيدا آه، مع وظيفة تشغيل بطيئة على خط المرمى.
الواقع أنه يمكن أن تقوم مرة أخرى، ولكن فرضية قراءة بطيئة، الكاميرا هو بداية لالتقاط هذه التفاصيل . الآن، وبعض الأحداث الرياضية الكبرى تبذل بالفعل استخدام الصناعية كاميرا عالية السرعة، كما هو في قرار أثار جدلا الحكم، يمكنك استخدام اعادتها البطيء لتحديد النتيجة.
ومع ذلك، لا يوجد المهنية كاميرات عالية السرعة كيف نفعل؟
ونحن استخدام الهواتف الذكية لتصوير الفيديو، تسجيل الكثير من الخير في الحياة، وذهب مع غروب الشمس الرياح، أو بركة تموجات البقع، وكذلك يرش الأطفال في بركة لعبة، إذا كنت قادرا على إبطاء عرض، سوف تجربة جديدة.
لهذا السبب، عندما يكون هذا العام سيكون أعلى CVPR عقد الرؤية الحاسوبية، فريق نفيديا لجعل شريط فيديو عن طريق الهواتف المحمولة التي أخذت أيضا "HD حركة بطيئة،" ورقة في صناعة تسببت استجابة كبيرة.
وهذا ما يسمى سوبر وضع التشغيل البطيء العمل، واستخدام الشبكات العصبية العميقة، المفقودين التنبؤ إطار الفيديو والانتهاء، وبالتالي تولد تأثير التشغيل البطيء المستمر.
المزيد من الثناء هو طريقتهم، يمكن القضاء عليها بين بكسل من الإطار الفيديو الأصلي يتم حظر، وبالتالي لتجنب القطع الأثرية وضوح (قطعة أثرية) في إطار الاستيفاء ولدت في الوسط.
ومن الجدير بالذكر، المؤلف الأول للدراسة، هو سيد، وتخرج من جامعة شيان جياوتونغ، والآن جامعة ماساتشوستس أمهرست دكتوراه دراسة أربعة Huaizu جيانغ . الكاتب الثاني ده تشينغ الشمس هو زميل أقدم التعلم NVIDIA وفريق البحث التصور، وتخرج من معهد هاربين للتكنولوجيا، وهونج كونج الصينية القراءة الماجستير، بعد جامعة براون وحصل على شهادة الدكتوراه في الأستاذ في جامعة هارفارد هانز بيتر فيستر البصرية فريق أبحاث ما بعد الدكتوراه.
يشعر سوبر وضع التشغيل البطيء ولدت "بطء تشغيل" تأثير:
وقال معدو الدراسة أنهم كانوا قادرين على 30FPS (لقطة في الشاشة الثانية) فيديو يصبح 480FPS، عدد الإطارات في الثانية أي بزيادة 16 مرات.
ووفقا لسوبر وضع التشغيل البطيء الصفحة الرئيسية المشروع، والكتاب، وذلك باستخدام PyTorch مدوناتها غير محسن على واحد NVIDIA GTX 1080Ti وتسلا V100 GPU، ولدت 7 من القرار 1280 * 720 من الإطار الأوسط، على التوالي، لا يتطلب سوى 0.97 ثواني و 0.79 ثانية . (ملاحظة إضافية: توليد تسلسل الفيديو 240 إطارا في الثانية من معيار 30 إطارا في الثانية، وعادة ما يتطلب إطارين متتالية في إطار سيطة يتم إدراجها 7).
قد يكون جيدا يسمى تأثير مدهش. ومع ذلك، فإن الكثير من الناس بخيبة أمل، لم يكشف عن رمز ومجموعة البيانات عند نشر الصحف ، على الرغم من أن الكتاب يمكن الاتصال Huaizu جيانغ الحصول على جزء من البيانات الأصلية.
اليوم، كان مفتوحا له PyTorch سوبر وضع التشغيل البطيء على جيثب تحقيق . معرف المستخدم رديت هو atplwl، ونموذج على البيانات adobe24fps تعيين التي قدمها صاحب البلاغ من قبل تدريب (pretrained الألغام في الشكل أدناه)، لتحقيق النتيجة هي تقريبا صفت الصحيفة نفسها.
الآن، ونموذج المدربين قبل، وكذلك قانون ذي صلة، ومجموعات البيانات، وتحقيق الشروط يمكن الاطلاع على جيثب.
وقال مبتدئ atplwl المصير المعلن وهو يعمل حاليا لتحسين هذه مستودع جيثب، ثم من المتوقع أن إضافة بيثون النصي، تحويل الفيديو إلى الفيديو في الثانية أعلى، مرحبا بكم في تقديم المشورة.
سوبر وضع التشغيل البطيء PyTorch عنوان تحقيق (انقر للقراءة وصول الأصلي): https://github.com/avinashpaliwal/Super-SloMo
سوبر وضع التشغيل البطيء: فإن أي تغيير الفيديو إلى "اللعب البطيء HD"
كود اليد، نظرة على الأوراق - كما سبق ذكره، وتوليد بطيء الفيديو عالية الوضوح من الفيديو الموجودة هو شيء مفيد للغاية.
بالإضافة إلى المهنية كاميرات عالية السرعة لم تنتشر بعد على أيدي الجميع، يؤخذ مع الفيديو في الوقت الهاتف (عادة 240FPS) يريدون لإبطاء لا يمكن التنبؤ بها، لتحقيق هذا المعيار سيكون لديك لتسجيل جميع الفيديو معدل الإطار، وإن كان ذلك يتطلب الكثير من الذاكرة، واستهلاك الطاقة للأجهزة النقالة أيضا لا يمكن تحمله.
الآن، يتم تحويل رؤية الكمبيوتر، بالإضافة إلى معدل الإطار الفيديو القياسية لأعلى، ولكن أيضا يمكن استخدامها لتوليد مشاهدة الفيديو تحويل الاستيفاء على نحو سلس. في التعلم تحت إشراف الذاتي، والتي يمكن أن تستخدم أيضا إشارة رصد لتعلم تحمل علامات ضوء الفيديو.
ومع ذلك، يمكن توليد عدد وافر من إطارات الفيديو المتوسطة (متوسطة إطار الفيديو) يكون تحديا، لأن الإطار يجب أن يكون في المكان والزمان متسقة. على سبيل المثال، لتوليد الفيديو 240 إطارا في الثانية من تسلسل 30 إطارا في الثانية القياسية، في إطارات متتالية تحتاج إلى إدراج سيطة 7 في إطارين.
حلول ناجحة ليس فقط التفسير الصحيح للحركة بين الصورة المدخلة (صريحة أو ضمنية)، ولكن أيضا لفهم انسداد (انسداد). وإلا، فإنه قد يؤدي إلى خطيرة التحف إطار الاستيفاء، وخاصة بالقرب من الحدود الحركة.
وتتركز الأساليب القائمة أساسا في إطار واحد من الاستيفاء الفيديو، وحققت تقدما جيدا. ومع ذلك، هذه الأساليب لا يمكن أن تستخدم مباشرة لتوليد إطار معدل الفيديو عالية بشكل تعسفي .
على الرغم من أن إطار واحد طريقة الفيديو الاستيفاء تطبق بشكل متكرر لتوليد عدد وافر من الإطارات المتوسطة انها فكرة جيدة جدا، ولكن هذا النهج لا يقل عن اثنين من القيود:
- أولا، لا العودية الاستيفاء إطار واحد بشكل متوازي تماما، أبطأ، لأنه يتم احتساب بعض الإطارات إلا بعد الانتهاء من الأطر الأخرى (على سبيل المثال، سبعة في الاستيفاء، وهذا يتوقف على الإطار 20 و 4، والإطار 4 يتوقف 0 و 8).
- ثانيا، يمكن أن تولد الإطارات المتوسطة 2I-1. وهكذا، وهذه الطريقة لا يمكن استخدامها لتوليد الموائل فعال 1008 - FPS الفيديو 24، وهو أمر ضروري لتوليد إطار المتوسط 41.
أطروحة سوبر وضع التشغيل البطيء: عالية الجودة تقدير إطارات المتوسطة متعددة للفيديو الاستيفاء اقترح ذات جودة عالية طريقة طول متغير متعددة الإطار الاستيفاء، قد يتم تنفيذ طريقة الاستيفاء في أي وقت بين خطوتين .
الفكرة الرئيسية هي أن الصورتين المدخلات مشوهة لخطوة زمنية محددة، ومن ثم هذين الانصهار صورة مشوهة بتكيف، وتوليد صورة المتوسطة التي التفسير الحركة وانسداد المنطق في شبكة واحدة يمكن تدريب نهاية النمذجة.
على وجه التحديد، لأول مرة، وذلك باستخدام حساب تدفق CNN لتقدير التدفق البصري بين الصورة المدخلة ثنائية الاتجاه، تليها تقريب خطي إلى التكامل المنشود من تدفق البصرية وسيطة، بحيث يتم تشويه الصورة المدخلة. ينطبق هذا التقريب لضمان سلاسة المناطق، ولكن ليس لتحريك الحدود.
ولذلك، استخدام الكتاب سوبر وضع التشغيل البطيء تدفق حركة المرور آخر الاستيفاء CNN إلى صقل والتنبؤ تقريبي خريطة الرؤية لينة.
يطبق قبل انصهار قبل تعديل الصورة لرؤية FIG باستثناء مساهمة من الإطار المتوسط محرف والمغطي بكسل، مما يقلل من التحف.
هندسة الشبكات فائقة وضع التشغيل البطيء
"لدينا المعلمات حساب التدفق والاستيفاء مستقلة عن شبكة محددة محرف الوقت حجم الخطوة، تيار الإدخال شبكة محرف. وهكذا، يمكن أن تتولد لدينا وسيلة بشكل متواز، والعديد من إطار وسيطة . "كتب الكتاب في ورقة.
لتدريب الشبكة، وجمع الفريق الفيديو 240 إطارا في الثانية من يوتيوب والكاميرات المحمولة. هناك 1.1K مجموع مقاطع الفيديو، 300K منفصلة عن إطارات الفيديو، قرارا نموذجية من 1080 720.
ثم، قيم الفريق نموذج التدريب في العديد من الاستيفاء الآخر يتطلب عددا مختلفا من مجموعات البيانات المستقلة، بما في ذلك مجموعات البيانات ميدلبري، UCF101، تدفق بطيء (slowflow)، وارتفاع معدل الإطار (ارتفاع معدل الإطار) MPI Sintel.
وقد اظهرت النتائج أن الأسلوب كان أفضل من الطرق التقليدية في جميع مجموعات البيانات. تقييم فريق كيتى أيضا على أساس التدفق البصري غير خاضعة للرقابة 2012 (من الإشراف) النتائج تدفق البصرية، والحصول على نتائج أفضل من الأساليب القائمة مؤخرا.
سوبر وضع التشغيل البطيء المشروع الصفحة الرئيسية: https://people.cs.umass.edu/~hzjiang/projects/superslomo/
سوبر وضع التشغيل البطيء PyTorch تحقيق جيثب العنوان:
https://github.com/avinashpaliwal/Super-SloMo
