مذكرة لى فنغ الشبكة: هذه المادة هي عبارة عن تجميع لللى فنغ ترجمات بلوق التكنولوجيا المجموعة، وكشف الهيكل الأصلي في الفيديو باستخدام كشف كائن Tensorflow، مؤلف خوان دي ديوس سانتوس.

الترجمة | قصيدة لتشطيب | وو شوان

في TensorFlow العديد من الميزات والأدوات، هناك مكون يسمى TensorFlow الكشف عن الهدف API. وظيفة من هذه المكتبة كما يبدو من اسمها، هو القدرة على استهداف الفيديو كشف إطار تدريب الشبكة العصبية، على سبيل المثال، صورة.

الحاجة لرؤية العمل قبلي، وشرحت العملية برمتها باستخدام TensorFlow تحديد الهيكل على أجهزة الروبوت. وبالإضافة إلى ذلك، قدمت أيضا المكتبة مع هندسته المعمارية المختلفة وخصائص كل منها، ويوضح كيفية استخدام TensorBoard تقييم العملية التدريبية.

بعد بضعة أشهر، بدأت لتحسين نموذج قبل تدربت لكشف بيكا تشيو، والغرض من ذلك هو توجيه استخدام بيثون، مكتبة برمجية مفتوحة للرؤية الحاسوبية، وTensorFlow للكشف عن الفيديو الهدف. متاح من جيثب شفرة المصدر في بلدي.

بيكا تشيو

هذا المقال لشرح الخطوات استعملتها. أولا، سوف تصف المشكلة وجدت في النموذج الأصلي، وكيف أنا الأمثل. ثم، وسأشرح كيفية استخدام هذا النموذج الجديد الأمثل، أقوم بإعداد نظام الكشف عن الفيديو. وأخيرا، سترى اثنين من الكشف عن الفيديو من عدة بيكا تشيو.

ولكن قبل أن تبدأ، وهنا اف باختصار، يظهر بعض الكشف السريع.

الكشف عن بيكا تشيو

هذا هو بيكا تشيو

نموذج الأمثل

كما هو موضح أعلاه، في الأعمال السابقة، جعلت من التدريب الأولي للنموذج الكشف بيكا تشيو، فإن الغرض من هذا النموذج هو بيكاتشو الكشف عن أجهزة الروبوت أو بيثون دفتر الملاحظات. ومع ذلك، وأنا غير راض عن أداء هذا النموذج الأمني الذي دفعني لتحسين هذا النظام، ولذلك كتبت هذا المقال.

أنا قلق بشكل رئيسي مع عدد بيكا تشيو تستخدم لبناء هذا النظام، 230. 70 تستخدم للتدريب، في حين أن 30 المتبقية لاختبار. لذلك، هناك عدد قليل للتدريب، على الرغم من أن هذا هو من الناحية الفنية ليست مشكلة (لأن النموذج هو المنفذ "okayish")، ولكن أضفت 70 صورة في مجموعة التدريب (العدد الإجمالي لا يزال غير الكثير، ولكن أفضل من لا شيء ).

ونتيجة لذلك، لأنني الآن الحصول على مزيد من الصور، واضطررت الى توسيع تدريب النموذج، بدلا من البدء من الصفر. لقد استخدمت نماذج تفتيش القطار في وقت مبكر، ومن ثم البدء في ننطلق من نقطة تفتيش؛ السابق تدريب 15،000 مرة، والجديد هو تدريب 20،000 مرات. وتظهر الرسوم البيانية التاليين خسائر الشاملة والدقيقة (تم الحصول عليها من TensorBoard)؛ ومن الواضح أن من 15000 إلى لم تتغير كثيرا (وخاصة من حيث الخسارة) 20،000 مرات.

خسارة

دقة

فعلت وآخر (أيضا صغيرة) التصحيح لتعديل تطبيقات الروبوت عتبة الكشف. القيمة الافتراضية هي 0.6، ارتفع إلى 0.85.

هذا التغيير الأمثل أي شيء؟ حتى لو كان بلدي تأكيدا التحيز جانبا، وأود أن أقول، نعم. لاحظت وجود الأمثل صغير. لقد لاحظت التغيير الأكبر هو، تطبيقات الروبوت انخفض عدد من ايجابيات كاذبة، لأن هذه الكائنات تبدو وكأنها بقع صفراء، وبالطبع، قد يكون هذا أيضا بسبب زيادة العتبة.

الآن، مع أحدث النماذج والأمثل للكشف في شريط الفيديو بيكا تشيو. قبل المتابعة، ولست بحاجة لشرح، وسوف تجاهل كامل عملية تجميد ونموذج الاستيراد، لأن العمل وقد فعلت في الإجابة السابقة.

الكشف عن الفيديو

وليس كما من الصعب أو من الغريب أن نسمع ذلك للكشف عن الهدف من الفيديو. من وجهة نظر من الخارج، نستطيع أن نقول أن مجموعة من صور الفيديو في تسلسل، لذلك تم الكشف عن أن الكشف عن الهدف من الفيديو ومتشابهة جدا في صورة طبيعية. لماذا متشابهة جدا؟ حسنا، لأن طبيعة الفيديو قبل نموذج كشف إدخال الفيديو، وتجهيز إطارات الفيديو تتطلب خطوات إعداد متعددة. سوف يكون لي أن أشرح في الفصول التالية، بالإضافة إلى عملية الكشف في تفسيرها، وكيفية إنشاء شريط فيديو جديدا لعرضها.

ويتم تنفيذ معظم قانون بلدي على أساس بيثون دفتر TensorFlow الكشف عن الهدف عرض الريبو. هذه الرموز القيام به أكثر من العمل الشاق، لأنه يتضمن العديد من الميزات لتسهيل عملية الكشف. أقترح عليك أن تبحث في سيناريو بلدي، وكما تقرأ الفقرات التالية من هذا الدليل.

من وجهة رفيعة المستوى، ويتكون هذا الرمز من ثلاث مهام رئيسية هي:

الموارد الحمل

أولا، يجب تحميل نموذج المجمدة، تسميات البيانات، والفيديو. لالبساطة، أوصي قصيرة، متوسطة الحجم الفيديو ومعالجتها لأن الفيلم بأكمله يأخذ الكثير من الوقت.

اجتياز فيديو

ويستند وتتمثل المهمة الرئيسية لهذا البرنامج النصي على حلقة من خلال كل إطار من الفيديو. كل اجتياز، والإطار القراءة، ويتغير لونه الفضاء. ثم، نفذ عملية الاختبار الفعلي، هو أن تجد كل تلك الأصفر ماريو جميلة. ونتيجة لذلك، والعودة إلى حيث إحداثيات الحدود من موقع الهيكل (إن وجدت)، ونتائج اختبار الثقة. وفي وقت لاحق، طالما أن مستوى الثقة أعلى قيمة عتبة معينة، فإنه سيتم إنشاء نسخة من إطار الفيديو، الذي يحتوي على إحاطة مربع بيكاتشو الموقف. لهذا المشروع، أنا وضعت عتبة الثقة منخفضة جدا، 20، لأنني وجدت الكشف عن عدد قليل جدا من ايجابيات كاذبة، لذلك قررت أن تأخذ من خطر الأداء للكشف عن المزيد من ماريو.

إنشاء فيديو جديد

في الخطوة السابقة، والإطار نسخة تم إنشاؤها حديثا إعادة تكوين شريط فيديو جديدا، هذه الأطر تحمل إحاطة كشف مربع. لإنشاء هذا الفيديو، تحتاج إلى استخدام الكائنات VideoWriter، في كل مرة تعبر إطار سيتم نسخة من الكائن (بدون صوت) كتابة.

النتائج والمناقشة

هذا الفيديو يبين نموذج عملية اثنين تشغيل:

الكشف عن شريط فيديو هو جيد جدا. على الرغم من أن الهيكل في جميع أنحاء الفيديو تم عقد زجاجة الكاتشب، في معظم الحالات يمكن الكشف عن هذا النموذج. من ناحية أخرى، عندما يكون هناك وقت 00:22 لم يتم الكشف عن، بالإضافة إلى ذلك، "منجل" (الأخضر السرعوف نظرة) اندلعت طلقات زجاجة الكاتشب (0:40 حتي 00:44) هو زائف.

على الفيديو الثاني، وأداء هذا النموذج لم تظهر في الفيديو الأول هو ذلك جيدا، والمشكلة الرئيسية تكمن في ظهور الفيديو في المشهد ماريو اثنين. في هذه الحالة، كما يبدو نموذج مثل اثنين pikaqiu الكشف، وليس بشكل منفصل الكشف عنها. مثال واضح هو الوقت المناسب 00:13، وهما يضرب بعضهم بعضا في سباق (:( مشهد حزين، وأنا أعلم).

ملخص ومراجعة

في هذه المقالة، وأظهر لي كيفية استخدام TensorFlow كشف كشف الهدف في مكتبة الفيديو بيكا تشيو. ابتداء من هذه المادة، وصفنا بعض من عملي السابق، وذلك باستخدام النموذج من الإصدار السابق من كشف الأهداف على أجهزة الروبوت. أما بالنسبة للنموذج، على الرغم من أنه لم قيام بهذه المهمة، ولكن هناك بعض الأسئلة أريد أن حل، وهذه التحسينات حتى انتهيت من المشروع واقامة نموذج الكشف عن الفيديو.

نماذج جديدة مثل المتوقع العمل. بطبيعة الحال، أكثر أو أقل، وهناك بعض أوجه القصور، مما يؤدي إلى إساءة تطبيق أحكام العدالة، أو لم يتم الكشف عن بيكا تشيو، ولكن اكتمال النموذج الذي ينبغي القيام بهذه المهمة. والاتجاه للعمل مستقبلا، وأنا سوف تضيف المزيد من الصور تدريب مجموعة بيكا تشيو من زوايا مختلفة. على سبيل المثال، والجانب صورة للرؤية الخلفية، وزيادة تنوع البيانات للحصول على أداء ممتاز.

شكرا للقراءة. آمل أن يكون هذا دليل المادة يمكن أن تساعد.

مصدر https://towardsdatascience.com/detecting-pikachu-in-videos-using-tensorflow-object-detection-cd872ac42c1d

لى فنغ لى فنغ صافي صافي