مذكرة لى فنغ شبكة AI تقنية الاستعراضي: من كتب هذا المقال قبل لين تيانوي شنغهاي جامعة جياوتونغ لى فنغ شبكة AI تكنولوجي ريفيو عن مقالات حصرية، لا يجوز مستنسخة دون إذن.

تحديد السلوك الفيديو (الاعتراف العمل) الاتجاه، وإطار الشبكة الأكثر شيوعا هناك نوعان، واحد هو الفيديو مدخلا مباشرا باعتباره التفاف 3D الشبكة، وهذا هو، صورة أخرى، وتيار ضوء (التدفق الضوئي) كانت تستخدم ل المدخلات شبكات تيار اثنين. الأساليب المتبعة حاليا في يومين تيار بناء على تأثير ومن الواضح أن أفضل من تركز على 3D المادة الدرجة التفاف على تطبيق تيار طريقتين مستندة إلى التدفق الضوئي.

على الرغم من أن تدفق البصرية في طريقة تيار اثنين ويستخدم على نطاق واسع في الصف، ويكون لها تأثير جيد، ولكن هناك مشكلة هنا، في أن نموذج تحديد السلوك تدفق البصرية في مسرحية نهاية ما هو الدور، ما هي المعلومات نفسها الدلالي في النهاية هو؟ عادة ما نفكر يمثل البصرية معلومات الفيديو تدفق الحركة، وسوف توجيهه على شكل مربع أسود كإدخال للشبكة. في الآونة الأخيرة، والإفراج عن أرخايف "على دمج التدفق الضوئي والتعرف على عمل" دور مقال من تدفق الضوء في الاعتراف السلوك أجريت دراسة متعمقة لفحص السبب في أن تيارات الخفيفة في الاعتراف السلوك غير صالحة، والاعتراف السلوك كيف النوع من التدفق الضوئي جيدة وكيف ينبغي لنا أن تحسين تدفق الضوء. الاستنتاج من هذه المادة يمكن القول أن شيئا غير بديهية، عدة استنتاجات هنا الإصدار الأول من هذه المادة، وبعد ذلك تم إدخال (الجزء الأول أساسا).

• وهو فعال في نموذج تحديد سلوك التدفق البصري، وليس لأنه لا يمكن التقاط المعلومات الحركة، ولكن أساسا بسبب ظهور ثبات الصورة البصرية تدفق (المظهر) أ.

• خوارزميات تدفق البصرية وعادة ما تستخدم نهاية الخطأ (نقطة النهاية للخطأ، EPE) لقياس، ولكن حجم ونوعية التأثير الاعتراف النشاط EPE ليست علاقة قوية

• خوارزميات تدفق البصرية في الجزء حافة ودقة العلاقة من التشريد صغيرة من تأثير اعتراف حركة كبيرة نسبيا.

• الاعتراف السلوك المصنف المدربين الذين يستخدمون الخطأ (غرامة تصل قيمتها) أداء الاعتراف السلوك تدفق البصرية مقارنة مع الخطأ EPE للحصول على أفضل.

• الاعتراف السلوك باستخدام البصرية تدفق الحصول على خطأ تصنيف للتدريب، وتتركز تلك تدفق الضوئية التقليدية في المنطقة الحافة الداخلية للجسم البشري.

لماذا يجب على بصري السلوك تدفق نموذج الاعتراف كمدخل؟

يعتبر تدفق البصرية عموما ممثل الحركة أو توقيت المعلومات للفيديو. في الاعتراف سلوك مجموعة البيانات (على سبيل المثال، UCF101)، على الرغم من أن هناك الكثير من العمل للاستفادة من صورة واحدة يمكن تحديدها، وهناك بعض الإجراءات تعتمد على المعلومات توقيت. نظريا تشمل بشكل مباشر على المعلومات توقيت إطار الفيديو، ثم شبكات التلافيف 3D يجب أن تكون قادرة على تعلموا نفس المعلومات توقيت الواردة في التدفق البصري. ومع ذلك، فإن الطريقة الحالية لتدفق الضوئية دائما ملزمة نتائج أفضل، في بعض مجموعات البيانات، وتدفق البصرية الشبكة، ويمكن الحصول على نتائج أفضل من الصورة، حتى إذا كان الكائن يحتوي على أكثر بديهية للمشهد الصورة وذات الصلة المعلومات.

والسؤال هو، لماذا الاعتراف سلوك التدفق البصري أنه من المفيد جدا؟ المؤلف على UCF101، وذلك باستخدام اثنين من تيار قام أكثر شيوعا TSN شبكة تجارب لاستكشاف. النتائج في الجدول التالي:

مع هذه النتائج، وتناقش بعض ورقة مفهوم المعتاد من الإدراك البصري

المعلومات مسار (1) الواردة في تدفق بصري فعالة لاعتراف سبب السلوك؟

عادة 5 أو 10 باستخدام التدفق الضوئي كمدخل الشبكة، إطارات متتالية من تدفق البصرية الفعلي تمثل المعلومات مسار في صورة كثيفة، حيث مجال تدفق البصري للسارعت إدخالها - التدفق (تدفق حقول تعديلا) ، وجدنا أن تأثير تراجع فقط بنسبة 8. هذه المعلومات يظهر المسار ليست حرجة.

معلومات الحركة Interframe (2) الواردة في تدفق بصري فعالة لإحداث الاعتراف السلوك؟

يتم احتساب تدفق البصرية السابق الإطار من جانب الإطار، لمزيد من المعلومات إزالة التوقيت، قبل احتساب تدفق الضوئية لتعطيل أجل الصورة - تدفق (صورة تعديلا)، وبالتالي الحصول على حركة التدفق الضوئي ولا يتفق مع المادية، ولكن لا يزال شكل الجسم يحتوي على. على الرغم من أن تأثير تراجع، ولكن لا تزال لديها دقة جيدة. هذا يدل على أن المعلومات الحركة ليست عاملا رئيسيا.

وبناء على النتائج التجريبية أعلاه، وضعت الكتاب إلى الأمام وجهة نظرهم: تأثير جيد في نموذج سلوك التدفق الضوئي لتحديد سبب ثبات الصورة واضح في هذا هذا السلوك يجعل من الاسهل لتحديد النموذج قد يكون للتعلم في تباين منخفض من هذا الوضع. قد يؤيد هذا الرأي التجربة وبعض الأعمال ذات الصلة:

(1) من خلال تغيير معلومات الصورة واضحة، على التوالي، النظر في سلوك تدفق والأداء صورة RGB نموذج المدخلات

في هذه التجربة، وتدريب كالمعتاد، ولكن لتعديل لون الصور الاختبار، كما هو مبين تخطيطي:

حيث، اليسار هو الصورة الأصلية، أي على خارطة الألوان تغير الأوسط يتغير لون الفضاء من الصورة (على سبيل المثال، HSV أو صيغة معدلة من BRG) يتم تحجيم، وعلى الجانب الأيمن من كل قناة لقيم RGB. يمكن أن ينظر إلى المعلومات من الجدول أعلاه، بعد تغيير اللون، وطريقة تقوم على الحد من تأثير واضح جدا RGB، والنهج القائم على التدفق يعمل تغيير يذكر. وهذا يدل على أن تدفق البصرية للحصول على المعلومات لون له ثابتة حسن المظهر.

(2) نموذج 2stream في مجموعة كبيرة من البيانات من أداء الفيديو

في هذه المناقشة إشارة Deepmind عندما يكون حجم مجموعة بيانات الفيديو كبير جدا، إلا أن صورة الشبكة سوف تحصل على نتائج أفضل من استخدام تدفق الشبكة البصرية فقط. هنا هو رأي المؤلف أنه عندما مجموعة البيانات غير كافية كبيرة، وهو في حد ذاته يمكن أن تشمل ضوء معقد المعلومات، والملمس، الخلفية، الخ، لذلك أن قدرة أفضل نموذج التعميم يمكن الحصول عليها، حتى أن تدفق بصري واضح هو أيضا ليس كذلك ثبات أهمية.

هذا الجزء أعتقد هو الأكثر جزءا هاما من هذه المادة، وضعت مع الأفكار المعتادة استنتاج مخالف، هذا ويرجع ذلك أساسا إلى لعب دور في نموذج الاعتراف السلوك لتدفق البصرية هو ثبات واضح أو لا يحتوي على معلومات حركة المسار.

دقة والاعتراف السلوك دقة تدفق البصرية المتعلقة بها؟

بعد ذلك، يناقش المؤلف في صحة مؤشر التقييم لتدفق ضوء نموذج الاعتراف السلوك. وهناك عدد كبير من خوارزميات تدفق البصرية، بما في ذلك النهج CNN مقرها والطرق التقليدية في السنوات الأخيرة. عادة خطأ التدفق الضوئي باستخدام نقطة النهاية (نقطة النهاية للخطأ، EPE) لقياس دقة. وبالتالي فإن المشكلة هنا هي أن دقة عالية من خوارزمية تدفق البصرية، غير قادرة على تحقيق سلوك دقة التعرف عالية. وتظهر النتائج التجريبية أدناه في FIG.

كما يمكن أن يرى، وهما لا وجود علاقة قوية. خطأ منخفض EPE طريقة تدفق البصرية ليست قادرة على الحصول على أفضل سلوك دقة التعرف. وعلاوة على ذلك، بحثت الكتاب العلاقة بين العملية ودقة التعرف EPE تدفق البصرية في منطقة محلية، فإن النتائج كما هو مبين في الشكل.

صور المعنى ليس وصفها بالتفصيل، والنص واضح محدد. من خلال تحليل هذا الرسم البياني، يمكننا الحصول على نتيجتين:

• البصرية دقة الخوارزمية تدفق جزء حافة تشغيل تأثير ارتباط تحديده وكبيرة نسبيا.

• خوارزمية تدفق البصرية النزوح صغير دقة عملية الارتباط لتحديد تأثير كبير نسبيا، ولكن منذ خوارزمية تدفق البصرية نفسها أداء أفضل إزاحة الصغيرة ونزوح أعداد كبيرة من ضعف الأداء، وحتى هذه النتيجة قد يكون راجعا إلى تدفق البصرية نفسها خصائص تسببت.

وبالتالي، فإن هذا الجزء من استنتاجات المؤلف، دقة الشاملة للتدفق الضوئي ومعدل دقة التعرف على حركة أقل للا تؤثر على دقة تدفق الضوئية بالقرب من حواف الأشياء وتشريد صغير من تدفق الحركة معدل دقة التعرف البصري هو كبير نسبيا.

للمهام الاعتراف السلوك، وهناك تعبير عن ذلك أفضل من تدفق البصري للحركة؟

بعد التحليل الوارد أعلاه، يعتقد المؤلفون ضرورة إيجاد تدفق أفضل من تمثيل ممارسة التمارين الرياضية بانتظام خفيفة. هنا، اختارت الكتاب إلى استخدام السلوك فقدان التصنيفات وظيفة لضبط شبكة تدفق البصرية للحصول على ترقية. لم يكن استكشاف خارج التمثيل التدفق الضوئي.

وتظهر نتائجها في الجدول أدناه اثنين.

التجربة المذكورة أعلاه غلة الاستنتاجات الرئيسية التاليين

• فقدان العمل المستخدمة لضبط تدفق البصرية، الحصول في نهاية المطاف أفضل سلوك دقة التعرف

• فقدان العمل المستخدمة لضبط تدفق البصرية، ودقة تدفق البصرية في حد ذاته لا يقلل إلى حد كبير

على مزيد من فقدان العمل لضبط وتصور تدفق البصرية.

اليسار والخوارزميات تدفق الحق مختلفة على التوالي، والفرق بين العادي عن فقدان العمل تدفق الرابعة ولضبط تدفق من خلال. كما يمكن أن يرى، والفرق بشكل رئيسي في منطقة الحافة الداخلية للجسم البشري.

المناقشات الشخصية

تقديرا لدور السلوك في هذا التدفق أعمال خفيفة لمناقشة مفصلة، وأعتقد أن الكثير من معانيها، أعمال المتابعة هو أيضا مفيد جدا:

• الكاتب في النص يريدون أساسا لاستخدام فقدان العمل لتحسين تدفق الضوء، ولكن السبب الرئيسي للقيام بدور منذ تدفق البصرية في ثبات واضح، ثم استبدال ثبات واضح آخر مصممة خصيصا لتمثيل نموذج الاعتراف السلوك كمدخل سيكون من الأفضل؟ تجزئة بدائل مثل استخدام نتائج التدفق الضوئي.

• إذا كان التخلص من التدفق الضوئي، مع قيام لواضح اللون / نسيج / تعزيز البيانات ضوء، ثم استخدم فقط قد تكون صور RGB أيضا قادرة على الحصول على نتائج جيدة.

• تدفق بصري واضح يمكن أن ثبات الشبكة نفسها عن طريق زيادة تغييرات واضحة في القدرة على التعلم، بدلا من ذلك.

• إذا باستخدام التدفق الضوئي، ما إذا كان يمكن بناء ميزة أخرى للمستوى أدنى من المعلومات حركة / أثر، المعلومات توقيت لتوفير أفضل فيديو.

على الرغم من أن في وقت مبكر نسبيا UCF101 البيانات وغيرها مركزية، مع كان ضعف شبكة قادرة على الحصول على نتائج جيدة، ولكن هذا العام العديد من جديد السلوك الفيديو مجموعة البيانات الاعتراف لجلب المزيد من التحديات. على سبيل المثال، في لحظات في وقت البينات، في مشهد فئة السلوك وعلاقة الكائن ضعيفة نسبيا، وهناك الكثير من العمل يعتمد على توقيت (على سبيل المثال، وإيقاف عمل متماثل في التوقيت)، الأمر الذي يجعل للحصول على معلومات توقيت النمذجة ذات أهمية متزايدة.

وعموما، يأتي الكتاب على الدور المركزي للتدفق البصرية هو ثبات واضح من الختام، وأنه ينبغي تحسين تدفق الضوء. ولكن أعتقد أن هذا المقال قد يلهم المزيد من الناس لا تستخدم الاعتراف السلوك تصميم خوارزمية التدفق الضوئي (بعد كل شيء، وكفاءة تدفق بصري لا يزال جدا التي انتقدت ..). هذا العام أكثر وبدأ المزيد من الناس على دراسة ميدانية المتعلقة الفيديو، و 17 في نهاية نتطلع أيضا إلى العام المقبل لرؤية أكثر إثارة للاهتمام هو العمل ~

مراجع

لورا اشبيلية-لارا وآخرون على دمج التدفق الضوئي والاعتراف العمل. عبس / +1712.084162017.

J. كاريرا وA. Zisserman. الراهن VADIS، والعمل nition recog-؟ نموذج جديد وحركية البيانات. كور، وتقاسم المنافع / +1705.077502017.