مذكرة لى فنغ شبكة AI تقنية مراجعة: هذه المقالة هي CVPR 2018 ندوة حول أطروحة الدعاية الصينية في مايكروسوفت للبحوث آسيا 11 مايو 2018 الدورة الأخيرة - "الإنسان، الوجه والشكل 3D" ثلاث ورقات روابط إرسال تقارير.

سياسة لو من جامعة شنغهاي جياوتونغ من تقريري الأول، وقال انه وصف عملهم من حيث تقسيم أجزاء الجسم البشري. الفكرة الرئيسية في حالة وجود جزء من الجسم انقسام مجموعات البيانات الإنسان يصعب الحصول عليها، من خلال نقل المعرفة، واستخدام كمية صغيرة من موقف الهيئة مجموعات بيانات + الجسم بيانات جزء الانقسام إلى تحقيق ضعف الرقابة أو شبه إشراف جزء من الجسم الانقسام.

وقدم التقرير الثاني تشاو كايلى من جامعة بكين للبريد وعملهم من حيث وحدة تميز العمل جهه. ويواجه هؤلاء أيضا أقل من الصعب الحصول على مجموعات البيانات والصعوبات. والفكرة الرئيسية هي ضعف الرقابة، وهما عدد كبير من الصور تميزت ضعيفة طريقة التجميع تحت إشراف، وضعف الصور علامة، تتجمع الصور غير المسماة وفقا لخصائص وخصائص علامة ضعف البصر، وبعد ظهور نتائج الكتلة وضع علامة إعادة.

عندما قدم التقرير النهائي الذي تشانغ Zizhao جامعة تسينغهوا عملهم على استخراج ملامح وجوه 3D. وهناك اعتبار أساسي هو عرض العمل اقتناء المتحف 3D ينظر إليها من وجهات نظر مختلفة، لتعريف الكائن في السؤال هو ما هي مساهمة يست هي نفسها، وبالتالي يجب أن تعطى أوزان مختلفة، على العكس، كل الطرق السابقة هي مثل الحق في التخلص من هذه الآراء.

لى فنغ شبكة ملاحظة:

CVPR 2018 أوراق الصين ندوة بشر به مايكروسوفت للبحوث آسيا، وزارة التربية والتعليم، جامعة تسينغهوا وسائل الإعلام وتكنولوجيا الشبكة - مايكروسوفت مفتاح مختبر للعلوم والتكنولوجيا اسرة شانغ، جنة خاصة الصين جمعية الحاسبات الحاسوب الرؤية والجمعية الصينية للصورة والرسومات الرؤية العظمى البيانات التي عقدت في لجنة التعاون وCVPR 2018 شملت عشرات الصحف الكتاب تشترك أحدث وجهات النظر البحوث والتكنولوجيا في هذا المنتدى. ندوة يحتوي على مجموعه ست جلسات (أي ما مجموعه 22 تقريرا)، منتدى، وأكثر من 20 عضو، وشبكة لى فنغ AI تقنية مراجعة توفر لك تقريرا مفصلا.

ستعقد CVPR 2018 يونيو 18--22، الذي عقد في سولت لايك سيتي. ووفقا لCVPR الرسمي موقع المعرض هذا العام على الجمعية العامة خلال 3300 ورقة التقديم، والذي اعترف 979، 783 ورقة مقارنة بالعام الماضي، هذا العام، بزيادة قدرها حوالي 25.

رؤية المزيد من التغطية:

الدورة 1: GAN وتوليف

الدورة 2: ديب التعلم

الدورة 3: الشخص إعادة تحديد وتتبع

جلسة 4: الرؤية واللغة

الدورة 5: الإنقسام، كشف

جلسة 6: الإنسان، الوجه والشكل 3D

أولا، كيفية تقسيم تلقائيا علامة الجسم؟

ورقة: ضعيفة وشبه جسم الإنسان الجزء توزيع عبر أشرف موجهة بوز نقل المعرفة

المتحدث: أنا لو صنع - جامعة جياوتونغ فى شانغهاى

المواد عنوان: الشبكي: //arxiv.org/abs/1805.04310

هنا هو أساسا حول أطرافه كيف الإنسان تقطيع الصورة.

1. الخلفية

من أجل أكثر دقة تحليل السلوك البشري، والنقطة الأساسية هي القدرة على تقسيم من الأجزاء الفردية من الجسم. ولكن المشكلة هي صعبة، لأن الناس تذهب لتسمية هذه البيانات (استخلاص جزء من جزء) من الصعب جدا، بل هو أيضا بسبب هذا، في هذا الصدد هو أكبر مجموعات البيانات هي أيضا أقل من 2000 للتدريب بيانات الشرح. ثم أفضل نهج هو السماح للجهاز تلقائيا وبشكل فعال ملحوظ من هذه التسمية.

2، والتفكير

توزيع البشرية سوى عدد قليل من البيانات المسمى، على مفتاح اليد البشرية الأخرى (لغة الجسد) بسبب ملحوظ أكثر استرخاء، لذلك هناك الكثير من البيانات الشرح. فريق السياسة لو حتى أتمكن من استخدام البيانات للنظر في ما إذا كان الموقف من الجسم، من خلال نقل المعرفة لمساعدة الجسم جزء انقسام ملحوظ تلقائيا المهام كاملة.

والفكرة هي، الصورة مع كمية صغيرة الحالية للالمشروح مع النقاط الرئيسية في جزء من الجسم البشري تحليل مجموعات البيانات عن طريق البحث التشابه بالقرب من نقطة حرجة، ومن ثم الهجرة إلى موقف المعرفة كدليل، من أجل تحقيق الجسم ملحوظ جزء الانقسام .

3، طريقة

وتنقسم طريقة محددة في ثلاث خطوات: الصورة المدخلة مع النقاط الرئيسية من أجزاء مقسمة + القائمة هو عنقودية مجموعة البيانات أولا على أساس النقاط الرئيسية، أي للعثور على صورة مدخلات مماثلة إلى التسمية تقطيع الصورة، ثم الانحياز، تعديل لاستكمال تجزئة الصورة المدخلة، وهناك خطأ كبير في نتيجة هذا الوقت، والخطوة الأخيرة هي لتعديل غرامة.

اكتشاف كتلة بوز مماثل

من أجل قياس التشابه بين موقف مختلف، أولا وقبل كل حاجة للتطبيع الموقف والمواءمة، هو الارتفاع عن الوحدة، والنقطة الأساسية الأرداف كما أصل الإحداثيات. حساب بالتالي المسافة الإقليدية بين الصورة المدخلة وعدة نقاط المفتاح المسمى مجموعة البيانات المقابلة لجميع الصور الرئيسية، يتم تحديد مسافة الحد الأدنى مثل أعلى ن مجموعة مماثلة.

هنا اختار كبار ن، بدلا من الجزء العلوي 1، فمن الغريب لأن الإنسان الحقيقي (على سبيل المثال هناك انسداد)، وهي فرع من جسم الإنسان ليس بالضرورة ينطبق على هيئة أخرى، وذلك لتحديد بعض من أكثر ما شابه ذلك، في الجيل القادم على مستوى جزء قبل القيام به تحت المتوسط.

توليد الجزء المستوى قبل

العثور على كتلة مماثلة بناء على ما سبق، استنادا إلى المفتاح الذي يمكن بعد ذلك يتم تعيينها على تجزئة الصورة المعروفة. التجمع في كل جزء من الجسم حيث هناك قناع ثنائي، وبلغ متوسط كل من هذه الأجزاء، ثم حصلت بادي جزء التوزيع.

صقل مسبق

عن طريق ترحيل أمام الناتجة تحولت جزء إعراب نتيجة لتحليل ممكن بين الحقيقي وليس هناك اختلاف طفيف، وذلك بسبب وجود الظل سيتم المتوسط، وبالتالي تعديل بمزيد من شبكة الصقل. يستخدم صقل شبكة البديل من U-نت.

4 والتجريبية

نظرة أولى لا انقضت بعد صقل وصقل نتائج المقارنة

اليسار إلى اليمين: صورة المدخلات، ونتيجة لكامل التنبؤ شبكة الالتواء، تتعلق جزء على مستوى الصورة المدخلة قبل، بعد شبكة صقل النتائج المتوقعة. ويمكن ملاحظة النتائج بعد صقل الأداء الجيد جدا.

التجارب، وهذه الطريقة يمكن استخدامها ليس فقط في صورة واحدة، فمن الممكن أن شريحة من الناس الصورة. كما هو مبين أدناه:

النتائج الكمية، يرجى الرجوع إلى ورقة. وعلاوة على ذلك فريق السياسة لو لدي CVPR 2018 ورقة أربعة آخرين، يمكنك عرض ملفهم الشخصي.

المراجع:

العمود CVPR 2018 ورقة الملاحظات

نشر مما لو فريق قائمتي

ثانيا، مدى ضعف وحدة الإشراف ملحوظ حركات الوجه؟

ورقة: تعلم وحدات العمل الوجه من ويب صور مع تحجيم ضعيفة تحت الإشراف تجميع

رئيس مجلس النواب: تشاو كايلى - جامعة بكين للبريد والاتصالات السلكية و اللاسلكية

ورقة التحميل: لا

كعنوان للورقة، عمل فريق تشاو كايلى يستخدم ضعيف طريقة التجميع تحت إشراف لدراسة وحدة النشاط الوجه (وحدات العمل، AUS)، والدافع هو هناك إشراف البيانات الشرح / طرق شبه أشرف تتطلب قليلة جدا ويصعب جمع .

1، والمفهوم الأساسي

هنا تحتاج أولا إلى شرح مفهوم، وهذا هو، ما هو AU؟

ونحن نعلم أن الوجه البحوث الاعتراف التعبير هو حاليا اهتماما واسع النطاق، ولكن الفرق بين تعبيرات ذاتية وفردية من تحديات كبيرة وصعوبات للباحثين. من ناحية أخرى، من وجهة نظر التشريحية، كل من عدة قطع من تعبيرات الوجه يؤثر على سلك العضلات، وتغيرات في العضلات تؤثر التغيرات في المساحة السطحية للوجه. لذلك، من خلال تحديد وحدة عمل العضلات في الوجه، فإنه يمكن توفير وسيلة أكثر موضوعية لوصف تعبيرات الوجه. في طريقة أكثر العلمية الحالية لتحديد عمل العضلات في الوجه تم تعريفه من قبل الوجه الترميز FACS نشاط النظام. تعريف FACS هذه الأنشطة تواجه منطقة "وحدة النشاط الوجه"، ويشار إلى أن (وحدات العمل) "AU". الوحدة الأساسية AU كما هو مبين أدناه:

على سبيل المثال، AU6 تمثل العضلات حول العين العقد. أن من المعبد لتوليد سحب على أجزاء من الجلد من العين، بحيث المثلث السفلي يصبح أعلى. وتسبب ارتفاع الخد. في هذه الحالة، ووجه أضيق. وفي الوقت نفسه، تحت أعين تجاعيد الجلد. AU12 تمثيل الفم حتى. في AU12 أقل كثافة، وهذه المرة ستكون أعلى الخدين والجفون تعمقت الأخدود. في أعلى كثافة AU12 والجفون والتجاعيد الخد تعميق وتضييق الخد. تشديد AU14 الفم، بحيث الحركة الداخل من الفم والفم وضاقت. التجاعيد في الجزء الفم.

وفقا لتعريف FACS، مع 32 AU يمكن أن تمثل ما يقرب من جميع العواطف وجهه. كما هو مبين أدناه:

حتى بالمقارنة مع الاعتراف التعبير الأساسي أو تعبيرات مختلطة معقدة، وحدة حركات الوجه أسترالي هو أكثر موضوعية وأكثر طبيعة التعميم، المشاعر الإنسانية أو حركات الوجه أكثر تعريفا شاملا من الطريق. لذلك AU الكشف عن الاعتراف التعبير هو الأكثر أهمية.

2، لماذا ينبغي أن ضعف الرقابة؟

AU هناك العديد من طرق للكشف عن، هو واحد بالكامل الإشراف، أي، استنادا إلى بيانات لتدريب الأبعاد بالكامل كشف الاتحاد الأفريقي؛ ويشرف على النصف الآخر، أي استخدام جزء البيانات إشراف بالإضافة إلى البيانات التكميلية تحمل اسما كاشف تدريب الاتحاد الافريقي.

لكن هاتين الطريقتين في حاجة إلى اتسمت بيانات جيدة. ونحن نعلم أن حتى وجه الشخص ملحوظ بالنسبة للشخص العادي صعب جدا، ناهيك عن الإنسان وجه التسمية AU. علامة AU عند جمع البيانات، من جهة تتطلب المتخصصين من ذوي الخبرة قضى الكثير من الطاقة، على سبيل المثال، الفيديو 1 دقائق طويلة يتطلب خبير يأخذ 30-45 دقيقة لوضع العلامات كاملة، ومن ناحية أخرى بسبب AU ملحوظ الذاتية الكبيرة، حتى الخبراء تسمية البيانات أيضا من السهل جدا أن يخطئ أو غير دقيقة للتنبؤ بنتائج المصنف المدربين قد يكون بيانات غير متناسقة وفقا لهذه التسميات، والتي يمكن أن تؤثر على الأداء.

وبناء على هذه الاعتبارات، اقترح فريق تشاو كايلى استخدام ضعيفة طريقة التجميع تحت إشراف (تجميع ضعيفة، تحت إشراف، WSC) لمعرفة AU. ما يسمى ضعف الرقابة، أي مجموعة البيانات التسمية، ولكن التسميات ليست موثوقة وقد لا تكون صحيحة، وقد تكون هناك أيضا علامات أكثر كافية أو علامات، وعلامات أو محليا. التفكير فريق تشاو كايلى من هذا العمل هو لجمع عدد كبير من الصور على شبكة الإنترنت مجانا، مع مجموعة من البيانات قبل التدريب ملحوظ قبل هذه الصور قد يأتي من هناك قد يأتي من كلمات البحث على الشبكة العالمية، ضعف الرقابة عن طريق تجميع هذه الصور جزءا لا يتجزأ من مساحة ميزة جديدة، حتى لا يكون هناك تعبير مماثل يمكن أن يكون أصغر الملعب، وتستخدم على أساس طريقة تصويت الأغلبية لإعادة صورة نفس التسمية الطبقة، شهد أخيرا مع التدريب ثقيلة الصور وجها لكشف الاتحاد الافريقي.

3 ضعف الرقابة والتكتلات قابلة لل

هناك خطوتين أساسيتين، أولا وقبل كل ذلك هو العثور على ضعف الرقابة التضمين الفضاء عن طريق دمج الطيف (ضعيف تحت إشراف تضمين الطيفي، WSE)، لتمكين نفس التعبير تتجمع معا (على سبيل المثال، في الأعلى على اليسار)، تليها باستخدام رتبة النظام طريقة التجميع الفضاء جزءا لا يتجزأ من صورة إعادة وضع العلامات.

ضعف الرقابة جزءا لا يتجزأ من الطيف

دور WSE هو إيجاد مساحة جزءا لا يتجزأ، وأنها قادرة على الحفاظ على التشابه البصري ووضع العلامات ضعف التناسق، بدلا من المساحة ميزة كالمعتاد مجرد النظر التشابه البصري. بحيث يتم تمثيله بواسطة صيغة

حيث يمثل و (W، L) لتجميع الطيفي، يتم وضع علامة (W، G) من أجل الحفاظ على التناسق ضعيفا.

ترتيب مجموعات علامة الثقيلة

بعد تعلم الخطوة الأخيرة إلى الفضاء جزءا لا يتجزأ من خلال WSE، والخطوة الثانية هي علامة ضعف أمام تحسن. FIG يلي:

أولا، من نوع (المسافة رتبة النظام، والمسافة بين عينتين جار تقاس عن طريق الفرز) لإنشاء لاحظنا وجود مساحة الرسم البياني تضمين صليات. عينات من نفس الفئة مماثلة عموما أقرب توزيع الجار. ثم يستخدمون-اتساع أول المجموعات الهرمية للعثور على مجموعة من عالي الكثافة ومنخفض الكثافة مجموعات بين مجموعات. هاتين العمليتين المعروفة باسم الرتبة للطلب تجميع (ROC).

من أجل وصف نوعية تجميع النتائج، وأنها ستكون مؤشر كتلة حدات (مؤشر جودة البنيوية، MQI) تم تعديلها، ولكن أيضا على التكيف مع الرسم البياني صليات، المعروف أيضا باسم "uMQI".

وأخيرا، استنادا إلى الصور التصويت بالأغلبية مباشرة في نفس المجموعة التي تعتبر نفس الفئة.

4 والتجريبية

بواسطة الأسلوب أعلاه من علامات البيانات، إذا ما استخدمت لتدريب كاشف AU، لذلك إذا كان سيكون هناك أداء أفضل بعد ذلك؟ قام فريق تشاو كايلى في التجارب للخروج باستخدام مجموعة بيانات EmotioNet للتحقق من صحة هذه مجموعة بيانات يحتوي على واحد مليون صورة من الإنترنت، منها 50000 مجموعة متنوعة من AU الصورة علامات.

التحقق من صحة التجارب، الاستنتاجات التالية:

1) بيانات ملحوظ بهذه الطريقة إعادة تدريب-النماذج ليست أقل شأنا من نموذج الإنسان في بيانات التدريب الشرح، أكثر من أي وسيلة أخرى (على سبيل المثال تسمية ضعيفة وشبه يشرف الخ) نماذج تدريب:

2) يوفر طريقة وسيلة لبصريا قضاء صور ضجيج غير طبيعي أو الصور، مثل هذه:

المراجع:

وحدة وجه هيكلة نشاط التعلم متعددة تسمية

https://github.com/zkl20061823

ثالثا، كيفية استخراج فعال ملامح وجوه 3D؟

ورقة: GVCNN: المجموعه مشاهدة الشبكات العصبية التلافيف لشكل الاعتراف 3D

المتحدث: تشانغ Zaizhao - جامعة تسينغهوا

ورقة التحميل: لا

عدد كبير من التطبيقات 3D الكائنات موجودة في الحياة الحقيقية، مثل الواقع المعزز والنمذجة 3D، لذلك نحن بحاجة إلى بناء دراسة فعالة 3D عمق لتحديد سبل حل مشكلة الكائنات 3D. للبحث في هذا المجال لديها الكثير من العمل التمثيلي: نشرت ShapeNet CVPR 2015، وسوف تمثل نموذجا 3D في voxels، مساهمة في الشبكة من أجل استخراج يتميز تصنيف، نشرت في عام 2017 وجوه PointNet CVPR 3D إلى البيانات سحابة نقطة، وقال كائن ثلاثي الأبعاد ثم يتم تصنيفها، وتقسيم أجزاء الدلالي تجزئة المشهد، نشرت يصور كائن ثلاثي الأبعاد من زوايا متعددة في 2015 MVCNN ICCV، استخراج CNN خصائص كل عرض، و ثم طبقة انصهار الخلية عن طريق تعدد وجهات النظر للحصول على ميزة الكائن مميزة.

في جوهرها، وتشانغ Zizhao حيث يقوم فريق من هذا العمل على طريقة تحسين متعددة بغية MVCNN، ونقطة البداية هي: نظرا كائن 3D من وجهة نظر مختلفة لرؤية تلك الدرجة من الاعتراف ليست هي نفسها، لذلك ينبغي أن يكون وفقا لآراء مختلفة ويمكن تجميعها وتحديد أوزان مختلفة.

1، طريقة

ويرى طريقة MVCNN التقليدية التي تتميز ميزة الكائن مشاهدة تجميع مباشرة بهذه الطريقة لا يمكن التمييز بين الوزن وجهة نظر. تشانغ Zizhao حيث فكرة الفريق هو عرض وضوح وفقا لحزمة والجماعة مشاهدة تجميع، للحصول على مستوى مجموعة الميزة، ومن ثم تم الحصول عليها عن طريق الانصهار بين مجموعة ميزة الكائن. وبناء على هذا الاعتبار، اقترحوا إطار شبكة من ثلاث طبقات من عرض لمجموعة الشكل.

على وجه التحديد، في إطار الشبكة بالكامل كما يلي:

في الشكل، وعرض منظور الأول من الإدخال إلى شبكة مختلفة، عبر FCN وCNN وجهات نظر مختلفة من الميزات استخراج (أي في FIG. "النهائي مشاهدة اصفات" هذه الخطوة).

من ناحية أخرى، فإن FCN وبعد التوصيف الأولي، وجهات نظر مختلفة يمكن الحصول عليها من قبل تجمع عشرات حدة وضوح (تطبيع للجزء بين 0-1). ويجدر التأكيد على أنه، عندما وحدة تجميع فقط يتمثل دوره في تقييم وجهات نظر مختلفة. عدد من وجهات النظر، مثل خمسة، بعد ذلك سوف تقسيمها إلى خمس مجموعات متساوية العرض. وجهات نظر مختلفة تذهب إلى مجموعة بناء على نتائجهم.

تجمع مقرها، كل عرض مجموعة من الطريق من خلال متوسط خصائص الخلية التي تم الحصول عليها لهذه المجموعة، وكسور أساس نفس ضمن مجموعات مختلفة قد عرض على وزن المسندة إلى المجموعة. + المجموعات حيث المجموعة مرجحة الانصهار يمكننا الحصول على الخصائص النهائية للكائن.

مجموعة حزم واليمين الوزن عرض

2. التجريبية

ووفقا لتقارير تشانغ Zaizhao، الاختبارات المعملية التي أجريت على مجموعات البيانات الخاصة به ModelNet-40، وضعت هذه البيانات ما مجموعه حوالي 10،000 الكائنات ثلاثية الأبعاد، ما مجموعه 40 فئة.

من ناحية أخرى، مشكلة الاعتراف الكائن 3D واثنين من المهام الرئيسية: أولا، إن مهمة تصنيف، وهما لتحديد نموذج 3D من فئة معينة، فإنها تستخدم المعدل الدقيق والمعايير، والثاني هو مهمة استرجاع، بالنظر إلى أن وجدت من قاعدة البيانات نموذج 3D من نفس النوع من النماذج التي يستخدمونها خريطة وذلك في مؤشر التقييم.

وبالمقارنة مع بعض الموديلات السابقة، وجدنا سواء في مهمة تصنيف أو المهام استرجاعها، GVCNN قد تحسنت كثيرا، لا سيما بالمقارنة مع MVCNN، وتحسين ما يقرب من 3 في مهمة تصنيف، لتعزيز مهمة البحث حوالي 5.

من ناحية أخرى، في التطبيق العملي أنه من الصعب الحصول على جسم ثلاثي الأبعاد، وعدد محدد من زاوية ثابتة نظر. حتى ما إذا كان الإطار المقترح يتطلب تم إصلاح عدد من الآراء أو إدخال منظور ذلك؟

وأجرى الباحثون تجارب المتصلة والتدريب الأول مع 8 العرض، ثم تم اختبارها مع وجهة نظر، عرض 2، عرض 4 و 8 و 12 عرض.

ملاحظة: الجدول لا يشير إلى زاوية الكاميرا مسبقا *

وقد اظهرت النتائج أنه كلما ازداد عدد مع وجهة النظر، ودقة تصنيف أعلى. من ناحية أخرى، إذا كنت لا مسبقا زاوية الكاميرا، ولكن 8/12 تم اختيارها عشوائيا لاختبار المنظور، فإن القرار فقط 84.3 / 85.3، مقارنة مع تراجع أداء زاوية ثابتة الكثير.

3، ملخص

والفكرة الأساسية هي لعرض تحديد درجات مختلفة يمكن تصنيفها وأوزان مختلفة ثم تنصهر السمة العامة التي تم الحصول عليها، على عكس الطرق التقليدية كما الأوزان من جميع وجهات النظر هي نفسها. جوهر هذا النهج هو أن عينة لتصنيف غرامة والتمكين، وجلب دائما تحسين الأداء.

المراجع:

الوثب العالي جامعة تسينغهوا الشخصي أستاذ مشارك

مدرسة معلومات تم توظيف ست ورقات أعلى CVPR2018 مؤتمر دولي

متعدد عرض الشبكات العصبية التلافيف عن الاعتراف 3D الشكل (MVCNN، عرض)

3D ShapeNets: A ديب التمثيل لالحجمي الأشكال (ShapNet، voxels)

PointNet: A 3D التلافيف الشبكة العصبية في الوقت الحقيقي للاعتراف فئة الكائن (PointNet، سحابة نقطة)