لى فنغ شبكة AI تقنية مراجعة من قبل: ARCORE هو جوجل في فبراير من العام الماضي، رسميا الواقع المعزز (AR) أدوات تطوير برامج، يوفر للمطورين مع منصة لتطوير AR APP. قبل أقل من شهر، وجوجل رسميا ARCORE 1.7 الإصدار، إضافة الأمامية قدرات صورة شخصية الكاميرا AR والدعم للرسوم المتحركة، وقبل أيام قليلة، أدخلت جوجل التكنولوجيا تعلم آلة لها، في الوقت الحقيقي حتى الصور الشخصية للمزيد من الواقعية AR أبعد من ذلك، والمواد ذات الصلة بالتكنولوجيا نشرت على بلوق جوجل الرسمية الشبكة AI، AI مراجعة تكنولوجيا لى فنغ جمعت على النحو التالي.

المضاف الواقع (AR) من خلال المحتوى الرقمي والمعلومات فرضه على الساحة الحقيقية للعالم المادي، لجعل البشر يدركون حقيقة ما وراء التجربة الحسية. على سبيل المثال، وظيفة خرائط جوجل AR، يمكن فرضه المعلومات الاتجاه في سيناريوهات واقعية لتوجيه لكم. ملعب سيلة لوضع بيكسل، يمكنك استخدام AR لرؤية العالم من منظور مختلف. أقنعة وتعزيز (وجوه المعزز) API عن طريق الإصدار الأخير من "قصص يوتيوب" وARCORE جها جديدا، يمكنك إضافة الرسوم المتحركة، والنظارات والقبعات، وغيرها من المؤثرات الخاصة على الصور الشخصية للجلد.

واحدة من التحديات الرئيسية لتحقيق هذه المهمة AR، هو وسيلة مناسبة لمحتوى الظاهري ترتكز على العالم الحقيقي: هذه العملية يجب أن تكون قادرة على تتبع كل مرة ابتسامة، فريدة من نوعها عالية ديناميكية عبوس سطح الهندسة أو صمة تكنولوجيا الاستشعار.

شبكة ARCORE 3D وكذلك بعض الآثار التي يمكن أن تحقق

لهذا الغرض، ونحن نقدم تقنيات التعلم الآلي (ML) لاستنتاج التقريبية الهندسة سطح 3D، وتحتاج فقط إلى استخدام كاميرا واحدة دون استخدام جهاز استشعار مخصصة المدخلات العمق. يستخدم هذا الأسلوب المحمولة وحدة المعالجة المركزية واجهة TensorFlow لايت ظائف GPU المحمولة الجديدة المتوفرة أو الاستدلال، لتحقيق تأثير في الوقت الحقيقي الواقعي للAR. وكانت التكنولوجيا الجديدة المستخدمة من قبل المبدعين من المؤثرات الخاصة و"قصص يوتيوب"، وهذه التكنولوجيا مفتوحة للمجتمع المطورين واسع من خلال أحدث ARCORE SDK وML كيت كشف الوجه كونتور API.

تعلم آلة لصورة شخصية AR سير العمل

نحن سير العمل من قبل آلة التعلم الشبكة العصبية في الوقت الحقيقي عمق اثنين تتعاون مكونات: كاشف، الذي يحسب موقف من الوجه ويمتد على كامل الصورة، والآخر هو 3D عام شبكة النموذج، الذي التحقيق يتم احتساب تشغيل موقف الوجه، والهندسة سطح تنبأ به تقريب الانحدار. على وجه التحديد قطع السطح يمكن أن يقلل كثيرا من الحاجة إلى البيانات العامة المحسنة، على سبيل المثال، وتحويل تآلفي عن دوران والترجمة والتحجيم للتكوين (تحويل تآلفي) وما شابه ذلك، مع تمكين الشبكة لوضع أكثر من الأداء المتوقع تنسيق لتحسين دقتها الجنس - وهو أمر ضروري لترسيخ السليم من المحتوى الظاهري.

بعد قطع الموقف النهاية من الفائدة، وشبكة متداخلة تطبيقها مرة واحدة فقط في إطار واحد، واستخدام إطارات ناعمة (تجانس إطارات) للحد من الضوضاء الساكنة في وجهه، في حين تحدث تجنب تأخيرات كبيرة خلال هذه الخطوة.

شبكة أنشطة 3D

لشبكة 3D، اعتمدنا دراسة الهجرة وتدريب الشبكة مع أهداف متعددة: الشبكة، ويمكن بناء على التوليف في وقت واحد، مما يجعل 3D إحداثيات الشبكة وبيانات التنبؤ على أساس MLKit مماثلة مع التعليقات التي قدمها والبيانات في العالم الحقيقي للتنبؤ 2D الشخصي الدلالي. شبكة النهائية توفر لنا معقول على أساس 3D شبكة البيانات وتجميع البيانات في العالم الحقيقي للتنبؤ. جميع النماذج في البيانات الجغرافية المتنوعة المستمدة من مجموعة البيانات إلى القطار، ومن ثم اختبار أداء نوعي وكمي على التوازن، ومجموعة متنوعة من مجموعة الاختبار.

تلقي 3D شبكة شبكة اقتصاص إطار الفيديو كإدخال. لأنه لا يعتمد على عمق مدخلات إضافية، والتي يمكن تطبيقها لالمسجلة مسبقا الفيديو. موقف انتاج نموذج نقاط 3D، وأيضا إخراج وجه محاذاة بشكل صحيح، واحتمال وجود في المدخلات. ومن المتوقع ثمة بديل شائع خريطة 2D لكل الحرارة معلما، ولكن هذه الطريقة لا تنطبق على عمق تنبؤ، والكثير من نقاط البيانات، وذلك باستخدام تكلفة الحسابية لهذه الطريقة تستهلك عالية جدا.

بواسطة توقعات التنمية الذاتية وتكرير متكررة، فقد قمنا بتحسين كذلك دقة ومتانة نموذج، ولكن أيضا مجموعة البيانات لتصبح أكثر تحديا سبيل المثال، مثل الوجه والميل زاوية الكاميرا وانسداد الوجه. وعلاوة على ذلك، فإن مجموعة البيانات المعززة التكنولوجيا أيضا يمتد بيانات أرضية المتاحة، ونموذج وضعت من كاميرا وجود قوة مرنة لالتحف، وعيوب أو مشاكل ظروف الإضاءة الشديدة.

وتحسين مسار تمديد مجموعة البيانات

تصميم واجهة أجهزة مخصصة

نحن نستخدم TensorFlow لايت بنيت معدات الشبكات العصبية الاستدلال. تسارع جديد GPU الخلفية يمكن تحسين فعالية الأداء وتقلل إلى حد كبير من استهلاك الطاقة. وبالإضافة إلى ذلك، قمنا بتصميم مجموعة من النماذج المعمارية ذات خصائص أداء مختلف والكفاءة، لتغطية الأجهزة المستهلك الصف أوسع. معظم الفرق المهم بين الشبكة البسيطة هي أن كتلة المتبقية (المتبقية بلوك) ومقبول قرار تصميم المدخلات (أبسط قرار نموذج المدخلات هو 128 128 بكسل، والقرار مدخلات النموذج الأكثر تعقيدا وكان 256 256). ونحن أيضا تغيير عدد من الطبقات ومعدل أخذ العينات الفرعية (القرار المدخلات مع تناقص سرعة الشبكة عمق يتم تخفيض).

تقدير الوقت من كل إطار: CPU مقابل GPU

تعظيم الاستفادة من نتائج هذه السلسلة هو: استخدام نموذج أبسط يجلب تسارع كبير، في حين خفض أيضا حجم الآثار نوعية AR التقليل.

مقارنة بين معظم نموذج معقد (من اليسار) وأبسط نموذج (يمين): على نموذج بسيط من الاتساق وتتبع توقيت الشفتين والعينين خفضت قليلا.

والنتيجة النهائية هي ممكنة من خلال الطرق التالية، مما يسمح للمستخدمين يوتيوب، ARCORE وعملاء آخرين لتجربة أكثر واقعية تأثير صورة شخصية AR:

• الضوء الذي ينعكس من خلال خريطة بيئة محاكاة لتحقيق تقديم واقعية من النظارات.

• بواسطة الظل الظاهري للكائن المتوقعة على سطح الشبكة، لتحقيق التأثير من الضوء الطبيعي.

• نمذجة درع وجها لاخفاء وراء جزء الهدف الظاهري من الوجه، كما هو مبين في حالة النظارات الظاهري.

وبالإضافة إلى ذلك، حققنا أيضا آثار للماكياج واقعية من خلال الطرق التالية:

• انعكاس منتظم على تطبيق النمذجة لشفتيك؛

• استخدام الإنارة ينظر تلوين المادية اللازمة لتحقيق الوجه.

حالة المقارن: 5 AR الهدف الحقيقي وماكياج آثار مستحضرات التجميل في ضوء الآثار المختلفة

ونحن سعداء لتقاسم هذه التكنولوجيا الجديدة إلى المبدعين والمستخدمين والمطورين. يمكن للقراء المهتمين تحميل أحدث ARCORE SDK (تحميل: الشبكي: //developers.googleblog.com/2019/02/new-ui-tools-and-richer-creative-canvas.html) لجلب هذه التكنولوجيا معهم. في المستقبل، ونحن نخطط أيضا لهذه التقنية يتم تطبيقها على نطاق واسع إلى مزيد من خط الانتاج جوجل.

عن طريق: الشبكي: //ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html شبكة لى فنغ