في 27 فبراير ، تم افتتاح الجلسة الأولى من سلسلة Nvidia لمعالجة الصور عبر الإنترنت ، وتمت مناقشتها مع مئات من المطورين والطلاب حول كيفية استخدام مجموعة أدوات التعلم من NVIDIA و Deepstream لتحقيق الكشف عن الهدف في الوقت الفعلي.
بناء على طلب القراء ، قم بتنظيم المحتوى المشترك في نص ومشاركته مع الجميع. يتم إرفاق دفتر الملاحظات الفعلي في نهاية النص.
مرحبًا بالجميع ، الأدوات التي سيتم تقديمها اليوم هي NVIDIA Transfer Learning Toolkit (TLT) و DeepStream SDK.
هذه الصورة هي تفسير جيد لإطار التعلم العميق ، من منظور التطبيق ، والرؤية ، والتعرف على الكلام ، البرمجة اللغوية العصبية ، والعاطفة ، وأنظمة التوصيات تتطور بسرعة. هناك العديد من الأطر في السوق التي تدعم تطبيقات التعلم العميق هذه ، مثل Caffe و TensorFlow و PyTorch وما إلى ذلك ، والأساس الذي يدعم هذه الأطر هو قوة الحوسبة القوية.
توفر NVIDIA عددًا كبيرًا من وحدات معالجة الرسومات ، والأجهزة المتطورة ، وما إلى ذلك ، مما يوفر دعمًا قويًا لأطر التعلم العميقة والتدريب على الاستدلال. في نظام NVIDIA CUDA البيئي ، تم إنشاء سلسلة من الأدوات مثل cuDNN و TensorRT و DeepStream SDK و cuBLAS ، وكلها المحتوى الأساسي لتطبيقات الإطار المتوسط المستوى.
تربط مجموعة أدوات نقل التعلم التي سأقدمها اليوم أدوات الطبقة التالية (باستثناء الأخيرة) ، وهي أداة مفيدة جدًا.
تقدم مشاركة اليوم بشكل أساسي TLT وتضع النموذج المدرب على DeepStream SDK.
DeepStream SDK
تم تصميم DeepStream SDK من أجل إنشاء ونشر حلول تطبيقات تحليل الفيديو المستندة إلى الذكاء الاصطناعي على نطاق واسع ، والتي تغطي جميع الوحدات في مرحلة نشر معالجة الفيديو ، وتوفر إطارًا كاملاً وجميع اللبنات الأساسية. يسمح للمطورين بالتركيز على شبكة التعلم العميق الأساسية الخاصة بهم والملكية الفكرية بدلاً من تصميم حلول شاملة من الصفر.
أصبح أحدث DeepStream أداة عالمية تدعم التطبيقات متعددة المنصات وعبر الأنظمة الأساسية ، وتدعم سلسلة متعددة من بطاقات الرسومات ، ويمكن أيضًا وضعها على الأنظمة الأساسية المضمنة. فهي توفر موارد الحوسبة في إدارة الذاكرة ، وتقلل من استخدام الواجهة ، وتسريع التشفير وفك التشفير. كما تم تحسين الجانب.
فيما يلي مثال على ذلك. يعتمد الفيديوان التاليان على شبكة Yolo v3 ، وقمنا بضبط Batch Sizing على 1.
الصورة أعلاه غير محسنة ، والنتيجة هي سرعة الاستدلال لحوالي 1 إطار في الثانية ، والصورة أدناه محسنة فقط مع DeepStream ، التي وصلت إلى 4.5 إطارات في الثانية ، مما يعني أن تأثير التحسين هو 4 مرات.
جوهر تسريع الاستدلال DeepStream هو TensorRT ، أداة محرك الاستدلال GPU. لقد أنتجنا العديد من مقاطع الفيديو والحالات الرسمية للشرح. بحث Youku عن "نفيديا الصين" رأي.
نقل مجموعة أدوات التعلم
أداة أخرى هي Nvidia Transfer Learning Tooklkit. TLT عبارة عن مجموعة أدوات قائمة على Python ، والتي توفر عددًا كبيرًا من النماذج المدربة مسبقًا وتوفر سلسلة من الأدوات لتكييف هياكل الشبكات الشائعة مع البيانات الخاصة بالمطورين ، ويمكن تدريب النماذج وتعديلها وتقليمها وتصديرها من أجل النشر ، مما يحسن بشكل كبير من كفاءة سير عمل التعلم العميق.
وظيفة أخرى لـ TLT هي أن تدريب النموذج أو تأثير التعديل في بيئة GPU المتعددة غير المتجانسة جيد جدًا ، ويمكن نشر النموذج في مكان التدريب مباشرة على Tesla و Jetson ومنتجات أخرى.
مكافحة كشف الهدف
بعد ذلك ، نقدم خطوة بخطوة من التثبيت إلى النموذج إلى استخدام الاستدلال.
فيما يلي أكثر من 30 نموذجًا شائع الاستخدام ، يمكنك العثور عليها في الرمز. يوفر راحة شاملة لسير عمل التعلم العميق المطبق في مجال رؤية الكمبيوتر.
بادئ ذي بدء ، نحتاج إلى تنزيل الأدوات والنماذج في NGC (https://www.nvidia.cn/gpu-cloud/) ، وإجراء التدريب الأولي والتقليم وإعادة التدريب. يتم وضع نموذج الإخراج مباشرة على TensorRT.
بعد نشر TLT على الخادم ، نوصي ببعض الأجهزة.
من بينها ، يمكن لـ Ubuntu استخدام 16.04LTS أو أعلى ، يتطلب برنامج تشغيل GPU الإصدار v410 والإصدارات الأحدث ، توصي DeepStream باستخدام 4.0 أو أعلى.
أولاً ، تحتاج إلى تثبيت عامل الميناء وإنشاء مفتاح API. هذا المفتاح مهم جدًا ويجب حفظه بعد الإنشاء.
بعد ذلك ، قم بتشغيل صورة TLT على الخادم.
تحتاج المنطقة الحمراء المميزة v1.0.1_py2.
بعد الدخول إلى واجهة التشغيل ، نحتاج إلى تدريب النموذج ، والتحسين ، والتقييم ، والمعالجة المسبقة للبيانات ، وتحويل النموذج والعمليات الأخرى على جانب الخادم ، ونشر محرك الاستخدام على جانب Jetson.
* بعد ذلك ، تم شرح نشر الكود بالتفصيل. يقتصر على الوصف النصي ، نقوم بتحميل عملية التشغيل Notebook على قرص الشبكة ، ويمكننا تنزيل تشغيل البث المباشر ، PPT والمواد الأخرى في نفس الوقت ، ويمكن لشركاء التعلم تنزيل وعرض:
استخراج الرابط: https://pan.baidu.com/s/1o_5yA8DYGTk3rz5i2oJmeQ
كود الاستخراج: nveu
في الدروس التالية ، سنشارك أيضًا المزيد من التعليمات البرمجية التي يمكن تشغيلها بالفعل. نرحب أيضًا بزيارة مجتمع مطوري Nvidia لمزيد من الموارد.
التسجيل في سلسلة من الدورات
سيحضر مدرسو نفيديا الخبراء سلسلتين لمعالجة الصور لمشاركتها يومي 12 و 26 مارس. مرحبًا بالتسجيل للمشاركة ~
طريقة التسجيل: إضافة مساعد صغير (vvx: qbitbot12) ، تذكر ملاحظة "Nvidia" ~
