1 جي فاز تقرير جديد

مع تطبيق تألق الذكاء الاصطناعي في مختلف المجالات، وعمق التعلم أصبح الشارع يمكن سماع المفردات. ومع ذلك، فإن شبكة أعمق وأعمق، المزيد والمزيد من البيانات، والمزيد والمزيد من التدريب لفترة طويلة، وكيفية تسريع الشبكة في ضمان دقة، وتدريب الشبكة حتى واختبارها على وحدة المعالجة المركزية أو جهاز الهاتف النقال، ويصبح وشيكا المشكلة.

مختبر الذكاء الاصطناعي من الباحثين بجامعة جياوتونغ فى شانغهاى نشرت ورقة "تسارع على أساس الترتيب العالي المتبقية الكم شبكة عالية الدقة" (الأداء مضمون شبكة تسريع عبر عالية بالدفع المتبقية تكميم)، اقترح نهجا جديدا، ويمكن التأكد من أن الشبكة ضغط عمق نموذج الشبكة فرضية دقة. النتائج التجريبية، وحجم الشبكة يتم تخفيض من قبل حوالي 32 أضعاف، وتحسين سرعة 30 أضعاف. على الرغم من أن الأساليب التقليدية حققت أيضا تأثير مماثل على حجم وسرعة، ولكن الطريقة المقترحة في هذه الورقة هو المتفوق في ضمان دقة.

طريقة الضغط HORQ الجديد: تسريع شبكة الحوسبة مع ضمان دقة

التقليم إضافة إلى الشبكة، ومتفرق تقريب الشبكة، الخ، هي أيضا شبكة مشتركة الوضع تسريع شبكة binarization. عادة، ونحن +1 و -1 بدلا من القيم نقطة عائمة الأصلي، مثل أن عمليات التفاف الضرب تصبح الجمع والطرح العملية، بينما في الوقت نفسه إذا كان الإدخال والوزن binarization الحصري أو الضرب العملية ستصبح العملية.

ويبدو أن هذا ضغط شبكة معقول، ولكن إذا كنت ببساطة استخدام الأسلوب عتبة binarization لإدخال شبكة معالجة ثنائي، وكان آخر من دقة النموذج لا يمكن أن تكون مضمونة. ولكن إذا كنت لا تستخدم أسلوب ثنائي لتسريع الشبكة، ثم لا يمكنك استخدام ثنائي يجلب مزايا في مجال الحوسبة والتخزين.

يعرض هذا المقالة HORQ (عالية بالدفع المتبقية تكميم) الطريقة المقترحة واحد لطريقة ذات الترتيب العالي لقياس المدخلات الثنائية المتبقية، سواء للاستفادة من الحوسبة ثنائية لتسريع شبكة الحوسبة، ولكن أيضا لضمان أن ينتج ثنائي نموذج شبكة القطارات لديها معدل دقة عالية .

ويبين الشكل الأول كيفية استخدام طريقة التقليدية HORQ طبقة المتبقية التفاف الكم.

FIG HORQ هيكل ل

قبل binarization، وXNOR على سبيل المثال، ببساطة عن طريق استخدام عملية إدخال عتبة تكميم. ويمكن رؤية هذه الأساليب باعتباره الفاصلة العائمة طريقة ثنائي أجل تقريب. وعلاوة على ذلك، وذلك باستخدام الطريقة الموصوفة متكررة هنا قيمة العتبة تكميم، وHORQ الإطار المقترح. على وجه التحديد، كما هو مبين في الشكل رقم 1، بعد أول عملية تكميم قيمة العتبة، يمكننا تحديد وحساب المقابلة تقريبي أجل التغيير المتبقية، ثم أمر من تقريب ثنائي المتبقية الجديد. بواسطة المتبقية ذات الترتيب العالي التقريب، يمكننا الحصول على الثنائية خريطة ميزة المقابلة لمستويات مختلفة في. وأضاف، أن الناتج النهائي ويمكن الحصول على هذه الميزة خريطة.

النتائج التجريبية

تم اختبار تجريبي قسم من هذه المادة في مجموعة البيانات MNIST وCIFAR-10، في السابق لا توجد HORQ-الشباك لاتخاذ إجراء مقارنة بسيطة من الدرجة الأولى إدخال عتبة طريقة binarization مزاياه مما يثلج الصدر:

تجربة الشكل الثاني MNIST

FIG ثلاث تجارب Cifar 10

لقد وجدنا أن أسلوب تكميم-الدرجة الثانية المتبقية من حجم الشبكة بنسبة حوالي 32 أضعاف، في حين أن 30 أضعاف سرعة تحسن مقارنة XNOR صافي اختبار دقة معدل على اثنين MNIST وCIFAR 10 يتم تحسين هناك، وأظهر إمكانات الشبكة، ويمكن تدريبهم على وحدة المعالجة المركزية.

أداء FIG أربعة تسريع أسلوب التحليل HORQ

FIG خمسة HORQ تحليل أسلوب تكميم أجل تسريع

تسارع HORQ طريقة التفاف احتساب عدد الطبقات مقارنة مع حجم نواة الالتواء، خريطة كمية الميزة، وخطوة تكميم المتبقية له علاقة أكبر. وتنعكس هذه العلاقات في الشكل الرابع والخامس. وعلاوة على ذلك، كما هو مبين في الشكل ستة، استنادا إلى مساحة تخزين نموذج binarized يمكن أن تقلص إلى حد كبير.

خاتمة

تكميم ثنائي طريقة HORQ رقة الطريقة المعروضة يمكن استخدامها كأساس لbinarizing شبكة المدخلات، فمن الممكن لضمان دقة من شبكة نموذج فرضية، وذلك باستخدام سرعة ثنائي حساب الكم تحسين تقنيات الشبكات، و بينما يحتاج الأجهزة الفعلية إلى تعديلها وفقا للنظام المتبقي لتلبية الاحتياجات.

هذا الأسلوب له آفاق كبيرة للتنمية واستخدامها. لمتوسط عمق شبكة التعلم، يمكن طريقة HORQ تعجيل سرعة الحساب يمكن أن يكون عمق كبير للشبكة. منذ المدخلات ووزن كل طبقة الشبكة وإدخال binarized، قبل أن النموذج هو تقلص إلى حد كبير زمن الانتشار والمساحة المطلوبة لتخزين نموذج تم ضغطها إلى حد كبير، حتى الصغيرة في منصة الحوسبة محدودة الموارد، مثل الهواتف المحمولة وعمق دفتر تشغيل نموذج الشبكة على نطاق واسع ممكن. وعلاوة على ذلك، تمكن المتبقي طريقة ذات الترتيب العالي تكميم يتم ضمان دقة الشبكة، حتى أن الشبكة لم تعد بسبب binarization بسيطة تحدث انخفضت الدقة.

وكانت ورقة ICCV2017 الواردة تنفذها مختبر الذكاء الاصطناعي في جامعة جياوتونغ فى شانغهاى، الدكتور فيكتور فان، أستاذ ني بينغ بينغ، البروفيسور تشانغ ون جيون، البروفيسور يانغ شياو كانغ، قاو ون الإرشاد الأكاديمي.

الأوراق ذات الصلة الأداء مضمون تسريع الشبكة عبر عالية بالدفع المتبقية تكميم ستنشر في ICCV، تستطيع رؤية التفاصيل.