تقنية مراجعة AI حسب: اليوم أعلنت وضعت تينسنت AI مختبر مركز التعلم الآلي بنجاح إطار الأولى في العالم الآلي التعلم ضغط نموذج العمق - PocketFlow، والمقبلة الافراج عن المصدر المفتوح في المستقبل القريب. وفقا لشبكة لى فنغ AI تكنولوجي ريفيو ومن المفهوم أن هذا هو نموذج للالتلقائي المحمول المطور AI محطة إطار الضغط الذي يدمج النموذج السائد خوارزمية ضغط الحالية والتدريب، جنبا إلى جنب مع المكون الأمثل فائقة المعلمة الذاتي المتقدمة لتحقيق الأتمتة الكاملة لنموذج استضافت ضغط والتسارع. لا تحتاج للمطورين لمعرفة تفاصيل محددة من الخوارزمية، فإنه يمكن نشر بسرعة التكنولوجيا AI إلى المنتجات النهائية النقالة، والتجهيز المحلي الفعال للبيانات المستخدم.
مع التطور السريع لتكنولوجيا AI، المزيد والمزيد من الشركات ترغب في ضخ قدرات منظمة العفو الدولية في المنتجات النهائية المحمولة الخاصة بهم، ولكن التيار التعلم العميق نموذجا للموارد الحوسبة وغالبا ما تطالب، من الصعب نشر مباشرة إلى الأجهزة النقالة المستهلك. في هذه الحالة، من رقم الموديل خوارزميات الضغط ظهرت مسرع، فمن خسارة ممكنة من الدقة صغيرة (حتى ضياع)، وتحسين فعالية الكفاءة الحسابية للهيكل شبكة CNN وRNN مثل، بحيث عمق نموذج التعلم نشرها في محطة متنقلة ممكن. ومع ذلك، كيف السيناريو التطبيق الفعلي، وحدد ضغط نموذج وتسارع الخوارزميات وقيم المعلمات المقابلة مناسبة أكثر، فإنه غالبا ما يتطلب المزيد من المعرفة المتخصصة والخبرة العملية سيؤدي هذا إلى زيادة مما لا شك فيه الحد الأدنى لاستخدام هذه التكنولوجيا لمتوسط المطور.
في هذا السياق، وضعت تينسنت AI مختبر مركز التعلم آلة إطار مفتوح المصدر PocketFlow لأتمتة عمق الضغط وتسارع نموذج التعلم، وتستخدم على نطاق واسع في تكنولوجيا الطاقة AI المنتجات النهائية أكثر قدرة على الحركة. خوارزمية ضغط من خلال دمج مجموعة متنوعة من نموذج التعلم العميق، وإدخال عناصر مبتكرة الأمثل فائقة المعلمة، يعزز كثيرا من درجة الأتمتة تقنية ضغط نموذج . المطورين لا تحتاج خوارزمية محددة نموذج التدخل ضغط وفي اختيار سوبر قيم المعلمات، ببساطة تحديد مجموعة من مؤشرات الأداء المطلوب ويمكن ضغطها نموذج PocketFlow التي تلبي احتياجاتك، والانتشار السريع للتطبيقات المحطة الطرفية النقالة.
الإطار مقدمة
عنصر إطار PocketFlow تتكون أساسا من جزئين، هما / مكونات تسارع خوارزمية ضغط نموذجية و عنصر الأمثل فائقة المعلمة إن بنية محددة التالية FIG.
المطورين من النماذج إطار PocketFlow غير مضغوط الأصلي كمدخل، تحديد الأداء المطلوب، مثل نموذج ضغط و / أو زيادة في السرعة؛ في كل تكرار مجموعة سوبر المكون المعلمة الأمثل على قيم المعلمات المختارة تكوينها، ثم المكونات خوارزمية ضغط نموذج / تسارع على أساس مزيج من قيمة فائقة المعلمة، يتم ضغط النموذج الأصلي للحصول على نموذج مرشح مضغوط؛ نموذج مرشح بناء على نتائج تقييم الأداء، الترا ضبط معايير نموذج المعلمة عنصر الأمثل لها، وتحديد مجموعة جديدة من القيم المعلمة على التراكيب ، للبدء في إجراء التكرار التالي؛ إنهاء التكرار عندما PocketFlow لتحديد مزيج الأمثل للقيمة فائقة ونموذج مرشح المعلمة المقابلة، والإخراج النهائي، يعود المطور لنشر محطة متنقلة تستخدم نموذجا.
على وجه التحديد، PocketFlow من خلال التكامل الفعال لمختلف مكونات الخوارزمية التالية، لتحقيق الضغط وتسارع فقدان دقة أقل، وأكثر الآلي نموذج التعلم العميق:
أ) تشذيب قناة (التقليم قناة) العنصر : في شبكة CNN، والتي تتميز البعد القناة في FIG التقليم يمكن أن تقلل في الوقت نفسه حجم النموذج والتعقيد الحسابي، ونموذج مضغوط يمكن نشرها مباشرة على إطار التعلم عمق القائمة. في CIFAR 10 مهمة تصنيف الصور، من خلال القناة قد يتحقق ResNet-56 نموذج التقليم عند 2.5 أضعاف تسارع تصنيف فقدان دقة 0.4، 3.3 أضعاف تسارع فقدان 0.7 من الدقة.
ب) الوزن الخفيف من (الوزن sparsification) مكونات : عن طريق إدخال تبعثر قيود الوزن الشبكة، يمكن أن تقلل بشكل كبير من عدد غير الصفر عناصر من أوزان الشبكة، ويمكن تخزين الأوزان شبكة الوزن نموذج ونقلها في شكل مصفوفة متفرق بعد ضغط من أجل تحقيق نموذج الضغط. لMobileNet تصنيف الصور نموذج، بعد حذف الوزن شبكة 50، من أعلى إلى 1 تصنيف فقدان الدقة في ImageNet مجموعة البيانات فقط 0.6.
ج) وزن يبلغ من (تكميم الوزن) عنصر : عن طريق إدخال قيود الوزن شبكة تكميم، ويمكن استخدامها للحد من عدد البتات المطلوبة لكل الأوزان الشبكة؛ تقدم الفريق أيضا الدعم لهذين النوعين من موحدة وغير موحدة خوارزميات تكميم يمكن الاستفادة من الأجهزة ARM وFPGA الأجهزة الأمثل لتعزيز كفاءة محطة الحوسبة المتنقلة، وتوفير برامج الدعم للمستقبل العصبي تصميم رقاقة الشبكة. يستخدم ResNet 18 نموذج لتصنيف الصور المهام ImageNet سبيل المثال، في نقطة محددة الكم دقة ثابتة 8 بت يمكن 4x وضياع ضغط.
د) شبكة التقطير (التقطير الشبكة) المكون : للحصول على النموذج أعلاه ضغط التجمع، وإخراج النموذج الأصلي غير مضغوط باعتبارها معلومات رصد إضافية، أشرف نماذج التدريب بعد ضغط، ويمكن الحصول على ضغط / تسريع دون تغيير 0.5 -2.0 ليست والدقة أخرى تحسنت.
ه) تدريب متعدد GPU (تدريب متعددة GPU) مكونات : دورة تدريبية نموذج التعلم العميق لمتطلبات موارد الحوسبة عالية، وGPU واحد صعب لإكمال في نموذج التدريب وقت قصير، وبالتالي فإن الفريق يقدم الدعم الكامل للتدريب وزعت بطاقة آلة متعددة، من أجل تسريع عملية التنمية المستخدم. محول نموذج الترجمة الآلية إما Resnet-50، يمكن إكمال نموذج تصنيف الصور بناء على بيانات ImageNet أو البيانات على أساس WMT14 التدريب في ساعة واحدة.
و) الترا المعلمة الأمثل (الأمثل فرط المعلمة) عنصر : معظم المطورين من خوارزميات الضغط النموذج غالبا ما لا يفهمون، ولكن في كثير من الأحيان تتجاوز قيمة المعلمة لديها تأثير كبير على النتيجة النهائية، وبالتالي فإن الفريق قدم مكونات الأمثل فائقة المعلمة، وذلك باستخدام AutoML بما في ذلك تعزيز التعلم الخوارزميات والتنمية الذاتية للمختبر AI التلقائي سوبر الأمثل إطار المعلمة وفقا لمتطلبات أداء محددة لتحديد التركيبة المثلى من قيمة المعلمة جدا. على سبيل المثال، بعد قناة لخوارزمية التقليم، مكون الأمثل المعلمة جدا يمكن تلقائيا استنادا إلى النموذج الأصلي، ودرجة التكرار في طبقات كل منها، وطبقات مع نسب مختلفة من التقليم، تحت فرضية ضمان نسبة الضغط لتلبية نموذج العام، وتحقيق ضغط تعظيم نموذج لدقة التعرف.
عرض الأداء
من خلال إدخال مكونات الأمثل فائقة المعلمة، وليس فقط لتجنب عتبة عالية، مملة دليل التكيف المعلمة العمل، ولكن أيضا يجعل PocketFlow على كل خوارزمية ضغط شاملة من تأثير تعديل المعلمة الاصطناعي. في المهام تصنيف الصور، على سبيل المثال، على ImageNet CIFAR 10 ومجموعات البيانات الأخرى، متنوعة PocketFlow هياكل شبكة CNN ResNet ومثل MobileNet فعال ضغط وتسريع نموذج.
CIFAR 10 في مجموعة البيانات، PocketFlow لتقليم ResNet-56 نموذجا مرجعيا للقناة، وشبكة المعلمة الأمثل واستراتيجية التدريب التقطير فائقة أضاف، حقق تسارع 2.5 أضعاف تصنيف فقدان دقة 0.4 3.3 أضعاف الخسائر تسارع دقة 0.7 ، ومتفوقة بشكل ملحوظ ResNet-44 في نموذج مضغوط؛ على ImageNet مجموعة البيانات، PocketFlow قد يكون خلاف ذلك MobileNet نموذج مبسط جدا استمر رقيق الوزن، نموذج أصغر للحصول مماثلة دقة تصنيف حجم ، بالمقارنة مع التأسيس-V1، ResNet 18 نموذج وما شابه ذلك، حجم النموذج هو فقط حوالي 20 إلى 40 من هذا الأخير، ولكن أساسا نفس دقة التصنيف (أو أعلى من ذلك).
مقارنة، PocketFlow السوبر إطار AutoML عنصر الأمثل المعلمة التلقائي المعلمات تعديل اليدوية تستغرق وقتا طويلا يمكن فقط أكثر من 10 تكرارات تحقيق أداء مماثل التكيف مع المعلمة اليدوي ، وبعد تكرار 100 مرة في البحث على مجموعات المعلمة التي تم الحصول عليها يمكن خفضها الى فقدان حوالي 0.6 من الدقة؛ الأمثل فائقة المعلمة باستخدام مكون تلقائيا يحدد عدد البتات تكميم كل طبقة في أوزان الشبكة، PocketFlow في مهمة تصنيف الصورة لImageNet عندما مضغوط ResNet 18 نموذج، قدم أداء ثابت، وعندما متوسط عدد البتات تثبيت قيمة هو 4 بت، المكون الأمثل فائقة المعلمة قد قدم إلى دقة تصنيف زيادة 63،6-68،1 (دقة التصنيف من النموذج الأصلي إلى 70.3).
عمق الضغط وتسارع نموذج التعلم هو واحد من التركيز على البحوث الدراسي الحالي، في حين أن لديها صناعة أيضا مجموعة واسعة من التطبيقات. مع الأخذ PocketFlow والمطورين في حاجة إلى فهم تفاصيل خوارزمية ضغط نموذج، وأنهم لا يهتمون اختيار وضبط معايير مختلفة عظمى، والتشغيل الآلي يمكن أن يستند هذا الإطار، نموذج مبسط يمكن استخدامها لوضع نهاية سريعة للنشر المحمول، وذلك ل منظمة العفو الدولية في العديد من التطبيقات أكثر قدرة على الحركة في المنتجات النهائية مهد الطريق.
مراجع
Zhuangwei الحكم لقومية تشوانغ، Mingkui تان، بوهان الحكم لقومية تشوانغ، جينغ ليو، Jiezhang تساو، تشينغ ياو وو، Junzhou هوانغ، جينهوي تشو "التمييز علم قناة التقليم عن الشبكات العصبية العميقة"، في بروك. من المؤتمر السنوي لل32 الإعلام العصبية معالجة الأنظمة، يستأصل '18، مونتريال، كندا، ديسمبر 2018.
جيا شيانغ وو وى دونغ هوانغ، Junzhou هوانغ تونغ تشانغ "خطأ التعويض عنها الكم SGD وتطبيقاته على نطاق واسع الأمثل الموزعة"، في بروك. من المؤتمر الدولي للتعلم آلة، ICML '18، ستوكهولم، السويد 35 ، يوليو 2018.
