TensorFlow أدوات التحسين الأولى: ضغط نموذج 4 مرات، 3 مرات أسرع!

جي وون الذكاء الاصطناعي الجديد AI WORLD قمة العالم 2018

اليوم، أصدرت TensorFlow مجموعة أدوات التحسين جديدة: مجموعة تسمح للمطورين، سواء المبتدئين أو المطور المتقدمة، ويمكن استخدامها لنماذج التعلم الآلي الأمثل للنشر والتنفيذ التقني.

هذه التقنيات مفيدة جدا لتحسين أي نموذج TensorFlow للنشر. خاصة بالنسبة للTensorFlow لايت نموذج المطورين في قيود الطاقة ضيق الذاكرة وأجهزة التخزين محدودة، وهذه التقنيات هي ذات أهمية خاصة.

حول TensorFlow لايت، وهناك المزيد من الدروس: الشبكي: //www.tensorflow.org/mobile/tflite/

النموذج الامثل للحد من حجم، والحد من الكمون واستهلاك الطاقة، في حين أن فقدان دقة لا يكاد يذكر

هذه التقنية الأولى هي إضافة لإضافة دعم TensorFlow لايت أداة التحويل بعد التدريب نموذج تكميم (تكميم بعد التدريب) . لنموذج التعلم الآلي ذات الصلة، والتي يمكن تحقيق ما يصل 3 و 4 أضعاف ضغط أسرع الأوقات التنفيذ .

بواسطة نموذج كمي، ومطوري يتلقى أيضا خفض استهلاك الطاقة فائدة إضافية. ومن المفيد جدا لنشر نموذج إلى الأجهزة الطرفية الأخرى من الهواتف المحمولة.

تمكين تكميم بعد التدريب

تم دمجها في مرحلة ما بعد التدريب على تكنولوجيا تكميم إلى أداة تحويل TensorFlow لايت. بدأت لهو بسيط: يمكن للمطورين ببساطة تمكين "post_training_quantize" في TensorFlow أداة تحويل لايت بعد بناء بلده علامة نموذج TensorFlow. نموذج افتراضية المخزنة في saved_model_dir التخزين قد يتم إنشاء الكم flatbuffer tflite:

1converter = tf.contrib.lite.TocoConverter.from_saved_model (saved_model_dir)

2converter.post_training_quantize = صحيح

3tflite_quantized_model = converter.convert

4open ( "quantized_model.tflite"، "البنك الدولي"). كتابة (tflite_quantized_model)

ونحن نقدم تعليمي مفصل حول كيفية القيام بذلك. في المستقبل، وهدفنا هو دمج هذه التكنولوجيا إلى أداة TensorFlow العامة بحيث يمكن نشرها على TensorFlow لايت لا تدعم حاليا المنصات.

البرنامج التعليمي:

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/post_training_quant.ipynb

بعد تدريب فوائد قابلة للقياس الكمي

  • تقليل حجم نموذج أربع مرات

  • أساسا طبقات نموذج الإلتواء، لتحسين سرعة التنفيذ 10-50

  • ويمكن زيادة نموذج يستند RNN من قبل 3 مرات أسرع

  • بسبب انخفاض الذاكرة واحتياجات الحوسبة، فإنه من المتوقع أن يقلل أيضا من استهلاك الطاقة لمعظم النماذج

لنموذج تسارع تقليص ووقت التنفيذ، انظر الشكل (يقاس على جوهر الروبوت بكسل 2 موبايل واحد).

الشكل 1: مقارنة حجم نموذج: نماذج الأمثل من الأصلي 4 أضعاف انخفاض

الشكل 2: مقارنة تأخير: زيادة سرعة النموذج الأمثل 1،2-1،4 مرات

هذه النماذج وتسريع الانخفاض في حجم له تأثير يذكر على دقة. بشكل عام، للقيام بهذه المهمة في متناول اليد بالفعل نماذج صغيرة جدا (على سبيل المثال، لتصنيف الصور mobilenet V1) قد يكون فقدان أكثر دقة. لهذه النماذج، ونحن نقدم الكمية بالكامل تدريب ما قبل نموذج (نماذج الكم بالكامل).

الشكل (3): مقارنة بين دقة: في mobilenets بالإضافة إلى ذلك، دقة النموذج الأمثل انخفضت تكاد لا تذكر

ونحن نأمل في مواصلة تحسين نتائجنا في المستقبل، يرجى الرجوع إلى دليل النموذج الأمثل للحصول على أحدث القياسات.

نموذج الدليل الأمثل:

https://www.tensorflow.org/performance/model_optimization

بعد تدريب أعمال تكميم

في الجزء السفلي، ونعرب عن تخفيضها إلى وتشغيل أكثر كفاءة أصغر من 8 بت تحسين التمثيل الصحيح (كما يشار إلى الكم) من 32 بت الفاصلة العائمة الدقة أثناء التدريب من قبل المعلمات (أي العصبي الوزن شبكة). لمزيد من المعلومات، يرجى الرجوع إلى دليل قياس ما بعد التدريب.

بعد تدريب كميا دليل:

https://www.tensorflow.org/performance/post_training_quantization

وهذه التحسينات ضمان دقة النموذج النهائي يعرف باستخدام التشغيل انخفاض نقطة ثابتة وعائمة الرياضيات نواة مختلطة الاقتران التنفيذ. وستكون هذه الحسابات أقل دقة بسرعة أداء معظم شاقة، ولكن الأكثر حساسية لحساب تنفيذ عالية الدقة، لذلك عادة ما يؤدي إلى فقدان الدقة المهمة الأخيرة هي صغيرة جدا، أو أي خسارة، ولكن بالمقارنة إلى تنفيذ النقطة العائمة النقي وقد تحسنت سرعة مقدمة إلى حد كبير.

لتشغيل لا يطابق "مختلطة" الأساسية، أو مجموعات التي المعلمة العملية اللازمة التي من شأنها أن تكون إعادة تحويلها إلى أعلى دقة الفاصلة العائمة للتنفيذ. قائمة العملية المختلطة المعتمدة، راجع الصفحة quantizaton بعد التدريب.

عمل المستقبل

وسوف نستمر في تحسين وظيفة التدريب التقنيات الكمية وغيرها من التقنيات لتجعل من السهل على تحسين النموذج. وسيتم دمج هذه في سير العمل TensorFlow ذات الصلة، مما يجعلها سهلة الاستخدام.

بعد التدريب على تكنولوجيا الكمي هي المنتج الأول نحن نعمل على تطوير أدوات التحسين. ونحن نتطلع إلى ردود الفعل المطور.

الرابط الأصلي:

https://medium.com/tensorflow/introducing-the-model-optimization-toolkit-for-tensorflow-254aca1ba0a3؟linkId=57036398

جي وون الذكاء الاصطناعي الجديد AI WORLD قمة العالم 2018

العد التنازلي 1 يوم

تذاكر بالفعل للبيع!

سيتم عقد جديد جي وون 20 سبتمبر الذكاء الاصطناعي AI WORLD 2018 القمة العالمية في مركز المؤتمرات الوطني بكين، دعت آلة عراب التعلم، أستاذ جامعة كارنيجي ميلون توم ميتشل، Maike سي نمر مرقس، تشو تشى هوا، وتشنغ تاو كبير، تشن Yiran AI وغيره من القادة معا التركيز على الاستخبارات الجهاز ومصير الإنسان.

موقع الجمعية العامة الرسمي:

هذه الأفلام، لا يشاهدون!

تويوتا بنيت بشكل كبير لكنه لم يربح السباق: 1995 الزراعية والريفية المستدامة سباق MC8-R

إصلاح شنغن التي وافق عليها الاختيار! 3 أشهر مقدما بطلب للحصول على تصنيف ستة أشهر، داكا "الحق جولة" عدسة الكاميرا

C919، هذا العام تطير مرة أخرى ثلاثة!

الذهاب إلى وترتاون، طائشة، وحيازة مدينة المياه القديمة في مقاطعة شاندونغ، هو مكان جيد بالنسبة لك لتجنب الحشود!

"أنا أحب القمر"، وكبار رجال الأعمال اليابانيين إلى السماء، وفاز سبيس اكس التذاكر الأولى

وقد ذهب أسهم تصل، وليس لكسب المال لشراء سيارة؟

"تجول الأرض" النار، والجمهور اكتشف في الواقع سر!

صيانة يجب أن تدخل 4S ذلك؟ جميع أنواع المركبات المنافسة رشة صيانة

[تذكير] فبراير.-مارس. هو ذروة ثمرة مسمومة من هذا التدهور، مهددة للحياة

الأبيض ليس الشاي الأبيض، الشاي الأبيض، لماذا هو دعا؟

2017 هوندا CR-V: هوندا اشداء متحمس لجعل غير كفء جيدة سيارة