يمكنك اختيار مجموعة متنوعة من إطار الذكاء الاصطناعي (AI) لتطوير خوارزميات الذكاء الاصطناعي، يمكنك أيضا اختيار مجموعة متنوعة من التدريب الأجهزة ونشر نماذج الذكاء الاصطناعي. الإطار وتنوع الأجهزة أمر ضروري للحفاظ على نظام بيئي صحي الذكاء الاصطناعي. ومع ذلك، يجلب هذا التنوع أيضا بعض التحديات للمطورين لمنظمة العفو الدولية. توضح هذه الورقة هذه التحديات وأدخلت مترجم يمكن أن تحل هذه المشاكل الحل.

دعونا نلقي نظرة على هذه التحديات، ويدخل بكم في جامعة واشنطن وفريق AWS، وتتيح لك معرفة كيف يعمل المترجم.

ثلاثة تحديات

أولا، بسبب الفرق بين الجبهة وتنفيذ واجهات الخلفية، والتحول الصناعي من إطار واحد إلى إطار آخر مهم لمنظمة العفو الدولية . وبالإضافة إلى ذلك، قد تستخدم للمطورين الخوارزمية إطارات متعددة كجزء من عملية التنمية والتسليم. على AWS، لدينا عملاء الذين يرغبون في نشر نماذجها على كافيه MXNet، والتمتع سرعة عالية الأداء في الأمازون EC2. خواكين كانديلا كتب مؤخرا في بلوق، قد تستخدم مستخدم PyTorch تتطور بسرعة ونشر على Caffe2. ومع ذلك، بعد نموذج من إطار واحد إلى إطار آخر، هناك فرق بين الشعبين اشتكى نتائج التصحيح.

ثانيا، يجب على المطورين الإطار للحفاظ متعددة للجهة الخلفية للتأكد من أن رقائق الهواتف الذكية، ورقاقة الجرافيك وغيرها من أداء الأجهزة. لMXNet سبيل المثال، محمول، ويمكن بناؤه من الصفر في C ++. كما يأتي مع أهداف الدعم الخلفية ذات الصلة، مثل cuDNN لرقاقة نفيديا GPU، MKLML لرقاقة إنتل وحدة المعالجة المركزية. للتأكد من أن هذه مختلفة الخلفية لتوفير نتيجة مستخدم متناسقة الرقمية صعبة للغاية.

وأخيرا، لا بد البائعين رقاقة لدعم إطار منظمة العفو الدولية متعددة لكل شريحة جديدة بنوا. كل عبء إطار أعرب وتنفيذها بطريقة فريدة من نوعها، لذلك، حتى التفاف بسيط (أ الإلتواء) عملية، قد تحتاج إلى تعريف بطرق مختلفة. ويدعم إطار المهندسين متعددة تحتاج الى انفاق الكثير من العمل.

إطار منظمة العفو الدولية وأجهزة مختلفة يعطي المستخدمين فائدة كبيرة، ولكن للمطورين الذكاء الاصطناعي، فإنه من الصعب جدا للمستخدمين النهائيين نتائج متسقة. لحسن الحظ، نحن لسنا أول شخص لمواجهة هذه المشكلة. وعلوم الكمبيوتر تشغيل لغة البرمجة المختلفة لديها تاريخ طويل على أجهزة مختلفة. تقنية رئيسية لحل هذه المشكلة هي مترجم. مستوحاة من التكنولوجيا مترجم التقليدية، تيانتشى تشن، تييري مورو، Haichen شين، لويس Ceze، كارلوس Guestrin وأرفيند كريشنامورثي هذه المجموعة من الباحثين من كلية علوم وهندسة الحاسب الآلي، جامعة واشنطن، الولايات المتحدة Ziheng جيانغ من فريق AWS AI وعرض تكنولوجيا TVM التراص لتبسيط المشكلة.

اليوم، أصدرت AWS والبحوث فرق من جامعة واشنطن بشكل مشترك في نهاية القائمة على كومة مترجم التكنولوجيا TVM، ودعا NNVM. هذا المترجم يمكن أن تعمل مباشرة من أعماق مختلفة من التعلم تحميل الواجهة الأمامية الأمثل تجميعها في رمز الجهاز ثنائي. دعونا نلقي نظرة على الإطار AI هيكل المقارن التقليدي ومترجم NNVM:

لاحظنا إطار AI نموذجي يمكن تنقسم إلى ثلاثة أجزاء:

1، والتي تبين الواجهة الأمامية للوسيلة سهلة لاستخدام واجهة للمستخدم.

2، ويتم التعبير من أجل العمل من الواجهة الأمامية من الرسم البياني حساب عادة باسم (حساب الرسم البياني)، والذي يتألف من متغيرات البيانات ومشغلي المشغلين.

3 ما إذا كانت شركة تشغيل العمليات الحسابية الأساسية، هي الأمثل للمشغل أو الشبكة العصبية طبقة العاملة لتنفيذ عملية المقابلة لمشغل أجهزة مختلفة

مترجم على أساس NNVM TVM كومة العنصرين: مكونات NNVM من تجهيز وحساب تجهيز FIG مشغل موتر مشغل TVM التجمع.

• NNVM التجمع - حساب تظهر كومة من وسائل الإعلام FIG (تمثيل وسيط (IR) كومة)

عنصر الهدف NNVM هو أمر العمل من إطار مختلف يتم التعبير عن خريطة حساب تطبيع، ثم تحويل هذه الرأي الحوسبة المتقدمة من FIG إجراء (الرسم البياني التنفيذ). الفكرة الواردة في FIG تحسب بطريقة مستقلة مع الإطار، تم تعريفه من قبل طبقة من Keras (إطار التعلم العميق)، ومشغل موتر وحي من مشغل نمباي (بيثون أداة).

يشمل NNVM تجميع عدة إجراءات يسمى ممر، التي تشغلها هذه الحسابات LLVM اتفاقية FIG. ويمكن إضافة هذه الإجراءات لحساب FIG سمة جديدة لأداء الخريطة الحساب، أو تعديلها لتحسين كفاءة حساب FIG.

• TVM المكونات - كومة سائل الإعلام تمثيل موتر

TVM نشأت اللغة هالايد، هو كائن من حساب يؤديها في تشغيل المشغل FIG، التي المشغل لتحسين العملية من هدف لتتوافق مع نهاية الجزء الخلفي من الجهاز للمشغل. ومن NNVM المكونات المختلفة، والتي توفر المستقلة الأجهزة، واللغات المجال تحديدا المقابلة، لتبسيط المشغل تؤدى في مستوى مؤشر موتر. كما يوفر TVM بعض الأوليات عملية الجدولة، مثل خيوط متعددة والتخزين المؤقت لتحسين الحوسبة من أجل الاستفادة الكاملة من موارد الأجهزة. عملية الجدولة، ويمكن أن يكون ترميز وضع اليد، يمكنك أيضا البحث الأمثل المتعلقة الأجهزة تلقائيا.

NNVM الدعم مترجم الأمامية والإطار الأجهزة الخلفية

ويوضح الشكل التالي كيفية العلاقة بين الواجهة الأمامية للمترجم العمليات NNVM:

يتم احتساب MXNet عن طريق حساب FIG تحويلها مباشرة إلى التجميع في FIG NNVM المعتمدة، Keras لا يزال قيد التطوير، ولكن يؤيد أيضا بطريقة مماثلة. ويمكن أيضا مترجم NNVM استخدامها، مثل CoreML شكل نموذج مثل.

ولذلك، فإن أي إطار يمكن استخدام هذه الأشكال يمكن استخدامها من قبل مكدس المترجم.

TVM حاليا باستخدام عدد وافر من المولدات رمز لدعم مجموعة متنوعة من الأجهزة ذات النهاية الخلفية. على سبيل المثال، فإنه يولد LLVM IR كما X86 ومثل الهندسة المعمارية وحدة المعالجة المركزية ARM. كما يمكن أن الناتج CUDA، OpenCL والمعادن الألباب لمجموعة متنوعة من العمارة GPU.

NNVM لإضافة الدعم مترجم الجديد هو بسيط جدا. لإطار أمامي جديد، ونحن بحاجة فقط للعمل ويعرف الأمر شكل في الرسم البياني حساب وNNVM مواصفات المشغل التجمع. إذا كنت ترغب في إضافة أجهزة للجهة الخلفية جديد، ونحن يمكن إعادة استخدام مشغل TVM القيام بها، ومن ثم ببساطة تحديد كيفية ارسالهم على نحو فعال.

نتائج اختبار الأداء

لنا على GPU الخلفية والأجهزة وحدة المعالجة المركزية، فضلا عن ResNet18 وMobileNet نموذج لأداء اختبار مقارنة مع المترجم NNVM مع MXNet على التوالي.

هذا هو الرسم البياني مقارنة الأداء على نتائج اختبار GPU، يمكننا أن نرى NNVM مترجم أقل قتا طويلا.

هذا هو الرسم البياني مقارنة الأداء على نتائج الاختبار من وحدة المعالجة المركزية، يمكن أن ينظر إليه NNVM مترجم أقل استهلاكا للوقت.

استنتاج

مترجم NNVM يمكن تجميعها في مستوى عال الحوسبة FIG الأمثل رمز الجهاز ثنائي، المترجم استنادا كومة TVM عنصرين هما: توفير حساب مع روتين حساب FIG الأمثل والتجمع مشغلي مشغل NNVM المواصفات. المشغل المشغل التجمع TVM ينفذ عملية تعظيم الاستفادة من الأجهزة إلى مشغل هدف المقابلة. وعلاوة على ذلك، أجرينا اختبارات الأداء على المقارنة بين نوعين مختلفين تماما CPU الأجهزة --ARM ونفيديا الجرافيك، وثبت أن المترجم يمكن أن تتطابق أو حتى تفوق على أفضل أداء الحوسبة المتقدمة. نأمل NNVM مترجم يمكن تبسيط كبير الأمامية والإطار الخلفي من تصميم الأجهزة AI، ومساعدة توفر للمستخدمين نتائج متسقة أمام المختلفة والخلفية.