FAIR مفتوحة المصدر التنسور Comprehensions، والسماح للآلة التعلم وعملية حسابية التقارب عالية الأداء

لى فنغ شبكة AI تقنية مراجعة الأخبار، الفيسبوك معهد بحوث AI مفتوحة في الآونة الأخيرة مصدر C مكتبة ++ واللغة الرياضية التنسور Comprehensions، فإنه يمكن أن تملأ بشكل فعال الباحثين فجوة الاتصال في مجال العمليات الحسابية، وتشغيل النموذج الهندسي على نطاق واسع على أساس مجموعة متنوعة من الأجهزة الخلفية . في أكبر تسليط الضوء باستخدام المترجم فقط في الوقت المناسب تلقائيا توليد التعلم رمز الجهاز المجتمع المنشود على الأداء الجيد.

وبعبارة أخرى، كان الباحثون Comprehensions التنسور قادرة عن طريق الرموز الرياضية لكتابة وتجميع النظام يمكن تعديلها وفقا لطلب وخرج رمز المهنية.

أمر زيادة حجم

تقليديا، إذا كنت ترغب في إنشاء آلة التعلم طبقة الصفر لديها عالية الأداء يتطلب خطوتين الرئيسية، والتي قد تتطلب مهندسين لقضاء عدة أيام أو حتى أسابيع من الجهد.

  • 1. نمباي مستوى، يحتاج الباحثون لكتابة طبقة جديدة كاملة ويرتبط العمليات القائمة في مكتبة دراسة متعمقة لPyTorch ممثلة، تليها التجارب على نطاق صغير. إذا كنت ترغب في إجراء تجارب على نطاق واسع، فإنه يحتاج إلى تسريع الكشف عن الكود الخاص من حيث الحجم تحقيقه.

  • ثم يستخدم 2. مهندس هذه الطبقة، وكتابة رمز صالح (ولكن الحاجة لتلبية معايير متعددة) لGPU وحدة المعالجة المركزية:

    1) مهندسين الحاجة هي عالية الأداء والحوسبة الخبراء أفهم تماما، ولكن الموهبة هي حاليا نادرة جدا.

    2) النص، استراتيجية، كتابة التعليمات البرمجية والتصحيح، يحتاج المهندسون أن يكون على دراية جيدة.

    3) ويرتبط كود الخلفية لهذه المهمة الفعلية متصل، طالما قالب فحص المعلمة وإضافة رمز التكامل

هذا وكانت نتيجة مباشرة لالسنوات الأخيرة تعتمد على عمق مجتمعات التعلم لCuBLAS، MKL، وCuDNN ممثلة مكتبة عالية الأداء بنيت لتشغيل التعليمات البرمجية على GPU وحدة المعالجة المركزية. للباحث، وكيفية العثور على إدراك جديد للأفكار أصبح تحديا كبيرا.

في التنسور Comprehensions، تمكن الباحثون للحد من هذه العملية من أيام أو أسابيع إلى دقائق. ويشمل هذا المصدر المفتوح:

التعبير عن مفاهيم التعلم رموز سلسلة آلة رياضية مع قواعد بسيطة

C ++ الأمامية هاليد IR الرموز الرياضية على أساس

فقط في الوقت المترجم استنادا إلى مجموعة من الأعداد الصحيحة مكتبة (ISL)، و

واستنادا إلى متعددة الخيوط البحث التطوري، متعددة GPU المنظم التلقائي

العمل في وقت مبكر

هاليد هو شعبية في الآونة الأخيرة ارتفاع الأداء لغة معالجة الصور، والذي يستخدم لوصف جملة وظيفة متقدمة مماثل ثم ومن المقرر الأجهزة معالجة الصور خط أنابيب على كتلة رمز منفصل وبالتفصيل كيفية البلاط، ناقلات، وبالتوازي والتكامل. بالنسبة للأشخاص من ذوي الخبرة، التي هي لغة فعالة جدا، ولكن لممارسي التعلم الآلي، وهذه الصعوبة ليست صغيرة. هاليد المقرر تلقائيا على البحث نشطة جدا، ولكن لآلة رمز التعلم يعمل على GPU، لا يوجد حل جيد.

والموترة الفهم هاليد مترجم بمثابة دعوة إلى المكتبة. شيدت الباحثين FAIR المتوسط هاليد توصيف (IR) وأدوات التحليل، ويقترن تجميع الفني متعدد الأوجه، وبالتالي، يمكن للمستخدم استخدام جملة مستوى عال مماثل لإعداد طبقة دون فهم مبادئ ظروف التشغيل. وبالإضافة إلى ذلك، وجد الباحثون FAIR أيضا وسيلة لتبسيط لغة لا تحتاج إلى دورة التنمية للحد من العمليات الحدودية.

تفاصيل التنفيذ

هاليد باستخدام التكنولوجيا مترجم ومتعددة الأوجه، التنسور Comprehensions يمكن تفويض إدارة الذاكرة لتركيب الآلي، وتزامن CUDA الألباب. هذا التجميع يمكن أن تنصهر إلى المشغل العام لحجم معين للذاكرة المحلية بسرعة، وانخفاض سريع وفقط في وقت يمكن أن يكون الأمثل التخصص. لأنها لا تحاول أن تتدخل في إدارة الذاكرة، لذلك هذه العملية يمكن دمجها بسهولة في أي إطار للتعلم الآلة، ويسمح للطالب إلى أي وظيفة لغة C ++.

التكنولوجيا مترجم مع الطرق التقليدية والمكتبات المقابل، فإن المترجم تمكن متعددة الأوجه فهم موتر لكل جدول الطلب حساب موتر عنصر جديد شبكة واحدة.

في مستوى CUDA، وهو مزيج من دورة تحويل أفيني، ودمج / تقسيم والمعالجة المتوازية التلقائي، مع ضمان أن البيانات يتم نقل بشكل صحيح في التسلسل الهرمي التخزين.

الأرقام FIG في تسلسل محسوب في البداية موتر العناصر، السهام تشير تبعيات بينهما. في هذا المثال، وعدد دوران المقابلة لدورة التبديل، وعمق الانصهار لا يمكن أن تتحقق مناور.

ويقدم الباحث ومتعددة الخيوط ومتعددة GPU متكاملة يضبط تلقائيا المكتبة، للمضي قدما في عملية البحث، والذي يستخدم التطوري بحث لتوليد وتقييم الآلاف من التطبيقات، واختيار أفضل أداء البرنامج. مجرد استدعاء الدالة على لحن التنسور الفهم، سوف يكون المستخدمون قادرين على الشاهد تحسين الأداء. وتسلسل أفضل استراتيجية من قبل protobuf، في هذه اللحظة أو غير متصل قابلة لإعادة الاستخدام.

من حيث الأداء، التنسور Comprehensions قد لا تزال لديها مجال كبير للتحسين، ولكن في حالة وجود ظروف قد استوفيت، فإنه يجب أن تطابق أو كسر إطار التعلم الآلي وقاعدة بيانات متكاملة ضبط يدويا أداء الحالي، وفقا لاستراتيجية توليد رمز للتكيف مع حجم قضية محددة القدرة على تحقيقه. ويوضح الشكل التالي مقارنة بين التنسور Comprehensions Caffe2 وآتون.

لمزيد من المعلومات، راجع ورقة أرخايف (انظر الرابط في الأسفل).

المستقبل، ومكتبة التنسور Comprehensions السريع تكمل إعداد مصنعي الأجهزة (مثل NVIDIA و Intel)، وتستخدم في بالاشتراك مع مكتبة متساوية CUDNN، MKL أو NNPack.

الخطوة التالية

وقد علمت لى فنغ شبكة AI تقنية الاستعراض أن إصدار مكتبة مفتوحة المصدر يسمح للباحثين والمبرمجين لاستخدام الرياضيات واستخدامها في ورقة لكتابة طبقة علامة مماثلة، وينقل بإيجاز القصد من البرنامج. وسوف تكون ايضا قادرة على تجميع هذا التمثيل في بضع دقائق. مع المستقبل سلسلة أداة النمو، FAIR أعتقد أن من المتوقع أن تعزيز توافر والأداء، وتعود بالنفع على المجتمع بأسره.

وقت لاحق، سيتم اطلاق سراح FAIR PyTorch متكاملة التنسور Comprehensions.

رابط جيثب: الشبكي: //facebookresearch.github.io/TensorComprehensions/

ورقة أرخايف: الشبكي: //arxiv.org/abs/1802.04730

الصفحة الركود: الشبكي: //tensorcomprehensions.herokuapp.com/

البريد الإلكتروني: tensorcomp@fb.com

لى فنغ شبكة جمعتها منظمة العفو الدولية تكنولوجي ريفيو

رائعة كامل الشاشة صدر النوبي Z18mini لإنشاء عناصر الموضة

"نصف حياتي": احتياجات الجميع "هذا واحد" دون يونيو

"احصل على أخي بعيدا"، حلقة خاصة وتحيا النسخة الاخوة الحظ من "شقيق غنيمة لي كيفية القيام به."

EV360 يوان BYD من سور الصين العظيم يولر IQ ما هي مزايا من حيث الأداء؟

هونج كونج الصينية AAAI الأوراق المقبولة تفصيلي: ST-GCN نموذج شبكة من الزمكان الرسم الإلتواء | AAAI 2018

2018 جائزة ريد دوت لجائزة "أفضل تصميم" الطازج، 3 فقط الإضاءة أعمال التصميم الحائز على جائزة

سوني تاكاهاشي يانغ: يهدف النظام البيئي الإنترنت في الصين إلى الاندماج في تنفيذ استراتيجية "النهائي بوصة"

Wuqing أنت من 10000 أيام

سوف VGO لعبة فيديو جولة موسيقية من الصين فتح في فبراير

وانخفضت أسهم UOB لسوء المعاملة من ارتفاع شعاع مقدمة من الكاميرات الذكية لالتقاط شعاع عالية

منزل والتعليم، الذي هو من حفظ؟

صورة اوبتوما في عالم المعلومات والاتصالات الصين 2018