شبكة لى فنغ منظمة العفو الدولية تكنولوجي ريفيو : شبكة العصبية هي قوية، ولكن التخزين الضخم والتكلفة الحسابية أيضا يجعل استخدام الخصائص، وبخاصة من قبل الكثير من القيود المفروضة على عدد من القدرة الحاسوبية ضعيفة نسبيا الأجهزة النقالة. لحل هذه المشكلة، هناك قد اقترحت مؤخرا للكثير من الضغط وتسريع العمل على الشبكات العصبية، والشبكات العصبية مثل التقليم، الوزن مصفوفة مرتبة متدنية التحلل، والوزن المناسب وهلم جرا. ويهدف أساسا حصة في الوزن المناسب لهذا النوع من النهج.

في الآونة الأخيرة، على شبكة لى فنغ GAIR قاعة، هوى لو طلاب الدكتوراه من جامعة هونغ كونغ للعلوم والتكنولوجيا لتقاسم بعض من أحدث التقدم في حق دراسة متعمقة من وزن الشبكة. ICLR وتفسير العديد من الصحف. تشغيل الفيديو العنوان: http: //www.mooc.ai/open/course/473

هوى لو، جامعة هونغ كونغ للعلوم والتكنولوجيا الدكتوراه والبحوث الرئيسي تعلم الآلة.

حصة موضوع : شبكة العصبية وبناء وظيفة تكميم الخسارة

حصة الخطوط العريضة

1. نظرة عامة على الأخير ضغط الشبكة العصبية وتسريع العمل، مثل الشبكات العصبية تشذيب، وانخفاض الوزن مصفوفة رتبة التحلل، وبالتالي فإن الوزن المناسب.

2. يشير إلى السنتين الأخيرتين من حق وطريقة الوزن، وتحليل مزايا وعيوب هذه الطرق.

3. عرض الأساليب الكمية للحد من الهدف النهائي من أساس وظيفي، وتحليل العلاقة ومزايا هذه الطريقة والأساليب الكمية الأخرى.

مشاركة المحتوى :

وقد تعلم العمق في حياتنا مجموعة واسعة جدا من التطبيقات، بما في ذلك الجوانب الطيار الآلي، والترجمة الآلية، والطبية، والألعاب، والرياضة، وهلم جرا.

أقول أولا لنا حول إنشاء نموذج التعلم العميق. ينقسم التعلم والتدريب العميق عموما إلى قسمين وحدات الاختبار. في الجزء التدريب، والنماذج التدريبية ومجموعات البيانات والموارد GPU تستهلك عادة ما تكون كبيرة، لكننا نميل إلى الرغبة في اختبار هذه النماذج لتطبيقات مثل الهواتف المحمولة ومنصات الحوسبة الأخرى ضعيفة. هذا سوف تواجه مشكلتين، موارد الحوسبة واحدة، والثاني هو خارج الذاكرة.

حاليا، هناك الكثير من الأبحاث في محاولة حل هذه المشكلة. يتضمن طريقة استخدام أجهزة أكثر تقدما، والتعلم نقل، والتحسين، ولكن التركيز اليوم على كيفية اقتسام ضغط المحتوى ونموذج التسارع.

مقارنة ضغط النموذج الحالي في هذا المجال أن يكون هذا الحريق في عدة اتجاهات. أولا، التقليم الثقيلة وتقاسم الحق، والثاني هو لاستخدام بعض وحدة أكثر إحكاما وفعالة، والثالث هو استخدام بعض مصفوفة رتبة منخفضة، والأخير هو محور حصة اليوم - من الوزن الصحيح.

أولا إدخال الأوزان التقليم. ويقترح في عام 2015 خطط التنفيذ الوطنية، وتنقسم هذه الطريقة إلى ثلاث خطوات، أول تدريب كامل اتصال الشبكة، ثم قم بإزالة بعض الاتصالات أقل أهمية، ومعظم التقليم بعد إعادة تدريب الشبكة.

إعادة إدخال الحق في حصة في هذا الأسلوب هو NIPS 2016 bestpaper المطروحة. وينقسم هذا الأسلوب أيضا إلى ثلاث خطوات، الخطوة الأولى هي عملية تشذيب، والخطوة الثانية هي تحديد وحصة الوزن، ومشاركة المستخدمة هوفمان عملية ترميز لتحقيق نسبة ضغط أعلى. ومع ذلك، وهذه الطريقة لا يقلل بشكل كبير من كمية من الحساب.

الجزء الثاني هو فعالية لاستخدام نموذج أكثر إحكاما، مثل SqueezeNet، MobileNet، ShuffleNet مثل.

SqueezeNet على تحسين كفاءة الشبكة أصغر ليست كبيرة.

في الواقع، هذين النهجين ليست سهلة التنفيذ بالمقارنة مع الطرق الأخرى. الجزء الثالث أود أن أعرض رتبة منخفضة طريقة المصفوفة، وخفض أيضا هذه الطريقة يمكن أن تقلل من حساب عدد من الضرب والإضافات. ولكن المشكلة هي أيضا واضحة أن وضع بعد النموذج الأصلي سوف تزيد من حجم التدريب.

التالي هو محور اليوم، ألا وهو الحق في وزن المحتويات. وbinarized أبسط مع أصلية 32 بت لتمثيل الحق في التمثيل إعادة بت. عن قيمة دقيقة من الثلاثة، وأكثرها شيوعا هو م بت.

أولا تقديم مزايا الطريقة بالمقارنة مع حقوق سابقة تحت وطأة وبما في ذلك التدريب وتحديد الوقت نفسه، وهلم جرا.

ومن ثم أقول لكم عملية القياس الكمي. نبذة مقدمة هو الحق الأول بعد انتشار الأمام إعادته باستخدام الكمية، هل العودة انتشار الحصول على الأوزان الثقيلة كميا التدرجات، ومن ثم تحديث الأوزان في التكرار التالي.

ثم يعرض العمل الرئيسي للشبكة الثنائية، وأول واحد هو BinaryConnect، على الرغم من أن هذه الطريقة يمكن قياسها كميا، ولكن لا يمكن معرفة تأثير وقائع محددة الكم.

والثاني هو الوزن شبكة ثنائي، وهذه الطريقة لا يمكن أن تضمن أن أي لديهم بالطبع لها تأثير إيجابي على الحد من فقدان الوظيفة.

ثم قيمة الثلاثة، بما في ذلك شبكات ترناري-ربط وترناري الوزن (TWN) وتدريب ترناري تكميم (TTQ).

العمل القضايا والمشاكل binarization من طريقتين الأولى هي نفسها، ولكن يتم زيادة دقة الوزن.

طريقتين الأولى تمثل مشكلة مماثلة مع هذا النهج أي مسار. حاليا أكثر شيوعا النهج هو أسلوب م بت. طرق منخفضة بت الشبكات العصبية (LBNN) تتألف DoReFa نت و.

كما هو مبين أعلاه، طريقتين كل الحاضر مشاكلهم. ويصف الجزء التالي كيف أن ICLR2017 الفريق والتي نشرت في عام 2018. الإطار الأول من الخسارة علم الوزن تكميم.

ثم يتم استخدام خوارزمية القريب نيوتن الخوارزمية.

وقبل ذلك يتم تطبيق صياغة هذه الخوارزمية ل.

I تحليل محددة يعني ما سبق خطوتين، على النحو التالي:

ثم ننظر إلى خوارزمية معينة.

بعض الأدلة من هذه الخوارزمية كما يلي:

وصف الإطار أعلاه، ما يلي وصف محددة الخسارة علم Binarization،

والخسارة علم Ternarization (LAT).

لTernarization، نقترح الطريقة التي يتم حلها بالضبط في وقت متأخر.

ولكن لأن الحل الصحيح ينطوي على خوارزمية الفرز، يتم زيادة التكلفة. ثم نقترح اتا لحلول تقريبية.

ثم اقترحنا أيضا نوعين مختلفين من Ternarization الخسارة على علم بها.

ثم يقول لنا عن قسم التجريبية، والتجارب FNN استخدمنا MNIST، CIFAR-10، CIFAR-100، SVHN أربع مجموعات البيانات. النتائج التجريبية النموذج النهائي على النحو التالي

RNN التجارب التي نستخدمها WAR andPeace، نواة لينكس، بن Treebank مجموعات البيانات الثلاث، والنتائج هي كما يلي

وتشير هذه التجارب اثنين من أنظمتنا هو أفضل. هذا هو كل نصيبي اليوم.

هذه هي شبكة الدكتور هوى لو لى فنغ للبث محتويات التشطيب، وإذا كنت مهتما يمكنك الذهاب مباشرة لمشاهدة عرض الفيديو: HTTP: //www.mooc.ai/open/course/473، الذهاب الفيديو الطبقة أكثر انفتاحا على لى فنغ الطبقة شبكة AI كلية مو لمشاهدة.