لى فنغ شبكة AI تقنية مراجعة من قبل: تشغيل نموذج التعلم العميق يتطلب الكثير من الحوسبة والذاكرة واستهلاك الطاقة، من أجل حل على المدى نموذج نموذج عنق الزجاجة، قام الباحثون سلسلة من أسلوب ضغط نموذج، بما في ذلك التقليم النموذج يمكن أن تقلل بشكل فعال ذاكرة صغيرة، واستهلاك الطاقة وتحسين كفاءة الحسابية.

ومع ذلك، "كل عملة لها وجهان،" نموذج التقليم في حين كسب العديد من الفوائد، فإنه حتما سبب بعض "المنازل". هذه الخسائر في النهاية ما هو؟ لنماذج مختلفة وسيناريوهات مختلفة، وأثر التقليم النموذج، ما الفرق فإنه جعل؟

وفي هذا الصدد، وحي جوجل من قبل "إصابات الدماغ" في أحدث الأبحاث: اقترح فعالية قياس طريقة "انتقائية تلف المخ قياس المتباينة IMPACT من طراز التقليم" في.

• عنوان ورقة: الشبكي: //arxiv.org/abs/1911.05248

• كود التنفيذ عنوان جيثب: الشبكي: //github.com/google-research/google-research/tree/master/pruning_identified_exemplars

وفيما يلي تفسير رسمي لهذا العمل:

A العميق التقليم الشبكة العصبية ما هو مفقود؟

في الفترة من الطفولة إلى مرحلة البلوغ، وعدد من نقاط الاشتباك العصبي في الدماغ لزيادة ثم نقصان. التقليم متشابك (متشابك التقليم) لتحسين الكفاءة عن طريق إزالة الخلايا العصبية الزائدة وتعزيز الأكثر فائدة للبيئة حتى نقاط الاشتباك العصبي.

والإنسان بين 2-10 سنة تفقد 50 من جميع نقاط الاشتباك العصبي، ولكن سوف يستمر الدماغ على العمل. "استخدام او انها تفقد عليه" مصطلح يستخدم لوصف الأثر البيئي للمتشابك عملية التعلم التقليم، ولكن ماذا عن تشذيب نقاط الاشتباك العصبي في الدماغ أن شيئا ما مفقود، ولكن قلة من الناس لديهم إجماع علمي.

في عام 1990، مقالا بعنوان "الأمثل تلف في الدماغ" ورقة ( "تلف في الدماغ الأمثل") تحظى بشعبية. نحن يستطيع رتبت بطريقة رقة عمق مماثلة لالشبكات العصبية البيولوجية التي التقليم متشابك من "الإفراط في قدرة" - اقترح الورق أولا.

الشبكة العصبية في عمق، والوزن من قيمة الباحث إلى الصفر، لخفض (موضح في الشبكة العصبية هي "تقليم")، أو حذفها من الوزن المناسب الشبكة.

الآن لدينا الكثير من أساليب التقليم الصحيحة للاختيار من بينها، وكثير من تشذيب نموذج الخوارزمية قد يكون التطبيق في هاتفك.

على السطح، وذلك باستخدام طريقة التقليم وضمان أن تتمكن من حل مشكلة أي تقريبا. أكثر وسيلة متقدمة لتشذيب يزيل معظم الوزن، مع التقليل من أقل من أعلى إلى 1 دقة. هذه الشبكة تبسيط الجديدة تتطلب أقل الذاكرة واستهلاك الطاقة، ويمكن التنبؤ بسرعة أكبر.

كل هذه الميزات تجعل من النموذج بعد هي مناسبة بشكل مثالي لتشذيب نشر الشبكات العصبية العميقة للبيئة محدودة الموارد.

الشكل 1 التقليم متشابك يزيل الخلايا العصبية الزائدة وتعزيز الاتصال من أكثر البيئة مفيدة. (تصوير سيمان، 1999 سنة)

لكن المحير هو: القدرة على تقليم الشبكة يبدو أن يكون لها أثر يذكر على أداء التعميم. وأعلى تكلفة 1 سهم دقة الأداء متساوية لجميع فئات تبدو أن تكون صغيرة جدا، ولكن إذا يتركز التكلفة في فئات قليلة فقط في كيفية القيام بذلك؟ وعما إذا كان التقليم تؤثر على فئات معينة من عينات أو ليس نسبة؟

في عمق الشبكة العصبية المستخدمة للمهام الحساسة (مثل التوظيف والرعاية الصحية التشخيص أو المركبات الذاتية)، وفهم هذه المفاضلة أمر ضروري.

لهذه المهام وطرق التقليم وتجنب خصائص التمييز الممكن حراسة و / أو الحاجة لضمان سحب المستوى المستهدف معرض فئات معينة من العكس. لأن نشر نموذج قيود الموارد الهاتف أو الأجهزة المدمجة، وقد استخدمت هذه المناطق على نطاق واسع تشذيب الأسلوب.

في هذا العمل نقدم إطارا رسميا لتحديد فئات وهناك فرق صورة أو تعميم فرق كبير بين تشذيب وتقليم ليس نموذج. لقد وجدنا أمثلة تبعثر التقليم المحددة (التقليم حددت النماذج، PIE) أدخلت فئات من النظم وتأثير أكبر.

تتلخص النتيجة الرئيسية لعملنا على النحو التالي:

1، الاجاص المجفف وصفها بأنها أفضل "إصابات الدماغ الانتقائية". آثار التقليم لكل فئة من فئات مختلفة؛ وإدخال تبعثر النظام سيكون له أثر غير متناسب على جزء صغير من هذه الفئة.

2، قلنا له أكبر الأثر تشذيب سبيل المثال بأنه "مثال على تشذيب حددت" (فطيرة)، تقليم وتشذيب النموذج لا تصنيفها هو أكثر صعوبة.

3، وتقليم يقلل كثيرا من متانة الضرر صورة والمعارضة الطبيعية من الصورة.

اثنين، PIE: تحديد التقليم المثالي

PIE هو لتوليد صور تنبئ مختلفة تقليم في معظم الأحيان بين النموذج ومجموعة من نموذج التدريب التقليم غير مستقل. ونحن نركز على مجموعات البيانات مفتوحة المصدر (مثل ImageNet)، وجدنا أن هذا النموذج لتقليم وتشذيب لا نموذج، PIE تصنيف الصور هو أكثر صعوبة.

يقتصر مجموعة اختبار لعينة عشوائية من صورة PIE من شأنه أن يقلل بشكل خطير على دقة أعلى-1، حذف مجموعة اختبار من PIE أعلى-1 يمكن أن يحسن من دقة النموذج وليس تشذيب تشذيب النموذج. يبدو تقليم لجعل عمق الشبكة العصبية "نسيان" عينة من القائمة بالفعل عدم اليقين أعلى التوقعات.

الأرقام 2-4 عينات تظهر ImageNet PIE في كل فئة، معلومات ملحوظ تحت كل من FIG تشمل ما يلي: (1) تصحيح العلامة المرجعية، (2) نموذج خط الأساس الشرح التنبؤي لا الخوخ، (3) والأكثر شيوعا ResNet-50 تنبؤات نموذج التقليم ملحوظ.

(1) (2) (3) (4)

(5) (6) (7) (8)

مثال شاذة الشكل 2: توزيع فئة معينة من نقطة صورة للعرض، سيتم التعامل مع صورة كبشر عينات PIE غير عادية أو غير عادية. نتائج تميز كل صورة هي على النحو التالي:

(1) إشارة إلى التسمية بشكل صحيح: باث، نماذج لا يسبر غورها التنبؤ مكتوب عليه: باث، تشذيب نماذج التنبؤ ملحوظ: الخيار

المسمى (2) المرجع بشكل مناسب: مقعد المرحاض، نموذجا الشرح التنبؤي لا تقليم: مقعد المرحاض، نموذج تنبؤي الشرح التقليم: كرسي

(3) المرجع الصحيح العلامات: أكياس البلاستيك، وليس الخوخ نموذج الشرح التنبؤي: رداء، تشذيب نموذج الشرح التنبؤي: كيس من البلاستيك

(4) تصحيح العلامة المرجعية: اسبريسو، لا الخوخ نموذج الشرح التنبؤي: اسبريسو، نموذج الخوخ الشرح التنبؤي: النبيذ

(5) إشارة إلى التسمية بشكل صحيح: هالوين اليقطين، وليس التنبؤ نماذج تشذيب ملحوظ: هالوين اليقطين، وتتنبأ نماذج تشذيب ملحوظ: الظل

(6) المرجع الوسم الصحيح: طبق، وليس نموذج الخوخ التنبؤي الشرح: اسبريسو، نموذج الخوخ الشرح التنبؤي: طبق

(7) إشارة إلى صحيح التسمية: السيدان الفاخرة، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: بوب مزلقة، ونماذج التنبؤ تشذيب ملحوظ: الثلج المحراث

(8) إشارة إلى التسمية بشكل صحيح: كرسي هزاز، وليس نماذج التنبؤ تشذيب مكتوب عليه: الكرسي الهزاز، ونماذج التنبؤ تشذيب مكتوب عليه: كرسي الحلاق

(1) (2) (3) (4)

(5) (6) (7) (8)

الحبيبات FIG الفئة 3: يصور مجموعة من الصور مع فئات الدلالات الأخرى PIE عينة كائن يقترب (على سبيل المثال، وسرطان البحر والحجر العابث، والدروع درع)، وتدل نتائج كل صورة على النحو التالي:

(1) إشارة إلى صحيح التسمية: صانع القهوة، ونماذج التنبؤ لا يسبر غورها علامة: القهوة، تشذيب نماذج التنبؤ ملحوظ: وعاء القهوة

(2) الرجوع إلى وضع العلامات الصحيح: مدرعة، وليس نموذج الخوخ التنبؤي الشرح: الصدرة، الخوخ نموذج الشرح التنبؤي: مدرعة

(3) إشارة إلى صحيح التسمية: مهد، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: عربة أطفال، تشذيب نماذج التنبؤ ملحوظ: مهد

(4) إشارة إلى التسمية بشكل صحيح: وادي، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: وادي، ونماذج التنبؤ تشذيب ملحوظ: جبال الألب

(5) إشارة إلى التسمية بشكل صحيح: الحيتان الرمادية، وليس مجردة نموذج تنبؤي الشرح: الحيتان الرمادية، الخوخ نموذج الشرح التنبؤي: حوت قاتل

(6) إشارة إلى صحيح التسمية: نموذج الشاشة يتنبأ لا تشذيب علامة: الشاشة، وتقليم نماذج التنبؤ ملحوظ: TV

(7) إشارة إلى صحيح التسمية: جوارب عيد الميلاد، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: تتوقع ملحوظ الجوارب، ونماذج التقليم: جوارب عيد الميلاد

(8) إشارة إلى التسمية بشكل صحيح: كاسر الأمواج، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: البحيرة، تشذيب نماذج التنبؤ ملحوظ: شاطئ البحر

(1) (2) (3) (4)

(5) (6) (7) (8)

FIG خلاصة الفئة 4: تصنيف الأشياء ومجردة عينة شكل فطيرة، على سبيل المثال باستخدام مواد مختلفة اللوحة، رسم أو تقديم، كل نتيجة شرح الصورة على النحو التالي:

(1) إشارة إلى صحيح التسمية: ورق التواليت، وتوجد نماذج التنبؤ التقليم مكتوب عليه: تتوقع ملحوظ المناشف، ونماذج التقليم: الفك المفترس

(2) إشارة إلى التسمية بشكل صحيح: القرنبيط، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: القرنبيط، ونماذج التنبؤ تشذيب ملحوظ: الخرشوف

(3) المرجع الوسم الصحيح: قبعة، وليس الخوخ نموذج الشرح التنبؤي: قبعة رعاة البقر، وتقليم نموذج الشرح التنبؤي: العجين

(4) إشارة إلى التسمية بشكل صحيح: زجاجات الصودا، تتنبأ نماذج لا يسبر غورها ملحوظ: مطعم، تشذيب نماذج التنبؤ ملحوظ: صالون حلاقة

(5) إشارة إلى التسمية بشكل صحيح: الرأس، وليس نموذج الخوخ الشرح التنبؤي: الأقنعة الواقية من الغازات، تشذيب نموذج الشرح التنبؤي: الصدرة

هو المسمى (6) المرجع بشكل مناسب: ضخ الغاز، وليس نموذج الخوخ الشرح التنبؤي: ضخ الغاز، نموذج تنبؤي الشرح التقليم: إشارات المرور

(7) إشارة إلى التسمية بشكل صحيح: متاهة يتنبأ النموذج لا تشذيب علامة: المتاهة، وتشذيب نماذج التنبؤ ملحوظ: الكلمات المتقاطعة

(8) إشارة إلى صحيح التسمية: زجاجات البيرة، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: زجاجات البيرة، وتقليم نماذج التنبؤ ملحوظ: واقية من الشمس

إلى أفضل فهم لماذا PIE أكثر حساسية للقدرة، أجرينا المشاركين في الاستطلاع على نطاق صغير (85 مشاركا)، ووجدت أن مجموعة اختبار ImageNet تصور كائنات متعددة أو الحاجة إلى تصنيف مفصل للPIE أكثر عرضة للتسميتها.

سيتم تصنيف أكثر من نصف المشاركين كصورة PIE إشارة وصفت بشكل صحيح مع الخطأ أو أكثر من الكائنات يصور. Overindexing هيكل غير مكتمل البيانات أظهرت أن كمية المعلمات مثل ImageNet مهمة تصنيف صورة واحدة من الزيادة قد تكون قادرة على التعامل بصورة أفضل مشكلة البيانات تنظيف الأنابيب.

PIE البيانات الهيكلية غير مكتملة لمهمة تصنيف صورة واحدة لأكثر من وضع العلامات. لهذه الصور، فإنه قد لا يكون كافيا للتنبؤ التقدير الصحيح للتعميم البيانات الغيب. على سبيل المثال، فإن معظم الناس لا يزالون يعتقدون أن التقليم النموذج يتنبأ دعوى بدلا من الإشارة العريس إلى صحيح التسمية غير دقيقة. وارتدى العريس بدلة، وبالتالي فإن نوعين من علامات مقبولة. ومع ذلك، سيتم معاقبة هذا التوقع، مثل أعلى 1 دقة هذه المؤشرات.

التين 5-7 يظهر عينة من كل نوع ImageNet PIE. وينقسم FIG كل الشرح إلى: (1) تصحيح العلامة المرجعية، (2) لم يتم وضع علامة تشذيب التنبؤ نموذج خط الأساس، (3) الأكثر شيوعا ResNet-50 نموذج تنبؤي الشرح التقليم.

(1) (2) (3) (4)

(5) (6) (7) (8)

الشكل (5) وضع علامة تحدث في وقت واحد في كثير من الأحيان: عينات PIE في نفس الصورة متعددة في كثير من الأحيان الكائنات تحدث في وقت واحد. وذلك لأن اثنين ملحوظ، وفي بعض الحالات يمكن أن تصف نفس الكائن، مثل قذائف المدفعية والصواريخ. نتائج تميز كل صورة هي على النحو التالي:

(1) إشارة إلى صحيح التسمية: كراسي الحلاقة، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: كراسي الحلاقة، وتقليم نماذج التنبؤ ملحوظ: صالون حلاقة

(2) الرجوع إلى وضع العلامات الصحيح: العريس، وليس نموذج الخوخ الشرح التنبؤي: العريس، تشذيب نموذج الشرح التنبؤي: دعوى

(3) إشارة إلى التسمية بشكل صحيح: القبعات الأكاديمية، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: ثوب درجة، ونماذج التنبؤ تشذيب مكتوب عليه: القبعات الأكاديمية

(4) تصحيح العلامة المرجعية: مجداف، وليس تشذيب نموذج تنبؤي الشرح: مجداف، تشذيب نموذج الشرح التنبؤي: زورق

(5) إشارة إلى التسمية بشكل صحيح: التنس، نماذج لا يسبر غورها التنبؤ مكتوب عليه: التنس، تشذيب نماذج التنبؤ ملحوظ: مضرب تنس

(6) المرجع الوسم الصحيح: زجاجات، نموذج لا الخوخ التنبؤي الشرح: النبيذ الأحمر، وتقليم نموذج الشرح التنبؤي: زجاجة

(7) إشارة إلى التسمية بشكل صحيح: قذائف، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: صواريخ، ونماذج التنبؤ ملحوظ التقليم: المصارف

(8) تشير إلى وصفها الصحيح: الذرة، وليس نموذج الخوخ الشرح التنبؤي: الذرة، الذرة :( تشذيب نموذج الشرح التنبؤي) الأذن

(1) (2) (3) (4)

(5) (6) (7) (8)

FIG 6 غير صحيحة أو غير كافية إشارة التوسيم الصحيح: إشارة غير صحيحة التسمية الصحيحة أو الإنسان ليس ما يكفي من المعلومات لتحديد المثالية PIE الصحيح المسمى. نتائج تميز كل صورة هي على النحو التالي:

(1) إشارة إلى التسمية بشكل صحيح: حوض الاستحمام، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: مرجل، تشذيب نماذج التنبؤ ملحوظ: ووك

(2) الرجوع إلى وضع العلامات الصحيح: أكياس النوم، نموذج لا الخوخ الشرح التنبؤي: مآزر، وتقليم نموذج الشرح التنبؤي: مريلة

(3) تصحيح العلامة المرجعية: الأقنعة الواقية من الغازات، تشذيب نموذج الشرح التنبؤي: خوذة، وليس نموذج الخوخ التنبؤي الشرح غطاء العدسة

(4) إشارة إلى صحيح التسمية: الظربان، ونماذج التنبؤ لا يسبر غورها علامة: أسود القدمين النمس، ونماذج التنبؤ تشذيب ملحوظ: كلب الأسكيمو

(5) إشارة إلى التسمية بشكل صحيح: مطعم، نماذج لا يسبر غورها التنبؤ مكتوب عليه: رغيف اللحم، تشذيب نماذج التنبؤ ملحوظ: حبوبا

(6) إشارة إلى التسمية بشكل صحيح: المظاريف، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: الدمبل، ونماذج التنبؤ تشذيب مكتوب عليه: ما كالا (الاسم)

(7) إشارة إلى التسمية بشكل صحيح: الصوف، ونماذج التنبؤ لا يسبر غورها ملحوظ: نماذج التقليم القطب التنبؤ مكتوب عليه: أجنحة

(8) تشير إلى وصفها الصحيح: راديو، نموذج الشرح التنبؤي لا تقليم: راديو، نموذج تنبؤي الشرح التقليم: راسم

(1) (2) (3) (4)

(5) (6) (7) (8)

FIG 7 تعدد صور وجوه: عدد وافر من الكائنات الصورة يوصف، يمكن توقع البشر أن العديد من التسميات هي أمثلة مناسبة PIE (على سبيل المثال، شاشة الكمبيوتر المكتبي، والفأرة والشاشة، الحلاق كرسي صالون حلاقة، ملأت زجاجة النبيذ). نتائج تميز كل صورة هي على النحو التالي:

(1) إشارة إلى التسمية بشكل صحيح: مخبز، ونماذج التنبؤ لا يسبر غورها ملحوظ: الخبز الفرنسي، ونماذج التنبؤ تقليم علامة: مخابز

(2) إشارة إلى التسمية بشكل صحيح: قفص الاتهام، ونماذج التنبؤ لا يسبر غورها مكتوب عليه: سفينة الحاويات، ونماذج التنبؤ تشذيب ملحوظ: بيير

(3) المرجع الوسم الصحيح: مطرقة، وليس الخوخ نموذج الشرح التنبؤي: عدة النجار، الخوخ نموذج الشرح التنبؤي: المطرقة

(4) تصحيح العلامة المرجعية: البنك أصبع، وليس نموذج الخوخ الشرح التنبؤي: الفطر، تشذيب نموذج الشرح التنبؤي: بانوراما

(5) إشارة إلى التسمية بشكل صحيح: حبوبا، تتنبأ نماذج لا يسبر غورها ملحوظ: بوريتو المكسيكي، تشذيب نماذج التنبؤ ملحوظ: طبق

(6) المرجع الصحيح العلامات: الحلوى، وليس نموذج الخوخ التنبؤي الشرح: حزمة، تشذيب نموذج الشرح التنبؤي: البقالة

هو المسمى (7) المرجع بشكل مناسب: المتوازيين، وليس نموذج الخوخ الشرح التنبؤي: المتوازيين، تشذيب نموذج الشرح التنبؤي: شريط أفقي

(8) إشارة إلى التسمية بشكل صحيح: أجهزة الكمبيوتر المكتبية، وليس نماذج التنبؤ تشذيب مكتوب عليه: الشاشة، وتقليم نماذج التنبؤ ملحوظ: رصد

التصنيف الصحيح للخطر من مجموعات البيانات في العالم الحقيقي، تميز بشكل صحيح مجداف أو حبوبا هو أعلى بكثير من المعتاد. للمهام الحساسة مثل التشخيص الطبي أو الطبقية المخاطر، ونتائجنا تشير ينبغي توخي الحذر قبل أن التقليم نموذج النشر.

يوفر PIE العثور على نموذج تغطية من قبل خبراء البشري من الصعب جدا على جزء صغير من سبيل المثال أداة، علامة توقع أقرب إلى مصدر البيانات. هذا خلق "رجل في حلقة" (الإنسان في داخل حلقة)، سيتم إعادة توجيه بعض الأمثلة غير نمطية صنع القرار يمكن أن يكون قيما للغاية في هذا القرار للتفتيش اليدوي أو كأداة أساسية للمعونة في نموذج التنبؤ يشرح .

يمكن PIE الصور الاختيار تساعدنا في العثور على الأكثر صعوبة في نوع نموذج الإدخال. صورة PIE لنموذج هو أكثر بكثير من الصعب تصنيفها. PIE يمكن حذف الصور من أعلى إلى 1 الأداء التعميم على المؤشر.

الرقم 8: فيما يتعلق الصورة في عينة عشوائية من ImageNet مجموعة اختبار (الحانات الوردي)، دقة متوسط أعلى 1 ResNet-50 عينة عشوائية من صورة PIE ImageNet (أشرطة خضراء) الشبكة العصبية عمق أقل من ذلك بكثير.

الرقم 9: إزالة صورة PIE لصالح التعميم. عندما النموذج هو فقط عينة غير عشوائية ImageNet PIE صورة (السماوي)، من أعلى إلى 1 زيادة دقة وأداء يتجاوز الإشارة.

ثالثا، ما التقليم تصنيف سيؤثر؟

ImageNet مع 1000 تصنيف مختلف، بما في ذلك الأشياء كل يوم (على سبيل المثال، لاعب كاسيت)، ولكن أيضا فئات الدقيقة التي تشير إلى كائنات مثل الملمس المخملي أو ما شابه ذلك، أو حتى الرجوع إلى مثل العريس الناس.

إذا كان تأثير كل أنواع التقليم هو نفسه، فإننا نتوقع دقة نموذج من كل فئة أن يكون الفرق بين أعلى 1 بين دقة تشذيب وتقليم نموذج ليست هي نفسها كما بلغت نسبة.

وهذا يشكل لدينا فرضية الأصلية، ويجب علينا تحديد ما إذا كانت كل فئة ترفض الفرضية الصفرية وقبول الفرضية البديلة - تشير الإحصاءات إلى أن: هناك اختلافات كبيرة في مستويات التذكر والتغييرات دقة الشاملة لكل فئة. هذا هو بمثابة يسأل: مع مراعاة تغيير شامل بعد تشذيب أعلى دقة 1، أداء الطبقة أفضل أو أسوأ مما كنت متوقعا؟

نموذج متوسط ونموذج للتقييم لا يسبر غورها بعد تشذيب الفرق الانجراف بين دقة تصنيف العينة عما إذا كان "حقيقية" يمكن اعتبار لتحديد ما إذا كانت عينتين البيانات من التوزيع الأساسي نفسه، فإن عددا كبيرا من الوثائق عن هذا درس.

من أجل المقارنة بين نموذج الأداء وتشذيب نموذج لا يسبر غورها مستوى التصنيف، ونحن نستخدم اثنين من جانب وولش عينات المستقلة اختبار t. نحن وحدنا بتدريب مجموعة من تقليم وتشذيب ليس النموذج، واختبار (ت) لتحديد ما إذا كان متوسط العينة تختلف اختلافا كبيرا. هذا الأسلوب يتيح لنا التعرف على أداء نموذج أو نماذج من فقدان الوزن الثقيل ظلت مستقرة نسبيا، أو حساسة جدا بالنسبة للقدرة للحد من مجموعة فرعية من الفئات.

هذا الأسلوب يتيح لنا التعرف على مجموعة فرعية من الطبقة: إما إعادة نموذج أداء نموذج لا يزال لديه جيدة وفقدان الوزن متانة، أو حساسية مفرطة إلى انخفاض القدرات.

التقليم مستوى (1) 30

التقليم مستوى (2) 50

التقليم مستوى (3) 70

التقليم مستوى (4) 90

10 دربنا مجموعة من نموذج تشذيب مستقل وغير تشذيب ور اختبار لتحديد ما إذا كان متوسط العينة تختلف اختلافا كبيرا. وأظهرت النتائج أن جميع الفئات، وبعض الفئات المتضررة من مستوى التقليم هو أكبر بكثير من الفئات الأخرى (الوردي هو نتيجة لفئة ذات دلالة إحصائية، رمادية لالنتائج الإحصائية ليست تغييرات كبيرة في فئة الأداء).

نحن أيضا رسم فئة استدعاء التغيير المطلق نسبة (شريط الرمادي والوردي) وتطبيع الدقة النسبية من التغييرات دقة أعلى-1 للحصول على نتائج تشذيب (علامة الرمادية والخضراء).

التقليم الاتجاه وحجم التأثير خفية ومثيرة للدهشة. نتائجنا تظهر أن بعض الفئات للحد من الأداء العام للنموذج قوي نسبيا، في حين أن الفئات الأخرى من تدهور الأداء هو أكثر بكثير من النموذج نفسه. هذا هو ما يعادل "تلف في الدماغ الانتقائية" على فئات معينة من الأداء، مما يشير إلى نموذج قدرة أعلى لفئات معينة من اختفاء الحساسية.

في كل مستوى من مستويات تقليم، ودقة النتائج إلى انخفاض كبير في الفئات النسبية لتكون أقل من دقة الزيادة النسبية في هذه الفئة، ومع ذلك، والحد من حجم دقة النسبية للطبقات الدنيا أكبر من الزيادة النسبية في دقة معدل النمو (والذي يؤدي إلى عموما انخفاض دقة). هذا يقول لنا خسارة المعمم الناجمة عن التقليم إلى تحسين دقة النسبية للتركيز أكثر من ذلك بكثير، وكانت فقط أقل فئات الوزن للحد من تأثير الناجم عن اختفاء الأداء.

تتأثر درجة أعلى من تشذيب المزيد من الفئات، والأكثر تضررا والنسبة المئوية للفرق مطلقا بين فئات أدنى تأثير الزيادات. تميل معظم التطبيقات في العالم الحقيقي لتقليم تشذيب أكثر من 50 للعودة الذاكرة وكفاءة. عند حذف 90 من وزنه، والتغير النسبي في 582 فئات 1000 فئات ImageNet ذات دلالة إحصائية.

الرابع، ونموذج لاستخدام التقليم، ماذا يعني هذا؟

في التطبيق العملي، يتم استخدام نموذج التقليم على نطاق واسع في تطبيقات التعلم الآلي. العديد من خوارزميات على الهاتف قد تكون مجردة أو ضغط في بعض الطريق.

نتائجنا تثير الدهشة وتشير إلى أن الاعتماد على معظم المؤشرات الهامة من أعلى-1 أو أعلى 5 مجموعة اختبار لنوع الدقيق للتشذيب تؤثر على طريقة النموذج تعميم تفاصيل مفتاح الاختباء.

ومع ذلك، لدينا وسيلة توفر فهم أفضل للبشرية، "البيت" وطريقة "كان" التقليم جلب، والتي الطبقات أكبر المستفيدين من الوصول إلى الحدس (الحدس) من وظائف إضافية. ونحن نعتقد أن هذا النوع من الأداة هو للخبراء مساعدة في فهم التقليم تنتج قيمة خطوة أولى "المنازل" للمثال "الحصول على" واكتشاف صعوبة كبيرة في الحكم يدويا.

نرحب بعمل مناقشات أخرى حول هذا الموضوع ومساهمات التعليمات البرمجية. في ورقتنا ومفتوحة المصدر، وتفاصيل نهجنا والإطار والنتائج التجريبية.

ضمن هذا النطاق المحدود للدراسة، ونحن غير قادرين على معالجة العديد من القضايا الموضوعية فضلا عن العديد من الأبحاث لدينا ليست عميقة، ولكن القيمة، بما في ذلك: تقليم تقييم أثر على مجالات أخرى (مثل اللغة والصوت)، والهندسة المعمارية مختلفة الاعتبارات، وكذلك مقارنة المفاضلة النسبية استنادا إلى تقنيات الضغط المستخدمة عادة أخرى (مثل تكميم) يجلب تشذيب النموذج.

المرجعية ذات الصلة في هذه الوثيقة، ويمكن قراءة النص:

https://weightpruningdamage.github.io/

لى فنغ شبكة جمعتها منظمة العفو الدولية تكنولوجي ريفيو