مذكرة لى فنغ شبكة AI تقنية الاستعراضي: كما نعلم جميعا، قد أغلقت ICLR 2018 ورقة التقديم، التي هي الآن قيد الاستعراض. على الرغم من أن عملية الاستعراض OpenReview أعطت هذه الورقة ICLR الجلسة مرتفعا هوية كل من الكشف السابق، ولكن لا يزال أفضل من غيرها من الاجتماعات "فتح" هو أكثر من ذلك بكثير: أوصت محتويات ورقة، فضلا عن عملية تقييم القراء والردود الكتاب مرئية.

ومع استمرار عملية الاستعراض، في الآونة الأخيرة كانت هناك مراجعة جيدة في هذا الكتاب هو منصة اجتماعية، تمكن الباحثون لمعاينة. NVIDIA حتى أخذ زمام المبادرة لتعزيز تقديم ورقة نفسه، وأيضا على محتويات الرئيسية للالتقارير التي لى فنغ شبكة AI تقنية NVIDIA مراجعة ورقة: صورة عالية الوضوح التي تم إنشاؤها بواسطة GAN | ICLR عام 2018.

وقد تم العثور على هذين اليومين على أوراق رائعة للمشاركة بها، إيان غودفلوو كما قدم استعراض صادقة جدا وإيجابية:

إيان غودفلوو: "على الرغم من GANS فئة وحدها تولد صورا واقعية من بالفعل قام بعمل عظيم (مثل استخدام GAN الطلاب البالغين الوجه، والهندسة المعمارية آخر جيل GAN)، ولكن مع GAN حل ImageNet في فئة 1000 كان نحن نقوم بعمل جيد. هذا ICLR المساهمين في القيام به حيال ذلك ".

هناك يسأل لماذا نتعلم لتوليد 1000 دروس صعبة للغاية، إيان غودفلوو ليس واضحا جدا. أكثر من فئة واحدة، والأداء AC-GAN لأمر مروع. يبدو أن SN-GAN إلى حل هذه القضايا.

خلفية

ورقة بعنوان "الطيفي التطبيع لالخصومة شبكات المولدة" (الطيف التقييس شبكة الجيل المواجهة)، والنقطة الرئيسية هي تحسين أداء تحكم الممي GANS. في الواقع، وجدنا أن نسخة أكثر بدائية من هذه الورقة ظهرت على ورشة عمل حول النماذج الضمنية ICML2017 على محتويات ورقة الآن، لم يكن هناك زيادة كبيرة وتحسين.

بعبارات بسيطة، GANS هذا الإطار هو جعل هدف نموذج بيانات الشبكة لتقليد توزيع التوزيعات ولدت مجموعة البيانات، التي مولد يولد الممي بيانات لتمييز ما إذا كانت البيانات التي تم إنشاؤها بواسطة توزيع توزيع البيانات الهدف. بالتناوب توليد عملية التدريب وتحديث الممي، والهدف هو تقليص الفارق بين توزيع البيانات الناتجة معين، وتوزيع البيانات، ويتم قياس هذا الاختلاف في أفضل الممي في كل جولة من التدريب تم الحصول عليها. تظهر الدراسات الحديثة أيضا أن لGANS نسبة كثافة يعادل التدريب مقدر الممي لتدريب ولتوليد توزيع البيانات الواردة.

هناك مشكلة دائمة في التدريب GANS، هو التحكم أداء الممي. في الفضاء الأبعاد عالية، ونسبة كثافة الممي جعلت تقديرات غير دقيقة في كثير من الأحيان، وتدريب غير مستقر للغاية، فمن الصعب معرفة المولد شبكة التوزيع المتعدد الوسائط هيكل الهدف. والأسوأ من ذلك، عندما يكون توزيع البيانات التي تم إنشاؤها والمنطقة المستهدفة لا تتقاطع، هناك الممي المثالي لتمييز البيانات التي تم إنشاؤها والبيانات الهدف. مرة واحدة واجه الوضع من هذا القبيل، وتدريب للخروج من هذا الممي، ومولد التدريب على الركود الأساسية، لأن الممي مشتق مما ينتج على المدخلات تصبح صفرا. هذا الوضع يسمح الكتاب للتفكير في كيفية إدخال بعض القيود الجديدة التي تدربها لتجنب مثل هذا الممي.

SN-GAN

في هذه الورقة، ويقترح المؤلفون طريقة الوزن التنظيم الجديد، المعروف باسم "تطبيع الطيفي" (موحدة الطيف)، فإنه يمكن تحقيق الاستقرار في شبكة الممي عملية التدريب. هذه الطريقة تسوية هي طبيعة الناس مثل:

• تحتاج فقط لضبط عظمى المعلمات ثابت تامار، ولكن التفكير في نموذج الأداء المرضي لا تتطلب تكرار اختبار هذا فقط معلمة واحدة

• تنفيذ بسيط جدا، القليل جدا من النفقات العامة الحسابية إضافية

هذا العام حار جدا لفترة من الوقت اسرشتاين GAN يبشيز زيادة ثابتة على المدى تسوية المقترحة لإدخال عينة، وبالتالي الحد من الممي من أجل تحسين الاستقرار في أسلوب التدريب. هناك معادلة بسيطة نسبيا حساب على أساس مساهمة إيجابية من طريقة، ولكن لديهم أيضا بعض المشاكل، وهذا هو، من دون إدخال أساليب الكشف عن مجريات الأمور لا يمكن تنظيما في الفضاء خارج مولد البيانات الفضائية والفضاء البيانات الواردة .

الطريقة المقترحة في هذه الورقة على أساس فكرة WGAN، نقترح نهجا جديدا لمشكلة التي سحارة التي يتعين حلها عن طريق إعطاء قيمة الطيفية القياسية من كل طبقة الشبكة ملموس زيادة الحد ممارسة الرقابة يبشيز وظيفة ثابتة الممي، موحدة الأوزان لحظة، في الوقت نفسه مع المهارات و"الطيفي تنظيم القاعدة لتحسين إمكانية تعميم التعلم العميق" المقترحة لزيادة النفقات العامة الحسابية ليس كثيرا. تفاصيل أطول طول الخوارزمية، يرجى الضغط على الرابط في نهاية قراءة الأوراق الأصلية.

Salimans وكينجما في "الوزن التطبيع: A reparameterization بسيطة لتسريع تدريب الشبكات العصبية العميقة" في طريقة موحدة الترجيح المقترحة، انها على حساب تقليص عدد الممي استخدام ميزات بحيث تكون البيانات الناتجة عن توزيع نموذج أكثر التعسفي، فقط نحن بحاجة إلى تلبية بعض الميزات التي يمكن أن تخدع الممي؛ ووزن قطع طريقة تواجه مشاكل مماثلة. ويأمل واضعو الصحيفة الممي يمكن استخدام ما يصل الى ميزات محتملة في الصورة، حتى يتمكنوا من اتخاذ الطيف توحيد أسلوب المعلمة مصفوفة قدر الإمكان استخدام ميزات مختلفة في الصورة، في حين لا يزال اجتماع محلي 1-يبشيز قيود. (AI لى فنغ شبكة تكنولوجي ريفيو ملاحظة: SN-GANS قدر الإمكان استخدام الخصائص الموجودة في الصورة، إذا كان هذا هو إيان غودفلوو أيضا تريد أن تعرف أن لديها الأداء الممتاز على مجموعات البيانات الكبيرة أحد الأسباب المهمة لذلك)

طرق Gulrajani وآخرون "من GANS اسرشتاين تحسين التدريب" بالتعاون مع استخدام التدرج WGAN عقوبة عقوبة التدرج. وقال نهجها لن يؤدي إلى البعد المكاني مميزة من المشكلة فقط، ولكن توزيع بيانات الجيل الحالي هو أيضا ضعف صارخ يعتمد إلى حد كبير. مع عملية التدريب، والتوزيع المكاني للالبيانات التي تم إنشاؤها سوف يتغير تدريجيا، فإن هذا سيؤدي إلى طريقة تسوية عدم الاستقرار. في الواقع، وجد المؤلفون أيضا أن اختيار التجريبية من ارتفاع معدل التعلم سيؤدي إلى عدم استقرار أداء WGAN-GP. الطريقة القياسية الطيفي اقترحت الكتاب وسيلة لمساحة العمل هي وظيفة من الدفعة القطار المتضررة من أصغر، حتى مع وجود نسبة عالية من التعلم سوف لا غير مستقر بسهولة. وينبغي أن يكون WGAN-GP فوق الحسابية العالي.

تجربة

مجموعة المؤلفين على أساس البيانات الصغيرة CIFAR-10، وأجريت STL-10 والكبيرة مجموعات البيانات صورة ImageNet تجارب جيل من دون رقيب وفئات محددة الكمية المستخدمة النتيجة النتيجة إنشائها وفريشيه بعد إنشائها (ااا).

طريقة المقارنة بين SN-GAN WGAN-GP بالإضافة إلى المذكور أعلاه (WGAN مع العقاب التدرج)، وئام نعمو (الوزن تطبيع)، وهناك BN (دفعة تطبيع)، LN (طبقة التطبيع)، وحدها التدرج العقاب GAN-GP. A-F هو نتيجة لاستخدام معايير مختلفة لتدريب فائقة، والتعلم أعلى معدل DEF.

مجموعات البيانات النتائج الصغيرة

يتبين من هذا الرقم، SN-GAN ديه متانة أفضل لمعدلات التعلم المختلفة، على أفضل النتائج هي أفضل من كل الوسائل الأخرى.

إذا كنت التدريب على المعايير المثلى من كل نموذج، والأداء SN-GAN هو الأفضل. (STL-10 تدريبهم على SN-GAN مرتين بسبب التقارب ليس بهذه السرعة)

من الصورة الناتجة يمكن أن يرى، ولدت SN-GAN صورة أكثر وضوحا، أكثر ثراء، وليس هناك مشكلة التي تحدث كما تعلم WGAN-GP بمعدل مرتفع.

تحليل أداء SN-GANS

يظهر الشكل التالي قيمة مربع من وزن واحد من كل أسلوب التدريب لإعطاء أفضل أداء مصفوفة الشبكة الممي الوزن. التنبؤ ما تقدم، فإن الشبكة مع طريقة موحدة للتدريب الوزن، قبل 1-5 طبقات التركيز فقط على عدد قليل من العديد من المكونات، التي الوزن طبقات مصفوفة سيكون أضعف في القدرة على الترتيب. من ناحية أخرى، مع مجموعة متنوعة من شبكة التدريب موحدة فيها قيمة واحدة الوزن مصفوفة من طبقات من الحقوق على توزيع أوسع.

عندما يكون الهدف هو احتمال الفضاء الأبعاد عالية جزءا لا يتجزأ من البيانات الخطية المنخفضة للالأبعاد في توزيع مركب حلها، وطبقة أقل رتبة ليست قدرة قوية سوف تصبح قاتلة للغاية. شبكة الانتاج على مستوى منخفض بعد سوى عدد قليل من التحول غير الخطية، وهو ما يعني أكثر من مرة أنها تعتمد أكثر على الفضاء الخطي. العديد من الميزات حذفت في توزيع المدخلات في هذا المجال، والنتيجة التي تم الحصول عليها هي الممي التبسيط.

تدريب الوقت الجانب، زاد SN-GANS تدريب وقت فقط 10 إلى 20 أعلى من الحق في إعادة توحيد، لا يزال أكثر من WGAN-GP أسرع.

تحديد فئات بناء على صورة الجيل ImageNet

من أجل التحقق من الطريقة المقترحة يتركز لا يزال ساري المفعول في البيانات الأبعاد عالية على نطاق واسع، واستخدم القائمون على الدراسة فئات ImageNet مع 1000 فئة GANS تدرب مع ظروف كل فئة وهناك حوالي 1300 المضغوطة إلى 128X128 صور التدريب.

من خلال هذا المنحنى التعلم يمكن بالفعل أن ينظر في عدة طرق، إلا SN-GANS يمكن تدريب بنجاح. من حيث توليد الفعلي، SN-GANS هي واحدة فقط قادرة على استخدام زوج واحد فقط وتوليد الممي يمكن أن تتولد من مجموعة البيانات طريقة ImageNet وجود نوعية صورة جيدة. SN-GANS الوضع انهيار النمط هو أيضا أفضل بكثير من AC-GANS (كانت داخل عشرات MS-حركة استقلال جنوب السودان 0.101 وحوالي 0.25).

الصورة الناتجة هي مسألة كبيرة جدا بالطبع، كجزء من فئة صورة FIG.

ليس فقط وضوح الصورة، والألوان الزاهية، والمحتوى معظم الوقت هو معقول، وصورة له أيضا اختلافات كبيرة، في أول وهلة هلة وكأنه صورة حقيقية مجتمعة. هذه ولدت الصور إنشائها يسجل 21.9. وهذا هو، هذه النتائج تسمح إيان غودفلوو يشعر بالصدمة.

استنتاج

وتقترح هذه الورقة وسيلة لتعزيز الطيفي موحد GANS تدريب استقرار الصورة الناتجة من ثراء التقليدي للأوزان قياسية أعلى، وأيضا مع الدراسات السابقة حتى إلى حد ما ارتفاع درجة إنشائها. هذه الطريقة WGAN-GP المحلي اقترح تنظيم مختلفة، يتم تطبيقه على القيود العالمية الممي، ولكن يمكن أن تستخدم أيضا بالاشتراك مع طرق أخرى. في دراسات المستقبل، والكتاب تنوي الاستمرار في اجتثاث من وجهة نظر النظرية الاختلاف مع هذا الأسلوب، وفي خوارزمية التجريبية أكبر على مجموعات بيانات أكثر تعقيدا.

أوراق عنوان: استعراض ICLR فيOpenReview، بما في ذلك وصف مفصل للطريقة والأدلة المرتبطة بها

ICML إصدار سابق من TF تحقيق: الشبكي: //github.com/minhnhat93/tf-SNDCGAN

شبكة لى فنغ جمعت AI تقنية الاستعراض. تفسير تقارير أكثر الأكاديمية، مقالات مثيرة، يرجى مواصلة إيلاء اهتمام بالنسبة لنا.