وقبل عام، قررت البدء في استكشاف الصيغة ضد شبكة (GANS). منذ أنا مهتم في عمق التعلم، وقد فتنت معهم، وذلك بسبب الكثير من التعلم العميق يمكن أن تفعل أشياء لا تصدق. عندما أفكر في الذكاء الاصطناعي، GAN هي كلمة ظهرت للمرة الأولى في ذهني.

GANS لدت الوجه (StyleGAN)

لم يكن حتى بدأت لأول مرة GAN التدريب، وجدت طبيعة الوجهين مثيرة للاهتمام من هذه الخوارزمية: تدريب في غاية الصعوبة. في الواقع، قبل أن أحاول، تعلمت من الصحف وغيرها علمت أن يحاول هذا، ولكن أعتقد دائما أنها مبالغة في مشكلة كان يمكن أن يكون صغير ولكن التغلب بسهولة.

لقد أثبتت الوقائع أن أكون مخطئا.

عندما أحاول أن تولد حالة مختلفة مع الأشياء MNIST التقليدية، وجدت مشاكل عدم الاستقرار تأثير GAN كبيرة، وكما قلت زيادة الوقت الذي يقضيه تبحث عن حل، يصبح قلق جدا لي.

الآن، بعد أن قضى أيام لا تعد ولا تحصى لدراسة الحلول معروفة ومحاولة اقتراح حلول جديدة، ويمكنني أن أقول أخيرا أنني على الأقل الحصول على مزيد من السيطرة على استقرار مشروع التقارب GAN، يمكنك. أنا لا أتوقع منك سوى 10 دقيقة على حل هذه المشكلة وتحقيق النتائج تقارب الكمال (أو كلمة لعبة نظرية التعبير التي توازن ناش) في كل مشروع، ولكن أريد أن أقدم لكم بعض النصائح والتقنيات، يمكنك استخدام هذه النصائح لجعل رحلتك تملق GAN، وأقل استهلاكا للوقت، والأهم، أقل الارتباك.

وضع GANS

منذ مقدمة من شبكة يولد العداء منذ والباحثين قد فعلت الكثير من البحوث حول مشكلة الاستقرار. هناك يقترح أدب كبير وسيلة لتحقيق الاستقرار والتقارب، بالإضافة إلى ذلك، هناك الكثير من البرهان الرياضي طويلة ومعقدة. وبالإضافة إلى ذلك، بعض النصائح المفيدة والإلهام في مجال التعلم العميق ظهرت: لقد لاحظت أن هذه غير مثبتة، وليس هناك أي تفسير من المهارات الرياضية، وغالبا ما تكون فعالة جدا، لا يمكن التخلص منها.

مع تحسن الاستقرار في جوانب صورة الواقع ولدت كما كانت قفزة إلى الأمام كبير. ما عليك سوى إلقاء نظرة على النتائج من نفيديا وStyleGAN من جوجل BigGAN، ويمكن أن ندرك حقا GANS تطورت إلى أي مدى.

الناتجة عن صورة BigGAN

بعد قراءة وحاول العديد من التقنيات من الأوراق والممارسين، وأنا جمعت قائمة من القوائم في GAN التدريب ينبغي النظر فيها ويجب ألا يعتبر مشكلة، وتريد أن تجعل هذا الموضوع معقد ومطول في بعض الأحيان مزيد من الفهم.

1. القدرة والاستقرار

عندما بدأت أول GAN مشروع مستقل، لاحظت في بداية عملية التدريب، ضد فقدان تمارس التمييز يميل دائما إلى الصفر، في حين أن فقدان مولد عالية جدا. وعلى الفور يخلص إلى أن ليس هناك ما يكفي من شبكة من "القدرة" (أو عدد من المعلمات) لتتناسب مع شبكة أخرى: أنا على الفور تغيرت بنية المولد، إضافة أكثر في تصفية طبقة الإلتواء، ولكن لدهشتي، فإنه لم يغير شيئا.

بعد مواصلة استكشاف أثر التغيرات في التدريب الاستقرار سعة الشبكة، لم أجد أي ارتباط كبير. من المؤكد أن هناك صلة بين الاثنين، ولكنها ليست مثل كنت بدأت للتو أن نتصور في غاية الأهمية.

لذا، إذا كنت تجد نفسك في اختلال عملية التدريب، وعندما قدرة شبكة بشكل ملحوظ أكثر من لم تظهر الشبكات الأخرى، وأنا لا أقترح إضافة أو إزالة الفلاتر باعتبارها الحل الرئيسي.

بطبيعة الحال، إذا كنت تملك قدرة الشبكة غير مؤكد جدا، يمكنك ان ترى بعض من المشهد المعماري للحالات مماثلة للإنترنت.

2. طريقة وقف في وقت مبكر (في وقت مبكر إيقاف)

خطأ شائع آخر عندما التدريب GANS، قد تواجه هو أنه عندما ترى باني أو الممي خسارة زيادة مفاجئة أو نقصان التدريب تتوقف على الفور. لقد فعلت أيضا هذا مرات لا تحصى: بعد رؤية خسارة الزيادة، وعلى الفور اعتقد يتم تدمير العملية التدريبية كلها بسبب بعض المعلمات لحن فائقة الكمال بما فيه الكفاية.

حتى ذلك الحين، أدركت فقدان وظيفة غالبا ما تكون عشوائية الصاعدة والهابطة، هذه الظاهرة ليست مشكلة. أنا جعلت بعض الخير، نتائج عملية، وفقدان للمولد هو أعلى بكثير من فقدان الممي، وهو أمر طبيعي تماما. لذلك، عندما واجهت عدم الاستقرار المفاجئ في عملية التدريب، وأقترح عليك القيام ببعض التدريب، وإيلاء اهتمام وثيق لجودة الصورة ولدت في عملية التدريب، لأن الفهم البصري للخسارة هو عادة أكثر وضوحا من بعض الأرقام.

3. وظيفة فقدان حدد

وعند اختيار التدريب فقدان GAN وظيفة، ينبغي لنا أن اختيار أي فعل واحد؟

يحل الورقة الأخيرة هذه المشكلة (عنوان الرسالة: الشبكي: //arxiv.org/abs/1811.09567)، وفقدان ورقة لجميع وظائف مختلفة للقياس ومقارنة: كانت هناك بعض النتائج المثيرة للاهتمام للغاية. ومن الواضح أن خيار لا يهم الذي فقدان وظيفة: أي وظيفة على الإطلاق أفضل من غيرها من المهام، GAN قادرين على التعلم في كل حالة مختلفة.

النتائج الورق: أقل الخسائر هي أفضل (https://arxiv.org/abs/1811.09567)

لذا، نصيحتي هي وظيفة خسارة بسيطة من البداية، وترك أكثر تحديدا و"الأكثر تقدما" خيار ممكن من الخطوة الأخيرة، كما نعرف من الأدبيات ذلك، أنت من المحتمل أن تزداد سوءا النتائج.

4. مولد والوزن التوازن الصحيح المصنفات التحديث

GAN في العديد من الصحف، وخاصة في بعض الصحف في وقت مبكر، وغالبا ما ينظر إليها في قسم التنفيذ، والكتاب تحديثها في كل مرة الممي، يتم تحديث مرتين أو ثلاث مرات المولد.

في أول محاولة لي، لقد لاحظت أنه في حالة التدريب غير متوازن، وشبكة الممي يتجاوز دائما تقريبا مولد (وظيفة فقدان تقلص إلى حد كبير). لذلك، عندما أعرف أنه حتى معظم المؤلفين المعلقة سيكون له مشكلة مماثلة، ويستخدم حل بسيط جدا لإصلاح ذلك، وأنا على ثقة تامة في ما تفعله.

ولكن في رأيي، من قبل مختلف الأوزان تحديث الشبكة لتدريب التوازن هو حل قصير النظر. تقريبا أبدا تغيير تردد مولد لتحديث الوزن منه، صار لي عملية التدريب ثابتة من الحل النهائي: أنه يمكن تأخير في بعض الأحيان ظهور عدم الاستقرار، ولكن لا يمكن حلها حتى التقارب. عندما لاحظت هذه الاستراتيجية غير صالحة، وأنا لا تحاول حتى لجعلها أكثر ديناميكية، لتغيير التحديث فقدان الوزن التقدم للحالة الراهنة من الشبكتين، حتى بعد أن اكتشفت أنني لم أكن واحد فقط تحاول السير في هذا الطريق الناس، وكثير غيرها، وأنا لم تنجح في التغلب على حالة عدم الاستقرار.

فقط في وقت لاحق أدركت أن تقنيات أخرى (شرح لاحقا في هذه المقالة) دور في تحسين الاستقرار في التدريب إلى حد أكبر.

5. مشاكل انهيار الوضع ومعدل التعلم

إذا كنت التدريب GANS، سوف نعرف على وجه اليقين ما هو الوضع طي. المشكلة هي أن مولد "انهيار"، ودائما ضمنا وكل ناقلات المدخلات لتوليد عينة واحدة. في عملية تدريب GAN، وهي عقبات مشتركة إلى حد ما، في بعض الحالات، يمكن أن تصبح مرهقة للغاية.

أمثلة على الوضع الانهيار

إذا واجهت هذا الوضع، وأنا أقترح عليك أكثر وضوحا الحل هو محاولة لضبط سرعة التعلم GAN، لأنني أعرف من التجربة الشخصية، وكنت دائما قادرا على التغلب على هذه العراقيل عن طريق تغيير معالم هذا السوبر معين. وفقا لتجربة، عند التعامل وضع مشكلة الانهيار، حاول استخدام معدل التعلم أصغر، والبدء في التدريب من الصفر.

سرعة التعلم هو واحد من أكثر المعالم الهامة للسوبر، سوبر، إن لم يكن معظم المعلمة مهمة، حتى لو كان تغييرات صغيرة يمكن أن تؤدي أيضا إلى تغيرات أساسية في عملية التدريب. بشكل عام، عند استخدام أكبر دفعة الحجم، يمكنك تعيين معدل التعلم أعلى، ولكن في تجربتي، والمحافظة دائما تقريبا خيار آمن.

وهناك طرق أخرى للتخفيف من مشاكل انهيار الوضع، مثل أنا لم يتحقق في حياتهم مطابقة ميزة الرمز (ميزة مطابقة) وكميات صغيرة من التمييز (Minibatch التمييز)، لأنني دائما أن تجد طريقة أخرى لتجنب هذا نوع من الصعب، ولكن إذا كنت في حاجة، يرجى الالتفات إلى هذه الأساليب من تلقاء نفسها.

6. إضافة الضوضاء

وكما نعلم جميعا، وزيادة صعوبة تدريب المصنفين سوف تساعد على تحسين الاستقرار الشامل للنظام. واحدة من الطرق لتحسين الممي التدريب تعقيد يضاف الضوضاء في البيانات الصناعية وبيانات حقيقية (على سبيل المثال، التي تم إنشاؤها بواسطة مولد صورة)؛ في مجال الرياضيات، والتي ينبغي أن تكون فعالة، لأنه يساعد على اثنين شبكة توزيع البيانات المتنافسة توفير بعض الاستقرار. أوصي تحاول استخدام هذا الأسلوب لأنه عادة أكثر فعالية (حتى لو كان لا يحل بطريقة سحرية أي مشاكل التي قد تواجهها عدم الاستقرار)، وتكلفة إنشاء ويتطلب القليل جدا من الناحية العملية. أما وقد قلت ذلك، بدأت في استخدام هذه التكنولوجيا، ولكن بعد فترة من الوقت أعطى تصل بعد، ولكن أكثر مثل بعض التقنيات الأخرى أكثر فعالية في رأيي.

7. تسمية تمهيد

وهناك طريقة أخرى لتحقيق نفس الغرض من التسمية على نحو سلس، وهذه الطريقة أسهل للفهم وتنفيذ: إذا التسمية يتم تعيين صورة حقيقية ل1، ونحن سوف تغييره إلى قيمة النقطة المنخفضة، مثل 0.9. هذا الحل يمنع تصنيفها التسمية الممي واثق جدا، أو بعبارة أخرى، لا تعتمد على مجموعة محدودة جدا من الميزات لتحديد الصورة صحيحة أو خاطئة. وأنا أتفق تماما مع هذا قليل الحيلة، لأنه يؤدي بشكل جيد جدا في الممارسة العملية، وتحتاج فقط إلى تغيير التعليمات البرمجية في واحد أو حرفين.

التدرج متعددة النطاق

عندما العملية ليست الصور الصغيرة جدا (مثل الصور MNIST في)، تحتاج إلى التركيز على التدرج متعددة الحجم. هذا هو GAN خاص يتحقق، لأن تعدد العلاقات بين القفزات شبكة اثنين من تدفق ولدت لالممي التدرج، الذي يشبه إلى دلالات U-صافي التقليدية للتجزئة.

العمارة MSG-GAN

التدرج متعدد حجم ورقة يمكن أن تتولد بواسطة GAN القطار المباشر 1024x1024 صور عالية الدقة، دون أي مشكلة كبيرة جدا (الوضع طي الخ)، في حين كان من قبل، فقط النمو تدريجيا GAN (NVIDIA، ProGAN) ممكن. لقد تحقق ذلك في مشروعي، وأنا حصلت على النتائج إلى عملية التدريب أكثر استقرارا وأكثر إقناعا. عرض ورقة (https://arxiv.org/abs/1903.06048) للحصول على مزيد من التفاصيل ومحاولة ذلك!

9. الساعة قاعدة تحديث النطاق

عندما أقول قاعدة تحديث الجداول الزمنية مزدوجة (TTUR)، قد تظن أنني أتحدث عنه هو تدريب GAN في استخدام التكنولوجيا المتطورة واضحة، ولكن ليس من هذا القبيل. هذه التكنولوجيا فقط للحفاظ على المولدات والممي اختيار معدل التعلم المختلفة، لا شيء أكثر من ذلك. في ورقة TTUR قدم للمرة الأولى (https://arxiv.org/abs/1706.08500)، يقدم المؤلف في CONVERGES الخوارزمية إلى البرهان الرياضي على توازن ناش، وأثبتت أن استخدام معدلات التعلم المختلفة حققت بعض GAN أكثر شهرة (DCGAN، WGAN-GP)، وحققت نتائج الأكثر تقدما.

ولكن عندما أقول "استخدام معدل التعلم مختلف"، أنا حقا يجب أن تكون كيفية القيام بذلك من الناحية العملية؟ بشكل عام، فإنني أوصي اختيار معدل التعليم العالي لالممي، والاختيار هو منشئ أقل معدل التعلم: ونتيجة لذلك، يجب أن يتم تحديث مولد مع الممي سعة أصغر لخداع، ولن يختار طريقة سريعة وغير دقيقة وغير واقعية لتحقيق الفوز في المباراة. لإعطاء مثال عملي، وأنا كثيرا ما تعلم الممي معدل اختياره 0.0004، ومولد معدل التعلم اختيار كما 0.0001، وأجد هذه القيم في بعض مشاريعي أداء جيدا. تذكر، عند استخدام TTUR، قد تلاحظ أن المولد يحتوي على كمية أكبر من الخسارة.

10. تطبيع الطيفي

في بعض الصحف، مثل إدخال ساجان (أو الذاتي - الاهتمام GAN) ورقة، وتظهر أن يتم تطبيق تطبيع الطيفي لنواة الالتواء خاصة التطبيع، يمكن أن تحسن كثيرا من الاستقرار من التدريب. انه كان يستخدم في البداية فقط في الممي، تبين أن طبقة التفاف إذا كان مولد فعال، ويمكنني أن أتفق تماما مع هذه الاستراتيجية!

أستطيع أن أقول تقريبا، لاكتشاف وتحقيق الطيف تطبيع لجعل رحلتي ظهر GAN تغيير الاتجاه، بصراحة، أنا لا أرى أي سبب لعدم استخدام هذه التقنية: استطيع ان اؤكد ان وسوف تعطيك أفضل التدريب وأكثر استقرارا النتائج، في حين يسمح لك للتركيز على مشاريع أخرى عميقة تعلم جوانب أكثر إثارة للاهتمام! (أنظر مقالة: الشبكي: //arxiv.org/abs/1802.05957)

استنتاج

ويتوقع العديد من التقنيات الأخرى، تقنيات أكثر تعقيدا وأبنية لحل مشكلة GANS التدريب: في هذه المقالة، وأنا أريد أن أقول لكم أنني شخصيا اكتشفت وأدركت ما طرق للتغلب على العقبات التي واجهتها.

لذا، إذا كنت تعلم كل طريقة والتقنيات الموصوفة هنا، يجدون أنفسهم في ورطة، ثم هناك حاجة الى المزيد من البيانات المراد دراستها. بعد كل ما يمكنني قوله، بعد أن أمضى ساعات لا تحصى من الأبحاث وحاول حلول كل الطرق الممكنة القضايا المتعلقة GAN، وأنا أكثر ثقة من مشروعي، وأنا حقا أريد منك أن تفعل الشيء نفسه.

وأخيرا، وأنا أتوجه بخالص الشكر لاهتمامكم وقراءة هذا المقال، آمل أن تتمكن من الحصول على شيء ذي قيمة.

عبر https://towardsdatascience.com/10-lessons-i-learned-training-generative-adversarial-networks-gans-for-a-year-c9071159628

أريد لعرض وصف والمراجع؟

انقر على [بعد GANS الطفل ألف مرة، وأنا لخص تجربة 10 التدريب] للوصول ~

AI Yanxishe شبكة كاملة البث الحصري IJCAI 2019، وفيما يلي جدول اليوم وجلسات محددة العيش، والاهتمام موضع ترحيب ~ ساعة

14:

08: 30-09: 20: دعوة نقاش

11: 00-12: 30: لوحة: 50 عاما من IJCAI

14: 00-14: 50: دعوة نقاش

يعيش العنوان: الشبكي: //ai.yanxishe.com/page/meeting/47

شبكة شبكة شبكة لى فنغ لى فنغ لى فنغ