لى فنغ شبكة AI تقنية الصحافة، ولدت ضد شبكة هي فئة من الشبكة العصبية القوية وتستخدم على نطاق واسع. وهي تتألف أساسا من اثنين نظام الشبكة العصبية تتكون من - توليد والممي، الشبكتين إلى كل القيود الأخرى. عشاق رؤية الحاسوب والذكاء الاصطناعي بهاراث راج صدر مؤخرا إلى بلوق، وتلخص المبادئ ولدت ضد شبكة، تتم أحدث التطورات من أجل التغلب على أوجه القصور ومساوئ هذه الدراسات. لخصت شبكة لى فنغ جمعتها منظمة العفو الدولية تقنية مراجعة على النحو التالي:

أعمال لدت ضد شبكة

وبالنظر إلى مجموعة من العينات المستهدفة، يمكن للمولد كهربائي بعض محاولة لخداع الممي، الممي يعتقدون أنهم عينات حقيقية. الممي محاولة حقيقية عزم (الهدف) عينات من وهمية (إنشاء) في العينة. استخدام هذا الأسلوب التدريب التكراري، ونحن في النهاية الحصول على الخير الحقيقي في توليد عينة مماثلة للمولد عينة المستهدفة.

GAN لديها عدد كبير من التطبيقات، لأنها يمكن أن تتعلم لمحاكاة ما يقرب من أي نوع من توزيع البيانات. وبصفة عامة، GAN يمكن استخدامها للحصول على صورة ذات دقة منخفضة جدا وترجمة أي نوع من الصور، وما إلى ذلك، على النحو التالي:

استخدام غان الترجمة صورة

ولكن نظرا لتقلباته، وأداء غير مستقر، من الصعب استخدامها لفعل شيء ما. بالطبع، جعلت العديد من الباحثين حل جيد جدا لتخفيف بعض من شبكة التدريب مشاكل GAN المعنية. ومع ذلك، فإن معدل التقدم للبحوث في هذا المجال سريع بحيث كان الأوان قد فات لتعقب الكثير من الأفكار المثيرة للاهتمام. هذا بلوق قوائم بعض من أداء التدريب GAN المشترك والتكنولوجيا مستقرة.

مساوئ استخدام نظرة عامة GAN

هناك أسباب كثيرة لGAN صعبة الاستخدام، وبعد هذا القسم قوائم بعض من الأسباب.

1. انهيار نموذج (انهيار الوضع)

توزيع البيانات الطبيعي معقد للغاية ومتعدد الوسائط. وبعبارة أخرى، هناك الكثير من توزيع البيانات "الذروة" أو "نموذج". يمثل كل نموذج نماذج البيانات تركيزات مماثلة، ونماذج أخرى على خلاف.

خلال نموذج للطي، وينتمي عينة مولد يولد مجموعة من نموذج محدود. عندما يعتقد المولد أنه يمكن أن يكون مؤمنا لخداع يحدده نموذج واحد، يحدث هذا الوضع. وهذا هو، فقط مولد نموذج يولد عينة.

ويشير النموذج الصورة التي لم إخراج قابلة للطي أعلى انهار GAN، GAN أسفل صورة تمثيل نموذج الانتاج.

الممي عينات جدت في نهاية المطاف من هذا النموذج هو زائف. وهكذا، يتم تأمين فقط المولد إلى نموذج آخر. وتتكرر هذه الدورة بلا حدود، الأمر الذي يحد بشكل أساسي تنوع العينات التي تم إنشاؤها. للحصول على شرح أكثر تفصيلا، يمكنك عرض هذا السجل.

2. التقارب

في التدريب GAN، وهي مسألة شيوعا هو "متى نتوقف تدريبهم؟" "عند تحديد الخسائر الناجمة عن انخفاض (أو العكس بالعكس)، وتوليد وخسائر تزيد، وبالتالي لا يمكن تحديد القيمة على أساس التقارب من فقدان الوظيفة. كما هو مبين أدناه:

نموذجي فقدان GAN وظيفة الرسم البياني، يرجى ملاحظة أن هذا الرقم لا يفسر لماذا التقارب.

3. جودة

كما هو الحال مع القضية السابقة، فإنه من الصعب تحديد الكمية عند مولد يولد عينات عالية الجودة. فقدان ينظر إضافية من وظيفة في تسوية يمكن تخفيف الوضع إلى حد ما.

4. قياس

وأوضح دالة الهدف GAN وبالمقارنة مع منافسيها، وكيف الممي المولد أو الأداء. ومع ذلك، فإنه لا يمثل نوعية أو تنوع الانتاج. ولذلك، فإننا بحاجة إلى مقاييس مختلفة لقياس نفس المضمون.

مصطلح

قبل الخوض في التكنولوجيا يساعد على تحسين الأداء، والسماح الاستعراض بعض المصطلحات. وهذا سوف يساعد على فهم الأساليب المذكورة في المقطع التالي.

1. supremum وinfimum

أكبر انخفاض لفترة وجيزة تم تعيين infimum ملزمة، وsupremum الأقل الحد الأعلى هو مجموعة. وهي تختلف عن الحد الأدنى والحد الأقصى للقيم، وsupremum وinfimum ليس بالضرورة تنتمي إلى مجموعة.

2. قياس الاختلاف

يمثل الاختلاف قياس المسافة بين اثنين من التوزيعات. GAN الشبكة العصبية التقليدية يقلل إلى حد كبير جنسن شانون الاختلاف بين بيانات حقيقية وتوزيع بيانات توزيع توليد. يجوز تعديل وظيفة فقدان غان لتقليل التباين في تدابير أخرى، مثل Kulback-Leibler الاختلاف أو التغير الكلي في المسافة.

3.Kantorovich روبنشتاين الازدواجية

بعض الاختلاف من الصعب قياس تدابير لتحسين شكله الأصلي. ومع ذلك، فإنها يمكن بسهولة الأمثل شكل ثنائي (بدلا من supremum supremum أو infimum infimum الإنفاق استبدال المقبل). مبدأ ازدواجية لتحويل شكل واحد إلى شكل آخر وضعت الإطار. بالتفصيل شرح حول هذه النقطة، يمكنك مشاهدة هذه بلوق.

استمرارية 4.Lipschitz

A يبشيز وظيفة مستمرة من الاختلاف سرعة محدودة. وظائف مستمرة تامار، وظيفة المنحدر من منحنى في أي لحظة لا تتجاوز قيمة الحقيقية المطلقة K. يشار ظيفة في هذه أيضا باسم K-يبشيز وظيفة مستمرة.

مطلوب استمرارية تامار لشبكة GAN، لأنها تحد من المنحدر من الممي. أخرى، Kantorovich-روبنشتاين مطالبة الازدواجية وهو اسرشتاين GAN.

تحسين الأداء الفني

هناك العديد من النصائح والتقنيات يمكن أن تستخدم لGAN أكثر استقرارا وقوة. في هذا بلوق، وتوخيا للإيجاز، أنا فقط أوضح بعض التكنولوجيا الجديدة أو المعقدة نسبيا. في نهاية هذا القسم، ولقد أدرجت مجموعة متنوعة من أساليب وتقنيات أخرى.

1. وظيفة الخسارة

معلومات عن أوجه القصور GAN، واحدة من أكثر شعبية الإصلاح هو اسرشتاين GAN. في المبدأ الأساسي هو (اسرشتاين-1 عن بعد، أو البعد عن EM) استبداله مع المسافة تتحرك الأرض التقليدية من الاختلاف GAN جنسن شانون. EM المسافة النموذج الأصلي من الصعب التعامل معها، لذلك نحن استخدامها في شكل مزدوج (ثنائية تحسب Kantorovich-روبنشتاين). وهذا يتطلب تحديد هو 1-تامار الذي يقام بالنقر بزر الماوس وزن قطع الممي.

وميزة استخدام المسافة الحركة هو أنه مستمر، حتى لو يتم إنشاء البيانات الفعلية وليس هناك تقاطع في التوزيع. وعلاوة على ذلك، هناك علاقة بين جودة الصورة وقيمة الخسارة (مصدر) التي تم إنشاؤها. الجانب السلبي هو أن كل تحديث المولدات، نحن بحاجة إلى تحديد يتم تحديثها على أساس تنفيذ الأصلي. وبالإضافة إلى ذلك، يدعي مقدما البلاغ، وخفض الوزن هو التأكد من أن نوع واحد من طريقة سيئة القيود 1-تامار.

وجنسن شانون الاختلاف (يمين) تختلف عن حركات الأرض (من اليسار) هو مستمر، على الرغم من توزيعه ليست مستمرة. للحصول على التعليمات المفصلة، انظر هذه المادة.

حل آخر للاهتمام هو استخدام مربع متوسط عدد الخسائر بدلا من الخسارة. ويعتقد المؤلفون LSGAN أن وظيفة فقدان GAN التقليدية لا تقدم الكثير من الحوافز إلى "سحب" البيانات التي تم إنشاؤها بالقرب من التوزيع الحقيقي للتوزيع البيانات.

فقدان عدة الأصلية وظيفة فقدان GAN لا يؤثر على المسافة بين البيانات ويولد قرار الحدود (قرار الحدود لفصل البيانات الصواب والخطأ). من ناحية أخرى، LSGAN لتوليد عينة بعيدا عن العقاب قرار الحدود، في جوهره، هو توزيع البيانات التي تم إنشاؤها "أقرب" توزيع البيانات الفعلية. ومن باستخدام مربع متوسط عدد الخسائر بدلا من خسارة للقيام بذلك. وفي هذا الصدد شرحا مفصلا، يرجى زيارة هذا بلوق.

2. اثنان الجدول الزمني تحديث قاعدة (TTUR)

في هذه الطريقة، ونحن نستخدم التعلم معدل ومولد التمييز مختلفة. عادة، يتم تحديد مولد باستخدام قاعدة تحديث أبطأ باستخدام أسرع قواعد التحديث. باستخدام هذه الطريقة، يمكننا أن نسبة 1: 1 أداء الممي توليد وتحديثها، والحاجة إلى ضبط معدل التعلم. ومن الجدير بالذكر أن حققت ساجان باستخدام هذا الأسلوب.

3. العقاب التدرج

هذه المقالة تحسين WGAN التدريب، والكتاب يدعون أن انخفاض الوزن (ينجز أصلا في WGAN في) سوف يؤدي إلى مشاكل الأمثل. يزعمون أن إجبار أوزان أقل التعلم الشبكة العصبية "تقريب أكثر بساطة" لتحقيق أفضل توزيع البيانات، مما أدى إلى نتائج ذات جودة منخفضة. يزعمون أيضا أنه إذا تم تعيين المعلمات السوبر WGAN بشكل غير صحيح، ثم تقليل مشاكل في الوزن يمكن أن يؤدي إلى اندلاع التدرج أو تختفي. وأضاف الكاتب عقوبة متدرجة بسيطة في فقدان وظيفة، وبالتالي التخفيف من حدة المشاكل المذكورة أعلاه. وبالإضافة إلى ذلك، تبقى الاستمرارية 1-يبشيز دون تغيير، وهو نفس أول WGAN تجسيد.

ويعتقد المؤلفون دراغان انه عندما لعبت مباريات GAN (أي والتمييز ومولد ضد بعضها البعض) لتحقيق "توازن جزئي"، ووضع ستنهار. وهم يعتقدون أيضا أن هذه الممي التدرجات التي تم إنشاؤها "حاد". وبطبيعة الحال، وذلك باستخدام التدرج من العقاب سوف يساعدنا على تجاوز هذه الدول، وتحسين الاستقرار إلى حد كبير، والحد من انهيار النمط.

4. تطبيع الطيفي

تطبيع الطيفي هو الوزن تطبيع التقنية المستخدمة عادة لتحديد عملية تدريبية مكثفة. هذا يضمن أن تحديد حد كبير K-يبشيز المستمر.

ساجان بعض التطبيقات، مثل يتم إنشاؤها باستخدام وحدة تطبيع الطيفية. وأشار الصحيفة أيضا أن طريقة احتساب ركلة جزاء كفاءة عالية من التدرج.

5. توسيع والتعبئة والتغليف

كما قالت ان هذا بلوق ممتازة، وطريقة واحدة لمنع انهيار النموذج هو التنبؤ المضادة عند تحديث المعلمات. عندما يكون التمييز فرصة للرد (مع الأخذ في الاعتبار رد فعل)، والتوسع في مولد قادر على خداع الممي GAN.

وهناك طريقة أخرى لمنع انهيار النمط "معبأة" تنتمي إلى نفس الفئة من عدة عينات ومن ثم تمريرها إلى الحكم. يتم تضمين هذا النهج في PacGAN، حيث انخفاضا في وضع المبلغ عنها من الانهيار.

6. أكوام من GAN

واحدة GAN قد لا يكون كافيا قوية للتعامل بشكل فعال المهمة. يمكننا استخدام GAN متعددة وضعت على التوالي، كل واحدة منها هي أبسط نسخة قان لحل المشكلة. على سبيل المثال، FashionGAN لأداء صورة الترجمة الترجمة باستخدام اثنين من GAN.

Fashiongan اثنين قان لأداء صورة الترجمة الترجمة

هذا المفهوم إلى أقصى الحدود، ونحن يمكن أن تزيد تدريجيا من صعوبة القضايا التي أثارتها GAN لدينا. على سبيل المثال، GAN التقدمية (ProGAN) يمكن أن تنتج نوعية عالية، عالية الدقة صورة.

GANS 7.Relativistic

وGAS القياس التقليدي توليد احتمال حقيقي. GANS النسبية بيانات القياس ولدت احتمال "أكثر واقعية" من البيانات الفعلية. يمكننا استخدام مسافة مناسبة لقياس "الحقيقة النسبية"، وذلك "RGAN" ورقة لاحظت.

عند استخدام معيار GAN (لوحة B) خسارة، خرج المولد. الشكل C هو مظهر الفعلي للمنحنى الانتاج. لوحة ويمثل الحل الأمثل JS الاختلاف.

وأشار الكتاب أيضا أنه عندما يتم تحديد الانتاج لتحقيق أفضل، وينبغي أن تتقارب إلى 0.5. ومع ذلك، الحكم اضطر التقليدية خوارزمية التدريب GAN إلى أي إخراج صورة "حقيقية" (أي 1). وهذا يمنع جزء التمييز تصل قيمته المثلى. يحل النسبية GANS أيضا هذه المشكلة، وهناك لا بأس به نتيجة باهرة، كما هو مبين أدناه.

بعد معيار بعد 5000 التكرارات GAN (يسار) والنسبية GAN (يمين) الانتاج.

آلية 8. التركيز الذاتي

صوت "GANS الذاتي الاهتمام" يعتقد، والالتواء لتوليد صورة تركز على نشر المعلومات المحلية. وبعبارة أخرى، من خلال قبول مناطق محدودة، والعلاقة العامة بين هذه التفاف تفويتها.

وأضاف FIG الاهتمام (المحسوبة في المربع الأصفر) إلى عملية التفاف القياسية.

قلق المولدة ذاتيا ضد شبكة يسمح النمذجة تعتمد بعيد من التركيز يحركها مهمة الجيل الصورة. آلية الاهتمام الذاتي مكملة لعملية التفاف العادية. المعلومات العالمية (طويلة المدى الارتباط) مساعدة المنتجات صور ذات جودة أعلى. قد تختار الشبكة لتجاهل آلية الاهتمام، أو أن ينظر إلى جانب التفاف العام. للحصول على شرح مفصل، يمكنك ان ترى أوراقهم.

ريد دوت علامات موقف خريطة مذكرة التصور.

تقنيات أخرى

وفيما يلي بعض قائمة إضافية التقنية (ليست قائمة شاملة) للتدريب تحسن GAN:

• ميزة مطابقة

• تحديد كميات صغيرة

• المعدل التاريخي

• التسمية السلس من جانب

• دفعة الظاهري التوحيد

يمكنك معرفة المزيد حول هذه التقنيات في هذه المادة، وهذا بلوق. قائمة المزيد من التكنولوجيا في مستودع جيثب.

مؤشر

الآن أن نعرف الطرق لتحسين التدريب، وكيفية إثبات ذلك؟ المؤشرات التالية تستخدم عادة لقياس أداء GAN:

1. النتيجة الأولية

عشرات البيانات التي تم إنشاؤها الأولية قياس "الأصالة".

النتيجة الأولية

هناك نوعان من مكونات المعادلة ص (y_x) وص (ص). هنا، x هو صورة التي تولدها المولدات، واحتمال الحصول عندما ص (y_x) هو (على سبيل المثال، قبل تنفيذ بيانات التدريب مجموعة الاصلي ImageNet) عن طريق بث توزيع صورة س الأولي تدريب قبل الشبكة. وعلاوة على ذلك، ص (Y) هو قد يكون حساب التوزيع الاحتمالي هامشيا عن طريق حساب متوسط عينات p من عدة صور مختلفة ولدت (خ)، (y_x) أ. وتمثل هذه المصطلحين اثنين من جودة الصورة مختلفة بحاجة لريال مدريد:

يجب أن يكون الصورة الناتجة كائن "ذات مغزى" (الكائنات بوضوح دون طمس). وهذا يعني أن ص (y_x) يجب أن يكون "الكون منخفضة". وبعبارة أخرى، شبكة الأولية لدينا ليتم تحديد صورة جدا ولدت بوضوح ينتمي إلى فئة محددة.

يجب أن تكون الصورة الناتجة "متنوع". وهذا يعني أن ص (ص) ينبغي أن يكون "الكون عالية." وبعبارة أخرى، ينبغي للمولد صورة، بحيث يكون لكل صورة تمثل تسمية فئة مختلفة (المثالية).

P (y_x) وP (ص) على FIG. مثل رسم الزوج سوف يكون الاختلاف كبيرا من كوالا لمبور.

إذا كان المتغير العشوائي يمكن التنبؤ بها للغاية، لذلك فمن الكون منخفضة جدا (أي، ص (ص) يجب أن يكون لها ذروة التوزيع). على العكس من ذلك، إذا كان لا يمكن التنبؤ بها، فقد الكون عالية (أي، ص (y_x) يجب أن تكون موزعة بشكل متجانس). إذا تم استيفاء هذه الخصائص اثنين، سنفكر في الكثير KL الفرق بين ص (y_x) وص (ص). بالطبع، جزء كبير الأولي (IS) هو أفضل. لمزيد من التحليل المتعمق للدرجة الأولى، يمكنك قراءة هذه الورقة.

بعد 2.Frchet (ااا)

عيب واحد هو أن جزء الأولي، لا مقارنة إحصائيات والبيانات الفعلية مع بيانات العد ولدت البيانات. قياس المسافة فريشيه لحل هذه السلبيات من خلال مقارنة المتوسط والتباين للصورة الحقيقية والصورة التي تم إنشاؤها. (ااا) تؤدي نفس التحليل فريشيه المسافة الأولية، لكنه يولد خريطة ميزة ونقل الصورة الحقيقية التي تم إنشاؤها بواسطة شبكة إنشائها-V3 المدربين قبل. ووصفت معادلات كما يلي:

ااا ومقارنة ولدت يعني توزيع البيانات الفعلية والتغاير. يمثل آر التتبع.

ااا انخفاض درجة هو أفضل، لأنه يمثل الاحصائيات الاحصائيات صورة ولدت والصورة الحقيقية هي مشابهة جدا.

استنتاج

من أجل التغلب على نقص التدريب GAN، وضعت الأكاديمية عددا من الحلول والأساليب. ولكن نظرا لوجود عدد كبير من الدراسات الجديدة، فإنه من الصعب متابعة كل نجاح جديد. لنفس السبب، وهذا بلوق لتفاصيل حصة ليست شاملة، في المستقبل القريب قد يكون قديما. ومع ذلك، آمل أن يكون هذا بلوق يمكن أن توفر دليل للناس لمساعدتهم على إيجاد سبل لتحسين أدائها في العمل.

عن طريق: الشبكي: //medium.com/beyondminds/advances-in-generative-adversarial-networks-7bad57028032

شبكة لى فنغ المترجمة.