لى فنغ شبكة AI تكنولوجيا مراجعة، في الآونة الأخيرة، نشرت Kaggle على مدونة "كوكب: فهم الأمازون من الفضاء" مقابلة المسابقة، خلال الزيارة، تعلمنا بعض بطل المعلومات الأساسية bestfitting استخدمها في اللعبة بعض التفاصيل التقنية، فضلا عن تقديم المشورة للجميع. وتتلخص شبكة لى فنغ سوف AI تقنية مراجعة تجميع المقابلة الأصلية على النحو التالي:

في عقد مؤخرا "كوكب: فهم الأمازون من الفضاء" المنافسة، ومنظمي كوكب أجل تحسين متابعة وفهم أسباب إزالة الغابات، يريد السماح للاعبين على Kaggle تسمية صور الأقمار الصناعية الخاصة في حوض الأمازون .

المنظمون توفير التدريب لأكثر من 40،000 ورقة من الصور، وتغطي كل صورة من تسميات متعددة، والعلامات عموما تنقسم إلى المجموعات التالية:

الأحوال الجوية: مشمس، غائم جزئيا، غائم، تعفير

الاستخدام الشائع والغطاء الأرضي أنواع: الغابات والزراعة والأنهار والمدن / المدن والطرق والأراضي الزراعية، والعارية

الغطاء النباتي ونوع نادر من الاستخدام: قطع وحرق وقطع الأشجار الانتقائي، وزراعة والتعدين التقليدي والتعدين تهب اليدوي تدميرها.

في الآونة الأخيرة، تحدثنا إلى بطل البطولة bestfitting، في المقابلة، وقال انه يصف بالتفصيل كيف انه يدمج 11 صقل الشبكة وكيفية استخدام هيكل التسمية التفاف الارتباط بالنسبة لنا. وبالإضافة إلى ذلك، تحدث أيضا عن من أجل تجنب بعض الأفكار من خلال تركيب.

معلومات بسيطة

تحت يمكنك التحدث للمشاركة في الخلفية المهنية قبل المباراة؟

تخصصت في علوم الكمبيوتر، لديها أكثر من عشر سنوات خبرة في البرمجة بلغة جافا، ويعمل حاليا في اتجاه معالجة البيانات على نطاق واسع، والتعلم الآلي والتعلم العميق.

في هذه اللعبة، يمكنك استخدام ما التجربة والخبرة قبل ذلك؟

هذا العام شاركت في الكثير من المباريات على دراسة معمقة حول kaggle، في الحصول على اللعبة ولقد استفاد من التجربة والحدس.

البدء في المشاركة في اللعبة Kaggle هو فرصة مبنية على ماذا؟

وابتداء من عام 2010، كنت اشاهد الكثير عن آلة التعلم، والتعلم العميق من الكتب والأوراق، ولكن من الصعب بالنسبة لي لتعلم وتطبيق الخوارزمية لتلك البيانات مجموعة صغيرة المتاحة. في الوقت نفسه، وجدت الكثير من مجموعة البيانات مثيرة للاهتمام، نواة ومناقشة جيدة على Kaggle، لذلك، في العام الماضي فقط، وأنا لا يمكن أن تنتظر للمشاركة في لعبة "توقع ريد هات قيمة الأعمال" على Kaggle.

ما هي الأسباب للمشاركة في هذه اللعبة هو؟

هناك نوعان من الأسباب.

أولا، أنا مهتم جدا في الحفظ، وأعتقد أنه إذا خبرة الأرض الخاصة وحياة جعل الناس أفضل، وهذا هو بارد. وبالإضافة إلى ذلك، غابات الامازون المطيرة في كثير من الأحيان في الفيلم، وظهرت القصة، وكنت مهتمة جدا في ذلك.

وبالإضافة إلى ذلك، شاركت في مسابقات مختلفة على دراسة معمقة حول kaggle، لعبة يستخدم كلا تجزئة وكشف الخوارزميات، وهذه المرة آمل أن أشارك في المباراة التصنيف، ومحاولة بعض أشياء مختلفة.

المناقشات التقنية

يمكن أن أقول لكم لفترة وجيزة لنا عن الخطة؟

هذه هي لعبة متعددة تصنيف التسمية، والتسمية غير متوازنة.

لعبة تنافسية للغاية، وذلك لأن العامين الماضيين كان الكثير من الاستخدام الواسع النطاق للخوارزمية تصنيف الصور، وكانت هناك العديد من خوارزميات جديدة، بالإضافة إلى ذلك، هناك الكثير من تجربة بصرية كبيرة في اللاعبين الكمبيوتر.

حاولت مجموعة متنوعة من وأعتقد أنه قد تكون شعبية مع خوارزمية تصنيف، بناء على تحليل دقيق للعلاقة بين التسمية وقدرة النموذج، لقد بنيت نهج متكامل وفاز بالمركز الأول في المسابقة.

ما يلي هو هيكل نموذج:

• أولا، تجهيزها مجموعة البيانات (تغيير حجم الصورة، defogging) وتقنيات تعزيز استخدام بعض البيانات القياسية.

• الخطوة التالية في مرحلة النموذج، وصقل 11 شبكة عصبونية التفافية (CNN)، للحصول على احتمال كل تسمية فئة CNN. لعبة اعتدت على عدد من شعبية عالية الأداء، CNN، على سبيل المثال ResNets، DenseNets، التأسيس وSimpleNet وهلم جرا.

• ثم، أود أن تمر عبر كل تسمية احتمال نموذج حافة الانحدار من CNN، التي سيتم تعديلها باستخدام الارتباطات التسمية الاحتمالات.

• وأخيرا، وأنا استخدم نموذج الانحدار من التلال آخر هذه CNN 11 متكاملة معا.

• ومن الجدير بالذكر أيضا أن هذه اللعبة، وأنا لم تستخدم وظيفة السجل القياسية بوصفها وظيفة الخسارة، ولكن استخدام مرنة وظيفة خاصة فقدان F2 (خاص الناعمة F2-خسارة)، والذي هو الحصول على أعلى درجة F2.

في مرحلة ما قبل الهندسة والميزات، هل على وجه التحديد ما هي الإجراءات؟

وتجهيزها خطوات تعزيز البيانات:

• أولا، وضبط حجم الصورة.

• وبالإضافة إلى ذلك، تعيين مجموعة التدريب والاختبار وقد فعلت بعض تحسين البيانات، على سبيل المثال، انقلبت الصورة، استدارة والتشريد وبعض التحول مرونة.

• أود أيضا أن تستخدم تقنية defogging، مما يسمح للشبكة على "رؤية" صورة أكثر وضوحا. حول هذه التقنية، وذلك باستخدام قناة الظلام وصفها قبل بالتفصيل في ورقة واحدة لإزالة صورة بالضباب.

وفيما يلي بعض الأمثلة على معالجة defogging في مجموعة البيانات:

يتبين من هذا الرقم، علاج defogging، بعض العلامات (مثل المياه وولدت) سيزيد من F2 جزء، سيتم تخفيض F2 جزء ولكن البعض الآخر تسميات (على سبيل المثال، مشمس وضبابي اليوم، وما إلى ذلك). ولكن لا تقلق، وسيتم تعزيز عملية متكاملة يمكن اختيار النموذج الأقوى لكل تسمية، في عملية defogging العامة النتيجة الإجمالية.

ما كنت تستخدم طريقة التعلم تحت إشراف؟

نموذج المنافسة يدمج 11 نوعا من شبكة تضم التفاف شعبية: دمج عدد مختلف من المعلمات، وعدد من طبقات من ResNet وDenseNet، بالإضافة إلى التأسيس وSimpleNet نموذج. بعد استبدال طبقة الناتج النهائي لتلبية إخراج اللعبة، وأنا صقل تدريب ما قبل هذه في جميع طبقات CNN، وعدم تجميد أي طبقة.

تدريب مجموعة تضم أكثر من 40،000 صورة، وهذا المبلغ يكفي لتلبية لي أن أبدأ تدريب بعض العمارة CNN، مثل resnet_34 وresnet_50. ولكنني وجدت أنه لوالحصول على أفضل أداء اليمين الأوزان شبكة المدربين قبل لصقل.

من أجل تسجيل أعلى F2، أن تكون مفيدة لك بعض المهارات الخاصة؟

سوف المنظمون تقديم نتائج النتيجة F2 التقييم، هذه النتيجة هي مزيج من دقة ومراجعة، تشبه إلى حد ما نتيجة F1، ولكن معدل سحب أعلى من دقة الوزن. ولذلك، يجب علينا ألا تدريب فقط نموذج للتنبؤ احتمال التسمية، ولكن أيضا لاختيار قيمة العتبة المثلى لتحديد ما إذا كانت العلامة إلى الصورة تميزت تسميات قيمة الاحتمال.

في البداية، والعديد من المتسابقين الآخرين، وأنا استخدم فقدان وظيفة السجل بمثابة الخسارة، ولكن في الجدول التالي، سوف F2 مع انخفاض درجات لا تسجيل زيادة قيمة الخسارة.

وهذا يعني الحاجة إلى إيجاد وظيفة خسارة أخرى، ركز النموذج سيكون المزيد من الاهتمام على التسميات استدعاء الصقل. مستوحاة من رمز من المنتديات لعبة، كتبت مرنة فقدان F2 وظيفة (وظيفة لينة F2 الخسارة).

هذا F2 وظيفة يحسن حقا النتيجة الإجمالية، ودور الزراعة، غائم الصالحة للزراعة وخاصة هذه التسميات الثلاث.

هل لديك أي فكرة عن البيانات والنماذج؟

قمت بتحليل العلاقة بين التسمية وجدت بعض العلامات غالبا ما تتعايش، ولكن تسميات أخرى ليست هي القضية. على سبيل المثال، مشمس، غائم جزئيا، غائم وضباب هذه التسميات ليست التعايش، ولكن المأوى وتسمية الزراعة في كثير من الأحيان معا. يعني ذلك أن هذه العلاقة قد تجعل هيكل نموذج تحسين.

على سبيل المثال، نظرة على resnet-101 نموذج من شأنها أن توقع احتمال كل تسمية 17 يظهر. لتكون قادرة على استخدام أهمية التسمية، وأضفت طبقة أخرى ريدج تسوية لإعادة تقويم احتمال كل تسمية لجميع الموديلات.

وبعبارة أخرى، من أجل التنبؤ احتمال في نهاية المطاف مسح هذه العلامة (استخدام resnet-101 نموذج)، وهناك مشمس نموذج خاص حافة الانحدار للتنبؤ الوضع سوف تستقبل resnet-101 نموذج من كافة العلامات 17.

كيف نموذج التكامل؟

بعد كل شيء N الحصول على نموذج التنبؤ، لدينا احتمال N نماذج مختلفة من التسميات المشمسة. يمكننا استخدام هذه الاحتمالات التنبؤ احتمال وجود علامات واضحة النهائية من الانحدار من التلال آخر.

هذه التلال الانحدار اثنين من طبقة واثنين من الآثار:

أولا، لأنها تتيح لنا الاستفادة من المعلومات ذات الصلة بين التسميات المختلفة.

ثانيا، لأنها تتيح لنا لتحديد أقوى نموذج للتنبؤ احتمال حدوث كل تسمية.

ما أنت سمحت لنفسها أن يفاجأ العثور عليه؟

حتى لو اضطررت للتنبؤ تغييرات كبيرة في آخر الترتيب (الترتيب المتصدرين القطاعين العام والخاص وعشرات مختلفة جدا)، ولكن ما زلت استغرب.

في المرحلة النهائية (من نهاية 10 يوما) لعبة، وجدت أن عشرات على اليافطة العامة هي قريبة جدا، لكنني كنت على التحقق من صحة عبر ويسجل عاجزا تماما عن تقديم أي تحسين وتطوير، لذلك قلت لنفسي أن تكون حذرا لتجنب كانت هناك فقط قد يصلح في حالة تسمية الضوضاء.

لكي لا يخطئ في المرحلة النهائية، وأنا استخدم البذور عشوائي مختلف، حدد النصف تدريب مجموعة من الصورة كمجموعة تدريبية جديدة لمحاكاة الجمهور وقائمة خاصة.

لقد وجدت أنه بذرة التغيير، ويمكن توسيع الفجوة بين بلدي الجمهور التناظرية وعشرات المتصدرين خاصة المتصدرين عشرات إلى 0.0025. ولكن على القائمة العامة، والفجوة بين المركز الأول والعاشر أصغر من هذه القيمة.

وهذا يعني أن أي تغيير كبير جدا قد تحدث في اللعبة.

بعد تحليل دقيق، وجدت أن هذا الاختلاف ظهر في بعض الصور أكثر صعوبة، بل هو أيضا من السهل الخلط بين الصورة في التسمية، مثل الخريطة التي تم وضع علامة الضباب أو غائما، والطرق أو المياه، زراعة أو قطع الأشجار الانتقائي.

وبسبب هذا، وأنا أقنعت نفسي عشرات المتصدرين العامة وليس مقياسا مثاليا من القدرة على النموذج.

هذا غير متوقع: لمجموعة اختبار العام يحتوي على أكثر من 40،000 الصور، يبدو الترتيب يجب أن تكون مستقرة تماما.

لذلك أنا تعديل الهدف، فقط حتى يتمكن من إبقاء داخل 10 من الجبهة، وقررت في الأسبوع الماضي لا يهتمون لتصنيف دقيق على اليافطة العامة. وبالإضافة إلى ذلك، حاولت أن أجد واحدة من أكثر الطرق مستقرة للتكامل نموذج، والتخلص من أي نموذج يمكن أن يؤدي إلى الإفراط في تركيب، وأخيرا لقد استخدمت نظام التصويت والانحدار من التلال.

لماذا الكثير من النماذج؟

الجواب بسيط: التنوع.

أعتقد أن عدد من النماذج لا يسبب مشاكل كبيرة للأسباب التالية:

• أولا، إذا كنا نريد نموذج بسيط، يمكنك اختيار واحد فقط أو اثنين من هذه النماذج، وأنها لا تزال تحصل على نتيجة جيدة (أعلى 20) في القطاعين العام وقائمة خاصة.

• ثانيا، اللعبة لديها 17 العلامات، والعلامات وتحديد نماذج مختلفة لمختلف القدرات.

• وعلاوة على ذلك، وهذا الحل يمكن استخدامها لتحل محل اليدوي بمناسبة العمل أو مبسطة. منذ موارد الحوسبة أرخص نسبيا من تكلفة العمل، والصورة التي لا يمكن التنبؤ الموسومة صورة، ومن المتوقع تصحيح الخطأ من خلال استخدام نموذج قوي، ثم استخدام مجموعات البيانات الكبيرة يستمر التكرار، لتدريب أقوى وأسهل نموذج.

ما هي الأدوات التي تستخدمها؟

بيثون 3.6، PyTorch، PyCharm

الأجهزة لضبط ذلك؟

ملقمات تكوين أربعة NVIDIA GTX TITAN X ماكسويل GPU.

صوت من الخبرة

ماذا تعلمت في هذه المسابقة لديك؟

وكما ذكر أعلاه، وجدت أنه مع خسارة معتدلة من F2 وظيفة (الناعمة F2-فقدان وظيفة)، وزيادة defogging الخوارزمية، الحصول على درجات عالية الحرج تطبيق اثنين من التلال الانحدار الحق.

وبالإضافة إلى ذلك، لأنه لن يكون هناك تسمية الضوضاء، لدينا الثقة الكاملة في طريقة عبر صلاحيتها.

للناس بدأت للتو بيانات للبحث العلمي، والتي تشير إلى أن لديك؟

• التعلم من بعض من أفضل الدورات، مثل ستانفورد CS229 وCS231n.

• من Kaggle المنافسة، نواة والكتابة بداية للتعلم.

• Kaggle المشاركة في اللعبة، والحصول على الخبرة والحصاد في اللعبة.

• قراءة الصحيفة كل يوم، لبعض الطرق ورقة، يمكنك الشروع في ممارسة المقبلة.

لى فنغ شبكة AI تقنية مراجعة تحريرها.