الأنفس جي تقرير جديد
المصدر: عميقة محاضرة التعلم
المؤلف: ليو CHENXI
[استعراض فاز جي الجديدة هندسة الشبكات العصبية هي محددة فرع AutoML البحث غوغل. الدكتور ليو CHENXI والبروفيسور آلان Yullie جامعة جونز هوبكنز، وجوجل AI لى Feifei، جيلبرت والعديد من الباحثين الآخرين قد اقترح الإضافية العصبية التكنولوجيا شبكة البحث، ورقة هي ECCV 2018 كما وردت عن طريق الفم. في هذه الورقة، والمؤلف الأول ليو CHENXI تحليل مفصل لمبادئ وتفاصيل تصميم هذه التكنولوجيا.
وضعت AutoML جوجل عليها، تسبب على نطاق واسع الأوساط الأكاديمية قلق والصناعة، ولكن وراء سهولة العملية، كان هناك الكثير من العمل البحثي تحت حساب قوة دعم قوي، واحدة منها هي شبكة التقدمية تقنية البحث هيكل.
التقدمية العصبية تقنية البحث هيكل الشبكة (التقدمي العصبية العمارة البحث) برعاية مشتركة من الدكتور ليو CHENXI والبروفيسور آلان Yullie جامعة جونز هوبكنز، وجوجل AI لى Feifei، جيلبرت والعديد من الباحثين الآخرين.
هذه المقالة ECCV 2018 استخدمت ورقة عن طريق الفم، والعصبية طريقة البحث الهندسة المعمارية التدريجي المقترحة من قبل الباحثين، ثماني مرات أسرع من سرعة الحوسبة العادية، زيادة كفاءتها 5 مرات، نموذج AI جعلت تلقائيا تفتيش مما أدى إلى مجموعات البيانات الكبيرة ImageNet أعلى دقة الحالي .
وقد استخدمت هذه التقنية للبحث تلقائيا جوجل AutoML العمارة لتعزيز الأداء. في هذه الورقة، والمؤلف الأول من الورقة، الدكتور ليو CHENXI أنها ستكشف النقاب عن AutoML لنرى كيف انه الذاتي التعلم من خلال بطريقة متكررة، وهي خطوة قصيرة الألف ميل، للعثور على هيكل الشبكة الأمثل، مما يعزى وان مروحة لجين.
وتذكر المادة وصلات التحميل لجميع المواد ورمز المرفقة إلى نهاية النص.
ملخص
نقترح طريقة جديدة للتعلم هيكل التلافيف الشبكة العصبية (CNN)، التي هي أكثر كفاءة من الخوارزمية التطورية القائمة على أساس التعلم والتكنولوجيا التعزيز. استخدام النماذج (SMBO) استراتيجية التحسين السلسلة، في هذه الاستراتيجية، وفقا لزيادة تعقيد البحث هيكل، في حين تعلم نموذج عامل (نموذج بديل) للاسترشاد بها في البحث عن هيكل الفضاء.
مقارنة مباشرة لتظهر النتائج أنه في ظل فضاء البحث نفسه، فإن عددا من النماذج التي النهج RL من Zoph وآخرون (2018) من تقييم 5 مرات، ومجموع حساب ثماني مرات أسرع، واستخدام هيكل في CIFAR 10 وImageNet لتحقيق أعلى دقة التصنيف.
في هذه الورقة، وإدخال التدريجي للشبكة العصبية البحث الخوارزمية، وجوجل هو الدماغ، وكثير من الباحثين جوجل السحابية، وجوجل ومعهد بحوث الانتهاء معا.
الذي، لقد تم الافراج عن PNASNet 5 رمز ونموذج على ImageNet في TensorFlow سليم:
https://github.com/tensorflow/models/tree/master/research/slim#Pretrained
مرحبا بكم في التحميل.
لأول مرة AutoML وهو جوجل الداخلية هدفا طموحا، وكان لإنشاء خوارزمية التعلم الآلي بحيث يمكن أفضل خدمة البيانات المقدمة من قبل المستخدم، وهناك عدد قليل من البشر كما تشارك في هذه العملية.
من بداية AlexNet إلى التأسيس، ResNet، التأسيس، ResNet، الجهاز على تصنيف الصور حققت نتائج جيدة جدا، فلماذا نريد لدراسة خوارزمية تصنيف الصور باستخدام AutoML ذلك؟
أولا وقبل كل شيء، إذا كنت تستطيع البحث السيارات ، أفضل خوارزمية لإيجاد خوارزميات أفضل من تصميم الإنسان، هل هو بارد؟ ثانيا، من وجهة نظر أكثر عملية للعرض، مشكلة تصنيف الصورة هي أن علينا أن نتعلم الكثير من المشاكل، إذا انفراجة بشأن هذه المسألة، ثم إمكانية مشاكل أخرى اختراقات أيضا زيادة كبيرة.
يأتي بعد ذلك العصبية العمارة البحث (NAS) السؤال، فمن AutoML فرع محددة.
العصبية العمارة بحث متابعة الأساسية مثل هذا تداول : أولا وقبل كل شيء، على أساس بعض القواعد سياسة لإنشاء شبكة بسيطة، ومن ثم تدريب واختبار على بعض من مجموعة التحقق من صحة، وكان آخر هذه القواعد سياسة لأداء الشبكة الأمثل بناء على ردود الفعل، وشبكة تعتمد على سياسة لتحسين هذه التكرار تحديثها باستمرار .
NAS قبل العمل يمكن أن تنقسم إلى منطقتين، الأولى، تعزيز التعلم ، هيكل العصبي الضروري لتحديد بحث العديد من العناصر، مثل معلمات الإدخال وطبقة (مثل تحديد جوهر هو التفاف من 3 أو 5) يتم توفيرها، عملية تصميم الشبكات العصبية كلها يمكن أن ينظر إليه على أنه سلسلة من العمليات، وتشغيل مكافأة التحقق من صحة دقة التصنيف على مجموعة. عن طريق تحديث باستمرار العمل، وكيل لمعرفة المزيد وتحسين هيكل الشبكة، مثل تعزيز التعلم وNAS على الرابط.
من ناحية أخرى، فإن بعض NAS التطوري الخوارزميات الفكرة الرئيسية لهذه الطريقة هي الطبقة يعرف بنية الشبكة العصبية لسلسلة من الأرقام. الشكل هو عمل الدكتور ICCV2017 Xieling شي، لكنه كان سلسلة من التعليمات البرمجية ثنائي لتحديد قاعدة للتعبير معينة على اتصالات الشبكة العصبية، بداية من قانون عشوائي، من هذه النقاط يمكن أن تفعل بعض الطفرات، حتى في المرتبة الثانية الذي تم بين سلسلة الطفرات (مع ارتفاع التحقق من صحة دقة)، وبعد فترة من الزمن قد توفر بنية الشبكة أفضل العصبي.
والمشكلة الأكبر هي أن الأسلوب، فإنه متطلبات مشغلي قوة مرتفعة بشكل خاص . لتعزيز التعلم، على سبيل المثال، تعزيز التعلم طريقة جوجل الدماغ اقترحت في البداية، مع 800 K40GPU، تدريب لمدة 28 يوما، وبعد نسخة محسنة من 2017 يوليو اقترحه 500 P100GPU التدريب مدة أربعة أيام، وهذا هو في صغيرة جدا CIFAR 10 مجموعات البيانات به، ومجموعة البيانات 000 فقط 50 الشكل 30 * 30. مطلوب حتى مجموعة بيانات صغيرة من هذا القبيل لدعم وتعتبر مثل هذه القوة الكبيرة، التي ترغب في مواصلة توسيع NAS، مع تعزيز تعلم طريقة غير واقعي.
NAS لتسريع هذه العملية، نقترح طريقة جديدة، ودعا " التقدمي البحث الهياكل العصبية . "لا يقوم على تعزيز التعلم، ولا الخوارزمية التطورية. وقبل أن أعرض خوارزمية محددة، أولا وقبل كل شيء أن نفهم أين فضاء البحث.
أول بحث خلايا قابلة للتكرار (يمكن أن ينظر إليه باعتباره كتلة المتبقية)، مرة واحدة تم العثور على خلية، فهم أحرار في اختيار طريقهم فرضه لتشكيل شبكة كاملة. وقد ظهرت هذه الاستراتيجية عدة مرات في شبكة المتبقية. عندما يتم تحديد بنية الخلية لتكون متراكبة الحق فوق إلى شبكة كاملة، على سبيل المثال لCIFAR 10 شبكة، بين اثنين من stride2 الخلية، ومرات خلية stride1 تراكب هي N، ومجموعات مختلفة شبكة المتبقية تراكب أوقات مختلفة.
عادة ما يتم تحديد الشبكة من خلال ثلاثة عوامل: بنية الخلية، عدد الخلايا تكرار N، عدد التفاف حبات في كل خلية F من أجل السيطرة على تعقيد الشبكة، تم تصميم N، وF عموما باليد. كما وسيتم تقدير، N السيطرة على عمق الشبكة، F عرض شبكة السيطرة.
ثم نناقش كيفية تحديد الخلية، في الفضاء بحثنا، خلية من خمسة مبان سكنية، كل كتلة هو (I_1، I_2، O_1، O_2، C) الصفوف. فيما يلي وصف محددة.
FIG فضاء البحث، وإدخال شبكة المستطيل الرمادي هو مبين في الشكل، I_1، I_2 خريطة طبقة مخفية ألف وطبقة مخفية B، I يشير إلى الإدخال (المدخلات). الكتل الرمادية اثنين قد تختار مختلفة المكانية ضمنية، يمكن تعريف الخلية ج كتلة ب كمدخلات:
قبل انتاج الخلية: H_B ^ (ج 1)
قبل الانتاج السابق للخلية: H_B ^ (ج 2)
حتى كل من كتلة الحالي للانتاج الخلية الحالية: {H_1 ^ ج، ...، H_ (1-ب) ^ ج}
على سبيل المثال، منع الحق هو خلية في المربع الأول، الكتلة الثانية في وقت اختيار طبقة مخفية الجديدة التي يمكن تحديد اللبنة الأولى ولدت، وهذا هو، أدخل كتلة الثانية الأغطية الأول إخراج كتلة. تصميم من هذا القبيل يسمح لبعض التعميم يمكن أن تميز المتبقية شبكة، DenseNet الشبكة.
O_1، O_2 الخريطة كتلة صفراء، الذي هو في الواقع مجرد اختيار طبقة مخفية الأحادية، التي تحتوي على التفاف 3 * 3، والالتواء * 55 7 * 7 الإلتواء، الهوية والمجمعة متوسط 3 * 3 * 33 أقصى المجمعة، وتوسيع مجموعة من 3 * 3 * 7، ثم بعد التفاف 7 * 1. دع البيانات تعلم العثور على معظم الإجراءات المناسبة في فضاء البحث.
وتمثل هذه العملية C المربع الأخضر، الأمر الذي جعل I_1، أنتجت O_1 I_2، O_2 مجتمعة معا من خلال وسيلة معينة، خلق مساحة ضمني جديد. هذه العملية هي المختصة بالبت C وعملية الإضافة.
في هذا الفضاء البحث بأكبر قدر من الكفاءة لمعرفة أداء أفضل للخلية، حتى تتمكن من إضافة لتصبح شبكة كاملة. فقط يحتوي الآن خمس زنزانات فضاء البحث بشكل كبير جدا، كما هو مبين في المعادلة في FIG. وقبل إدخال حد سواء على أساس تعزيز التعلم أو الخوارزميات التطورية والبحث المباشر، الذي يتم الخلط جدا في بداية البحث، ثم التالية سوف يحدث إذا كنت لا تعمل مباشرة في مساحة البحث، ولكن بطريقة تدريجية ذلك:
أولا وقبل كل تدريب الخلايا 1-كتلة، فقط 256 هذه الخلية. على الرغم من أنه يمكن تعداد الطريق، ولكن سوف يكون الأداء المنخفض، لأن كتلة خلية واحدة فقط ليست جيدة مثل كتلة الخلية يحتوي على خمسة صالحة. ومع ذلك، فإن هذا الجزء من معلومات الأداء قد يكون ما إذا كان الاستمرار في استخدام إشارة الخلية لتقديم المساعدة، بناء على أداء الخلية 1-كتلة، يمكننا أن نحاول العثور على معظم اعدة الخلية 2-كتلة، والتدريب، لذلك التكرار، يمكنك بناء الشبكة بالكامل.
يمكن تلخيصها على النحو بسيطة خلايا خوارزمية والتدريب والتقييم لديها حاليا كتل B، وفقا لأفضل الخلايا K تعداد ب + 1 ث بنات، والتدريب والتقييم.
في الواقع، هذه الخوارزمية لا يمكن حقا عمل، لأنه، لK عقلانية (كما 10 ^ 2)، الحاجة إلى التدريب على شبكة فرعية تصل إلى 10 ^ 5، هذه العملية قد تجاوز مبلغ سابقة الأسلوب. لذلك، نقترح دقة التنبؤ، والذي لا يمكن أن يكون التدريب والاختبار، ولكن فقط من خلال النظر في عدد من الجمل، وسوف تكون قادرة على تقييم ما إذا كان نموذج واعد.
كنا نفعل دقة مؤشرا شبكة LSTM، والسبب في استخدامه، لأنه يمكنك استخدام نفس التنبؤ في كتلة مختلف فيه.
هنا هو كاملة التقدمي العصبية العمارة البحث الخوارزمية. أولا، وتدريب وتقييم خلايا K التيار كتل ب، واستكمال دقة التنبؤ بأداء هذه البيانات، فمن الممكن لجعل دقة التنبؤ هو وسيلة أكثر دقة من يحدد التنبؤ وK الأرجح ب + 1 تشرين كتلة . نتائج هذه الدراسة قد لا يكون من الراجح، وإنما هو معقولة نتائج مفاضلة.
على سبيل المثال، بدءا ب = 1، Q1 عندما الشبكة 256، كل اختبار التدريب، ثم نقاط البيانات K مع التدريب دقة تنبؤ. M1 تعداد كافة أبناء QL، ودقة مؤشرا المستخدمة في كل من عنصر M1، حيث اختيار K أفضل، الحصول على مجموعة من Q2 عندما ب = 2. ثم ب = 2 لتدريب اختبار الشبكة، من خلال نفس الإجراء Q3 المذكورة أعلاه، يمكن الحصول عليها. Q3 أفضل نموذج هو نتيجة PNAS عاد.
تم تقسيم التجربة إلى عمليتين، هو واحد في عملية البحث، والبحث تلو الآخر. في عملية البحث، CIFAR 10 استخدمنا هذه مجموعات البيانات الصغيرة نسبيا، يتم تعيين كل حقبة التدريب شبكة فرعية ل20، يؤخذ K كما 256، N هو 2، F 24، وهذه المعايير هي صغيرة نسبيا أ. بعد البحث، كنا على CIFAR 10 وImageNet اختبار، استخدام أطول العهود، أكثر N، F. والغرض من عملنا هو لتسريع عملية NAS، وفيما يلي مقارنة التجريبية.
بعد ذلك، NAS وطريقة المقارنة السابقة PNAS، PNAS نقطة زرقاء، وNAS الأحمر والأزرق خمسة قطعة الموافق ب = 1،2،3،4. كل قطعة، وهناك 256 نقطة، مع زيادة ب، في فضاء البحث التي تزداد تعقيدا. يمكن أن ينظر إليه بالمقارنة مع نقطة حمراء، وارتفعت النقاط الزرقاء حتى أسرع وأكثر إحكاما. وهو الجانب الأيمن الموسع من FIG.
FIG تعلمت الماضي هيكل الشبكة، يمكن أن ينظر إليه، وأفضل مزيج لبدء التعلم وانفصال التفاف ماكس، تليها تعلم تدريجيا أكثر المجموعات.
PNASNet-5 وهذه هي أفضل هندسة الشبكات نجد في عملية البحث وهو يتألف من خمسة مكونات كتلة.
هذا هو موقفنا النتائج المقارنة على CIFAR-10، RL يمثل خوارزمية تقوم على تعزيز التعلم، EA يمثل الخوارزمية الجينية، أنظمتنا SMBO التي هي الأمثل نموذج متسلسل مقرها، يشير خطأ إلى أن معدل سوء تصنيف أعلى 1 أفضل نموذج. واستنادا إلى مجموعة أولى من طريقة تعزيز التعلم هو أفضل NASNET-A، نسبة الخطأ فيها كان 3.41، وعدد من المعايير المستخدمة ل3.3M، وتستند المجموعة الثانية على الخوارزمية الجينية، وهو DeepMind ICLR 2018 نشرت العمل، فمن الأفضل معدل الخطأ هو 3.63، وعدد من المعايير المستخدمة ل61.3M، في حين أن المجموعة الثالثة هي أسلوبنا، في ظل ظروف نسبة الخطأ من 3.41، كنا المعلمات فقط 3.2M، والكثير من السرعة .
يبين هذا الرقم كيف أكثر سهولة وتحقيق الأداء مقارنة NASNET-A.
من أجل التحقق من دقة التنبؤ هو ما إذا كانت ثروة من المعلومات، فعلنا تجربة عشوائية مقارنة، إن لم يكن التدريجي العصبي البحث الهندسة المعمارية، في كل مرة عددا من ب عشوائي بدلا من ذلك. وأظهرت النتائج أن أداء التكتيكات العشوائية أسوأ كثيرا، خصوصا اليمين المتطرف، إذا كان كل القيم ب، بتدريب 256 نموذج، بعد ذلك، كما أن دقة أكبر من 0.9 المؤشرات الإحصائية، فقط أكثر من ثلاثين عشوائيا، وPNAS هناك أكثر من مائتي اتفاق.
وأخيرا، في المقابل مجموعة البيانات ImageNet، لأول مرة في تطبيق الشبكات العصبية مقارنة خفيفة الوزن. نحن نسيطر Mult، ليضيف ما لا يزيد عن 600M، تحت هذا الشرط، مقارنة PNASNet 5 MobileNet-224، ShuffleNet (2X)، وهناك NASNET-A TOP1 وTOP5 أعلى معدل دقة .
وعلاوة على ذلك، فإن النموذج دون قيود للمقارنة، ومقدار والمعلمات ممكن يتفق NASNET-A خلال التجربة، فإن معدل دقة TOP1 النهائي من 82.9.
وباختصار، يصف هذا التقرير عمل العديد من أكبر عدد من النقاط الهامة: معظم العصبي طريقة البحث في الشبكة الموجودة لديها الطلب على الطاقة عالية الحساب، مما أسفر عن ارتفاع تكلفة الوقت ونحن نحاول تسريع هذه العملية. الفكرة الأساسية هي أن الخلايا سوف تقدم من البسيط إلى المعقد، جنبا إلى جنب مع أكثر إحكاما من NASNET-A فضاء البحث، وجدت PNAS خلية قابلة للمقارنة، فقط 1280 بدلا من 20000 الفرعية نموذج. وهذا يجعل وAutoML تكون قادرة على استخدام البيانات مجموعات أكثر تحديا.
أوراق العنوان:
https://arxiv.org/pdf/1712.00559v3.pdf
الرمز:
https://github.com/tensorflow/models/tree/master/research/slim#Pretrained.
نبذة عن الكاتب:
ليو CHENXI، جامعة جونز هوبكنز في السنة الثالثة طالب الدكتوراه تحت وصاية بلومبرغ المتميزة للأستاذ آلان Yuille. حصل على درجة البكالوريوس والماجستير في جامعة تسينغهوا وجامعة كاليفورنيا، لوس أنجلوس. زار فترة تدريب في معهد تويوتا التكنولوجية في شيكاغو جوجل، أدوبي، والعديد من المؤسسات البحثية ذات الشهرة العالمية الأخرى. ونشرت في عدد من المجلات الدولية على مؤتمرات القمة، بما في ذلك CVPR عن طريق الفم، الضوء CVPR، وNAACL عن طريق الفم، ثلاثة ICCV، وAAAI. وتشمل اهتماماته البحثية رؤية الحاسوب ومعالجة اللغة الطبيعية، فضلا عن تقاطع اثنين. الشخصية الصفحة الرئيسية: http: //www.cs.jhu.edu/~cxliu/
ويرد هذا المقال من عمق التعلم محاضرة (ID: deeplearningclass)، استنادا محرر روي يوان، تحرير، رو يانغ يان.
فاز جي الجديد AI WORLD 2018 تذاكر الجمعية العامة] [الطائر المبكر للبيع!
سيتم عقد جديد جي وون 20 سبتمبر AI WORLD 2018 مؤتمر في مركز المؤتمرات الوطني ببكين، دعا تعلم الآلة العراب، مع التركيز على أستاذ آلة الاستخبارات في جامعة كارنيجي ميلون توم ميتشل، Maike سي نمر مرقس، تشو تشى هوا، وتشنغ تاو كبير، تشن Yiran منظمة العفو الدولية وقادة آخرين ومصير البشرية.
موقع الجمعية العامة الرسمي:
الآن وحتى 19 أغسطس، جي الأنفس الجديد رقم طبعة محدودة من تذاكر وقت مبكر الطيور التواصل الوثيق مع الشركة الرائدة عالميا في منظمة العفو الدولية، والذكاء الاصطناعي، شاهد الصناعة العالمية على قدم وساق.
-
النشطة تذاكر الصف تصل:
-
تذكرة خط نشط رمز ثنائي الأبعاد:
