مذكرة لى فنغ الشبكة: هذا المقال من "التكنولوجيا توبو" التي تم تجميعها من AutoML جوجل: قطع خلال الدعايه
عندما أطلقت AutoML، كتب الرئيس التنفيذي لجوجل ساندر Pichai في بلوق: "إن تصميم الشبكات العصبية وقتا طويلا جدا، المطالب العالية جدا على خبرتها بحيث جزء صغير فقط من الباحثين والمهندسين الذين شاركوا في التصميم الذي هو بالنسبة لنا. السبب لخلق طريقة AutoML، مع ذلك، فإن الشبكة العصبية ويمكن تصميم الشبكة العصبية. نأمل أن لديها القدرة على AutoML الآن لدينا بعض من الدكتور ويسمح العديد من المطورين في غضون ثلاث إلى خمس سنوات، ولكن أيضا من خلال AutoML تصميم الشبكة العصبية لقاء احتياجاتها الخاصة ".
وقال الرئيس التنفيذي لجوجل ساندر Pichai، نحن بحاجة إلى تصميم الشبكة العصبية الخاصة بها
وقال جوجل جيف دين، رئيس AI 100 مرة أكثر قوة يمكن أن تحل محل الخبير تعلم الآلة البشرية الحوسبة، وقال انه يحتاج قوة الحوسبة الهائلة للبحث العمارة العصبي للقضية لشرح هذا. (وفي كلمته الرئيسية الفيديو TensorFlow الجمعية DevSummit حول 23:50 أو نحو ذلك)
هذا يثير عددا من القضايا التي تمت مناقشتها: العديد من المطورين بحاجة إلى "تصميم الشبكة العصبية لتلبية احتياجاتها الخاصة" (اقتباس من رؤية بيتشاي)، أو ما إذا كانت هناك وسيلة فعالة لجعل الشبكة العصبية يمكن تطبيقها على نطاق واسع في نفس الفئة لحل هذه المشكلة؟ هائلة القدرة الحاسوبية يمكن أن تحل محل حقا الإنسان والآلة التعلم خبراء تفعل؟
في تقييم بيان جوجل، فإنه ينبغي أن يوضع في الاعتبار أنه إذا نحن مقتنعون بأن مفتاح الاستخدام الفعال للتكنولوجيا التعلم العميق هو تحسين القدرة الحاسوبية، وجوجل سوف يصب في مصلحة، لأنه في هذا المجال، وجوجل الواضح متقدما بفارق كبير. إذا كان هذا صحيحا، قد نحتاج لشراء منتجات Google. في حد ذاته، وهذا لا يعني أن المطالبات جوجل خاطئة، ولكن جيدة فهم دوافع اقتصادية خفية وراء الإعلان هو ضروري.
في المادة السابقة، وقدم التاريخ AutoML، شرح ما هو البحث الهندسة المعمارية العصبية، مشيرا إلى أن لكثير من آلة مشروع التعلم، تصميم أو اختيار العمارة بعيدة كل البعد عن كونها أصعب، فإن معظم المشكلة تستغرق وقتا طويلا أو الأكثر إيلاما. في آخر اليوم، أريد أن تولي اهتماما خاصا لAutoML جوجل نفسها، والتي هي نتاج قلق شعبي واسع، وتحاول معالجة القضايا التالية:
ما هو AutoML؟
ما هو الهجرة من التعلم؟
البحث ونقل التعلم العمارة العصبية: اثنان النهج المعاكس تماما
الحاجة إلى مزيد من الأدلة
سعى AutoML لماذا جوجل للغاية بعد؟
كيف يمكننا حل مشكلة نقص خبير تعلم الآلة؟
ما هو AutoML؟
على الرغم من أن الحقل AutoML وقد وضعت عدة سنوات (بما في ذلك المصدر المفتوح المكتبات AutoML والندوات والأبحاث والمنافسة)، ولكن مايو 2017، وسوف تستمر جوجل بحثها عن بنية العصبية تسمى AutoML. بيان بلوق صدر في جوجل I / O المؤتمر، كتب الرئيس التنفيذي لجوجل ساندر Pichai: "لهذا السبب أنشأنا طريقة AutoML، مع ذلك، فإن الشبكة العصبية ويمكن تصميم الشبكة العصبية"؛ الباحثين جوجل AI كتب باريت Zoph وكووك لو: "من خلال أسلوبنا (الذي نسميه" AutoML ")، ويمكن وحدة تحكم الشبكة العصبية تجعل" الطفل "العمارة نموذج ..."
جوجل في يناير 2018 أطلقت منتجات تعلم آلة - الغيمة AutoML. حتى الآن، انها واحدة فقط متاحة للجمهور خدمات AutoML الرؤية، AutoML الرؤية هي صورة هوية أو تصنيف API الكائنات. وفقا لصفحة وصف المنتج، ويعتمد سحابة AutoML الرؤية على اثنين من التكنولوجيات الأساسية: التعلم نقل وتفتيش العمارة العصبي. والآن بعد أن أدخلنا البحث الهندسة المعمارية العصبي، دعونا ننظر في في الهجرة إلى تعلم الآن، نظرة على العلاقة بينه وبين البحث عن العمارة العصبية.
عناوين على جزء صغير من البحث AutoML جوجل والهندسة المعمارية العصبية لل
ملاحظة: جوجل الغيمة AutoML هناك منتج السحب وML ما زال في حالة اختبار ألفا. أرجو الوصول إليها منذ شهرين، ولكن حتى الآن لم تتلق ردا جوجل. أخطط لتحريرها في الكتابة أرسلت مفتوحة مقال.
ما هو الهجرة من التعلم؟
التعلم نقل يعد مصدرا قويا لتكنولوجيا التعلم الآلي، من خلال استخدام نموذج ما قبل التدريب تم تدريبهم على مجموعات البيانات مماثلة على نطاق واسع، لأنها تتيح للناس باستخدام مجموعة بيانات أصغر أو أقل قوة الحوسبة للحصول على أحدث النتائج. من خلال تعلم الهجرة لأن النموذج لا تحتاج إلى التعلم من التعلم الصفر، لا يتم مقارنتها مع استخدام نموذج التعلم نقل، فمن الممكن عادة مع بيانات أقل ووقت الحساب لتحقيق أعلى قدر من الدقة.
الهجرة هو لدينا التعلم العملي عبر ساحة خالية من المزارعين عمق دورات في استخدام التكنولوجيا الأساسية التعلم - يستمر طلابنا ليتم تطبيقها على عملية الإنتاج، سواء في الشركات الناشئة الخاصة أو شركات فورتشن 500. على الرغم من أن العمارة العصبية من البحث والتعلم نقل يبدو "أقل جاذبية"، ولكن لم يتحقق ذلك اختراقا الإنجازات الأكاديمية في استخدام التعلم الهجرة التكنولوجيا، مثل جيريمي هوارد وسيباستيان رودر سيتم تطبيقها على نقل NLP التعلم، في ست مجموعات البيانات عند الانتهاء من أفضل تصنيف. وفي الوقت نفسه، يقوم الهجرة أيضا التقنيات في إجراء مزيد من البحوث OpenAI التعلم في هذا المجال.
بحث ونقل التعلم العمارة العصبية: اثنان النهج المعاكس تماما
والفكرة الأساسية هي نقل التعلم الشبكة العصبية العمارة تعميم لحل مثل هذا النوع من المشاكل: على سبيل المثال، العديد من أنواع أخرى من الصور وصورة لها نفس السمات الأساسية (مثل الزاوية، دائرة، وجه الكلب أو العجلات). في المقابل، فإن البحث عن العمارة الفكرة الأساسية العصبية في حل المشكلة عكس ذلك تماما: كل مجموعة البيانات لديه فريدة من نوعها، والهندسة المعمارية درجة عالية من التخصص.
أمثلة من ماثيو زيلر وروب فيرغوس، علم المصنف صورة 4 حيث: الزاوية، دائرة، وعجلة القيادة والكلاب
عندما بحث العمارة العصبي لاكتشاف بنية جديدة، عليك أن تبدأ من نقطة الصفر مع الحق في إعادة الهندسة المعمارية، وذلك باستخدام أسلوب التعلم نقل، يمكنك استخدام مباشرة الآن تدريب ما قبل الحق في إعادة النموذج. في هذا المعنى، لا يمكنك استخدام كلا العصبي البحث الهندسة المعمارية ونقل التعلم إلى حل نفس المشكلة: إذا كنت تعلم بنية جديدة، تحتاج إلى تدريب الوزن الجديد، وإذا كنت نموذجا للهجرة عن طريق التعلم ما قبل التدريب، لا يمكنك أي تغييرات جوهرية في المخطط.
بالطبع، يمكنك تقديم طلب لنقل التعلم المستفادة من إطار طريقة البحث الهندسة المعمارية العصبي (على ما أظن انها فكرة جيدة!). يستغرق سوى عدد قليل من الباحثين باستخدام نموذج العمارة العصبي المصدر المفتوح بحث والعثور عليها. عند استخدام نقل التعلم إلى حل المشكلة، ليست هناك حاجة لجميع الممارسين تستخدم العصبي طريقة البحث الهندسة المعمارية للتعلم الآلة. ومع ذلك، كلمة رئيسية جيف دين، ساندر Pichai في بلوق وظيفة، وجوجل الغيمة المواد الترويجية وتقارير إعلامية تشير وجهة النظر المقابلة: احتياجات الجميع لتكون قادرة على البحث مباشرة باستخدام الهندسة المعمارية العصبية.
ما هي فوائد العمارة العصبية بالبحث هناك؟
بحث العمارة العصبية يساعد على إيجاد بنية جديدة! العمارة جوجل البحث AmoebaNet العصبية عن طريق التعلم، وfast.ai هذا قد تحسنت لتسريع عملية التعلم أثناء تغيير حجم الصورة عملية التدريب. أصبح AmoebaNet على تدريب جهاز واحد ImageNet أرخص وسيلة!
AmoebaNet لا تأخذ بعين الاعتبار وظيفة جائزة التصميم مع القدرات الموسعة، لذلك لا يمكن توسيع كما ResNet لآلات متعددة، ولكن قد تمتد إلى لخصائص مختلفة من الشبكات العصبية في المستقبل من المرجح أن يكون من التعلم التلقائي.
نحن بحاجة الى مزيد من الادلة
لا يوجد أي دليل على أن كل مجموعة بيانات من الأفضل استخدام النمذجة المخصصة الخاصة بك، بدلا من النماذج القائمة صقل. وبما أن البحث عن هيكل العصبي يتطلب المزيد من مجموعة التدريب، وهذا ينطبق بشكل خاص لمجموعات البيانات أصغر. حتى جوجل بعض الدراسات الخاصة باستخدام تكنولوجيا الهجرة المتاحة، بدلا من البحث عن بنية جديدة لكل مجموعة البيانات، مثل NASNET (بلوق وظيفة)، وتعلمت وحدة الإطار على Cifar10، ومن ثم استخدام ImageNet حدة خلقت بنية. لم أسمع من أي الفائزين في المسابقة تعلم آلة تستخدم للبحث عن الهندسة المعمارية العصبي.
وبالإضافة إلى ذلك، نحن لا نعرف تعزيز العصبية جوجل الحاجة لحساب قوة العمارة ما إذا كانت طريقة البحث لديها مزايا هامة. على سبيل المثال، بعض الأوراق الأخيرة، مثل البحث عن العمارة كفاءة العصبية (ENAS) والبحث المعمارية المصغرة (دارت)، اقترح خوارزمية أكثر فعالية. دارت أربعة فقط عدد الأيام التي يمكن أن تتعلم العمارة GPU، NASNET حاجة 1800 عدد GPU أيام العمل، AmoebaNet GPU، مقارنة مع 3150 في عدد أيام العمل (درسوا في Cifar-10، وهي نفس دقة). جيف دين ENAS وهو مؤلف من ورقة، وقال انه اقترح أدنى مستوى 1000 مرة من قوة الحوسبة التكنولوجيا في ورقة، ويبدو أنه شدد المؤتمر TF DevSummit بعد شهر والاستخدام غير المناسب للقوة الحوسبة نهج 100 أضعاف.
لماذا سعى AutoML جوجل للغاية بعد؟
وبالنظر إلى القيود المذكورة أعلاه، فإن فائدة جوجل AutoML لماذا لم تثبت (على الأقل حتى الآن)، وطلب ذلك بعد؟ أعتقد أن هناك عدة أسباب:
1. AutoML أكثر أهمية جوجل لشركة للربح أنشئت بعض المخاطر التي يمكن مواجهتها مختبرات الأبحاث الأكاديمية. في هذه البيئة، فمن السهل لخلق البحوث الأكاديمية للاهتمام حول المنتج، وليس تقييم ما إذا كانت تلبية الطلب الفعلي. كثير من الذكاء الاصطناعي المبتدئة صحيحا، على سبيل المثال MetaMind أو المخابرات الهندسية، عندما تم الحصول عليها لم تكن حتى أطلقت نفس المنتج. نصيحتي لبدء التشغيل المؤسسين ليست لتوجيه أطروحة الخاص في الإنتاج، وليس مجرد توظيف الباحثين الأكاديميين.
2. جوجل هو جيد في التسويق. ويعتقد كثير من الغرباء أن الذكاء الاصطناعي هو مجال لا يمكن الوصول إليها وشاقة، وأعتقد أن لديهم أي وسيلة لتقييم هذه التصريحات، خصوصا أن جوجل أصدرت هذه الشركة المرموقة بيان. الكثير من الصحفيين، أيضا، لا بل دون تمحيص المواد Google الإعلانية مكتوبة الساخنة. أنا أتحدث بصورة منتظمة للأشخاص الذين لا يشاركون في مجال تعلم الآلة، فإنها لم تستخدم قط أي من منتجات Google ML، مهتمة جدا في ذلك، ولكن لا يمكن معرفة ما الحيل.
للمثال نموذجي غوغل توصف إنجازاتها مضللة تقارير: قد نشرت الباحثين جوجل AI مقالا بعنوان "استخدام عمق حقيقي تقنيات التعلم لإعادة بناء الجينوم البشري"، وجائزة نوبل لعملهم والحصول على الذين اكتشاف الاسمية (الغطرسة!)، وقد نشرت المقالة في السلكية المحدد. ومع ذلك، أستاذ بارز في الهندسة الطبية الحيوية، وعلوم الكمبيوتر والإحصاء الحيوي في جامعة جونز هوبكنز، ستيفن سالزبيرغ فند منصب جوجل. وأشار سالزبيرغ أن الدراسة لم إعادة بناء الواقع الجينوم البشري، و "مجرد بعض التحسينات على البرامج الموجودة، بل قد لا تحسن كثيرا." ويتفق كثير من الباحثين الجينوم أخرى نقطة سالزبيرغ نظر.
جوجل بعض الأعمال رائع في التقدم، ولكن إذا كنا لا يحجب الكثير من الضجيج مضللة لمعرفة ما هو معقول، ثم العمل فإنه سيتم قبول أكثر بسهولة.
3. إذا نحن مقتنعون بأن مفتاح الاستخدام الفعال للتكنولوجيا التعلم العميق هو تحسين القدرة الحاسوبية، وجوجل سوف تستفيد، لأن في هذا المجال، وجوجل الواضح متقدما بفارق كبير. وعادة ما يتطلب AutoML الكثير من الحوسبة، على سبيل المثال، لمعرفة AmoebaNet، الحاجة جوجل لتدريب سبعة أيام على 450 K40 GPU (GPU ما يعادل 3150 عدد أيام العمل).
في حين أن وسائل الإعلام في كثير من الأحيان هاجس المهندسين والقوة الحسابية أو بعض الأشياء أكثر جوهرية أخرى، ولكن يبين التاريخ أن الابتكار غالبا ما تنتج على أساس القيود والإبداع جرا. تستخدم Google قوة الحوسبة الهائلة التعامل مع كميات هائلة من البيانات، ونحن يعيش حاليا في عالم محدود الموارد محدودة، وهذا النهج يمكن تعميمها من أجل حقا حل المشاكل التي نواجهها ذلك؟
الابتكار في طرق مختلفة لحل المشكلة، بدلا من جعل أشياء أكبر. fast.ai النجاحات الأخيرة في جامعة ستانفورد لعبة DAWNBench لاثبات هذه النقطة.
كيفية حل مشكلة نقص خبير تعلم الآلة؟
العودة إلى مسألة آلة الممارسين تعلم نقص في جميع أنحاء العالم من خطاب أثار جيف عميد التوجه في TensorFlow DevSummit، زاوية أخرى وسعنا لحل هذه المشكلة. يمكننا القضاء على أكبر عقبة أمام استخدام تكنولوجيات التعلم عميقة من خلال الطرق التالية:
1. يجعل من الاسهل لاستخدام التعلم العميق
2. إزالة الغموض التعلم العميق
3. من أجل زيادة فرص الحصول على أموال كافية الناس لا يستطيعون استخدام سحابة GPU
جعله أسهل للاستخدام التعلم العميق
دراسة متعمقة لكيفية جعل التعلم أكثر سهولة الاستخدام يمكن أن يكون لها تأثير كبير، وأسرع وأكثر سهولة تدريب شبكة أفضل. أصبح الآن للممارسات المعمول بها بعض النتائج ما يلي:
التسرب يسمح لمجموعات البيانات أصغر للتدريب دون الإفراط في تركيب.
التطبيع دفعة يمكن تسريع التدريب.
مصحح الخطية وحدة الانحدار يساعد على تجنب الانفجار.
بعض الأبحاث الجديدة التي تهدف إلى تحسين سهولة الاستخدام ما يلي:
تعلم الاستعلام معدل تمكن عملية التدريب أكثر استقرارا.
سوبر التقارب يمكن تسريع التدريب، ويقلل من الموارد الحاسوبية.
الإطار القائم من "رؤساء مخصص" يمكن بسهولة إعادة الهندسة المعمارية في حل سلسلة من المشاكل (على سبيل المثال، تعديل تصنيف ResNet، أو للبحث عن الهجرة المحيط المربع نمط)،
لم تشارك هذه النتائج في القدرة الحاسوبية، والعكس، وكلها تستخدم طرق مبتكرة لحل المشكلة.
إزالة الغموض دراسة متعمقة
عقبة أخرى هي أن الكثير من المفاهيم الخاطئة تجعل الناس يعتقدون أن التعلم العميق ليست لهم: يعتقدون خطأ أن الصغيرة البيانات الخاصة بهم، انهم لا يحصلون على التعليم النظامي أو أي خلفية، أو القدرة الحاسوبية الخاصة ليست كافية. ويعتقد كثير من الناس أن الدكتوراه الوحيد في آلة التعلم لتكون قادرة على استخدام تكنولوجيا التعلم العميق، العديد من الشركات بسبب عدم قدرتهم على استئجار الخبراء لتطوير هذه الموهبة والتخلي. ومع ذلك، في الواقع، لا يمكن إلا أن على آلة تدريب الموظفين الخبراء تعلم القائمة، وهذا هو أكثر من المستحسن، لأنك بالفعل خبرة الموظفين الحاليين كنت تعمل في الميدان!
أعتقد، وأنا تحدثت إلى الغالبية العظمى من الناس، في التعلم العميق من العتبة هو أقل بكثير مما كان متوقعا: عام واحد فقط من الترميز الخبرات والوصول إلى GPU.
لأنه يزيد الوصول: جوجل Colab أجهزة الكمبيوتر المحمولة
على الرغم من أن GPU سحابة (حوالي 50 سنتا في الساعة) التكاليف في ميزانية كثيرين منا، وفقا لاتصالي منتظمة مع طلاب من جميع أنحاء العالم نقطة من رأي، وبعض الطلاب لا يستطيعون الاستفادة الكاملة أي GPU. في بعض البلدان / المناطق، حتى إذا كان لديهم المال، ومخصصات البنوك بطاقات الائتمان أيضا جعل من الصعب استخدام خدمات AWS. جوجل Colab المحمولة هو الحل! Colab المحمولة يوفر بيئة دفتر Jupyter، دون أن يحدد يمكنك استخدامها، وتشغيل تماما في السحابة، ويتيح للمستخدمين الوصول GPU الحرة (على الرغم من عدم السماح طويلة الأجل استخدام GPU). أنها يمكن أن تستخدم أيضا لإنشاء مستند الذي يحتوي على نموذج التعليمات البرمجية لتشغيل في بيئة تفاعلية. دور جوجل Colab المحمولة من حيث عمق التعلم لتحقيق أكثر من شعبية وAutoML، وربما يكون هذا هو الخيار الأفضل لمستقبل آلة التسويق جوجل.
