لى فنغ شبكة AI تقنية مراجعة من قبل: الخوارزميات التطورية وتوليدي GANS شبكة المواجهة مماثل يقترح علينا جميعا أعتقد أنها فكرة جيدة، ويمكن أن تساعد في توسيع كبير السلوك البشري والخيال، ولكن، للعثور على الخير وتنفيذ تسيطر عليها ليس بهذه البساطة. GANS الجوانب لديها الآن الكثير من النتائج، ولكن لا يزال لا تزال في حالة الخوارزميات التطورية في وقت مبكر نسبيا، غير قادر على توليد نطاق واسع، شبكة موارد الحوسبة المعقدة اللازمة أيضا على مستوى مجموعات الحوسبة.
ومع ذلك، فإن دراسة الخوارزمية التطورية هي خطوة في "التطور" في دراسة حديثة من جامعة كيب تاون في جنوب أفريقيا لتحقيق الاكتشاف الجديد، لكنها تطورت عبر بنية الشبكة بالموارد من قطعة واحدة من GPU، أيضا تحديث نتائج من ثلاثة اختبارات. لى فنغ شبكة AI تقنية مراجعة الخلفية ونتائج هذه الورقة بإيجاز على النحو التالي.
الشبكات العصبية هي قوية، ولكن عمق الوحش غير بديهية، لديها ثروة من الخبرة، والتجربة والخطأ، فإنها يمكن أن ينجح في الحصول على الأداء الجيد. وهناك العديد من الأمثلة لإثبات استمرار أداء هذه الشبكات من أجل زيادة مع زيادة العمق. هذه الميزات إضافة دراسة متعمقة في مختلف المجالات إظهار التأثير الذي يمكن أن تجد تلقائيا النهج الأمثل أو بنية الشبكة شبه الأمثل وفائقة المعلمة أكثر وأكثر أهمية متزايدة.
ولكن من الواضح، وإنشاء خصائص شبكة من كل طبقة، والنظام، والطبقات وظيفة التنشيط، عدد الوحدات في طبقة اتصال كاملة، طبقة في عدد من التفاف التفاف نواة وحتى المعلمات شبكة التعلم عمق حاجة، واختيار الوقت كل دخول ليست سهلة. ولكن الآن هناك فائدة أن لدينا ثروة من الموارد الحاسوبية، بشكل عام، يمكنك أن تجرب العديد من تركيبات مختلفة للعثور على أفضل تأثير. هل من الممكن أن تقتصر فقط جدا موارد الحوسبة، مثل GPU، للحصول على نتيجة جيدة؟
وهذه الورقة مناقشة فكرة، من خلال الخوارزميات التطورية، والشبكات العصبية وضعت ممتازة. هذه العصبية الخوارزمية التطورية ليست جديدة، قبل نحو ثلاثين عاما اقترح، بدءا من دراسة عن الأوزان اتصال الشبكة العصبية المرتبطة مع الوزن.
نتائج التطور الأخير من الخوارزميات العصبية
وفيما يلي بعض الجوانب المتعلقة بالعمل الأخيرة من العصب خوارزمية التطوري، مقارنة مع نتائج هذه الدراسة، فإنها تستخدم الكثير من الموارد الحاسوبية. E. ريال وآخرون "على نطاق واسع تطور المصنفات صورة" (أرخايف: +1703.01041، 2017) يقترح طريقة العصبية التطورية الأمثل لشبكة العصبية تصنيف الصور، والذي يستخدم جهاز كمبيوتر يحتوي على 250 الحوسبة المتوازية مجموعات، وحققنا إنجازات كبيرة في صورة CIFAR مجموعة البيانات المهام. B. Zoph وQV لو هو "العصبية العمارة بحث مع تعزيز التعلم" (أرخايف: +1611.01578، 2016) في استخدام مزيج من المتكررة العصبي التعلم شبكة التعزيز، لمعرفة بنية طيبة، فهي تماما أكثر من 800 GPU دربت 800 شبكة.
اقترح R. Miikkulainen آخرون CoDeepNEAT ( "تطور الشبكات العصبية العميقة"، أرخايف: +1703.00548، 2017)، التي ولدت عددا كبيرا من النماذج والمخططات. وتشمل هذه الخطط عدة العقد، تتميز لافتا إلى عقدة معينة وحدة الشبكة العصبية. ونتيجة لذلك، فإن الطريقة المقترحة لكنهم سمحوا للتطور تكرار بنية يصبح ممكنا كمخطط لتطور وحدة يمكن إعادة استخدامها. اقترح T. Desell EXACT ( "تطور على نطاق واسع من الشبكات العصبية التلافيف باستخدام الحوسبة المتطوعين"، أرخايف: +1703.05422، 2017) يستخدم، وهو الخوارزميات التطورية العصبية المنتشرة على كتلة الحوسبة الموزعة، كانت تستخدم 4500 تطورت المشاركين المتطوعين الكمبيوتر المكتبية 120000 للحصول على MNIST شبكة البيانات. طريقتهم لا تستخدم تجميع طبقة، فإنه يقتصر على استخدام المدخلات ثنائية الأبعاد والتصفية.
وجد المؤلفون أيضا أن استخدام البحوث التي أجريت مؤخرا فقط GPU واحد يمكن أن تتطور إلى تحديد دقيق ليشرف تعلم المهام الحاجة الانحدار أو العصبية نموذج تصنيف شبكة من العمق، اكتسبت 96 في مجموعة من المهام المختلفة متوسط معدل دقة. (E. Dufourq وBA باسيت، "تحديد المشكلة الآلي: انحدار مقابل تصنيف عبر شبكات عميقة التطورية"، المؤتمر السنوي لمعهد جنوب أفريقيا للعلماء الحاسوب وتقنيي المعلومات، ACM، 2017) نتائج واضعي الورقة هي لتوجيه رائدة، وطالما هناك موارد الحوسبة كافية يمكن أن يكون بسهولة في عملية تحسين الشبكة في هذه الورقة.
الخوارزميات الجينية
الخوارزمية الجينية (الخوارزمية الجينية، GA) هي خوارزمية تطورية يمكن استخدامها لحل مشاكل الأمثل. أولا، تهيئة مجموعة من الكروموسومات، وتتميز كل كروموسوم من حل للمشكلة الأمثل. ثم يتم تقييم كل كروموسوم من وظيفة مطابقة لتحديد الكروموسوم يمكن أن تحل هذه المشكلة. في نموذج تطور تكرارية، الخوارزمية الجينية بالتكرار مرات عديدة، يمكن أن يطلق عليه "أجيال" (أجيال)، وتصل إلى التكرار محدد مسبقا حتى استيفاء الشروط (مثل عدد أقصى من الأجيال). كل كروموسوم يتكون من عدد من الجينات، ويمكن استبدال هذه الجينات مع مشغل الجيني. بعد التلاعب الجيني الكروموسومات بعد العملية، فإنه قد يتم الإشارة إلى الكروموسومات ذرية الأصلية (ذرية). قد يكون إنشاء عدد الصبغيات من المجتمع المختلفة وافر من النسل. في كل جيل، فإن ذرية محل المجتمع كروموسوم كروموسوم القائمة.
هذه الورقة، واستخدام الكتاب الخوارزمية الجينية التقليدية. كما زاد عدد توليد إضافية وعصر التدريب الشبكة، استخدام الرقم لاستكشاف أفضل من العصر. الخوارزمية الجينية المستخدمة في الشكل التالي.
السبب المؤلفين باستخدام الخوارزمية الجينية هو أن تعقيد كروموسوم يجوز زيادة أو تخفيض وفقا لعدد من الجينات المشفرة. الخوارزمية الجينية مقارنة الخوارزميات التطورية أخرى هناك بعض المزايا: فهي يمكن التعامل معها بسلاسة عندما منفصلة (مثل نوع طبقة) ومستمرة (مثل معدل التعلم) مساحة متجاورة، وهو تطور العصبي هذا هو الخيار المثالي.
EDEN
في هذه الورقة، والكتاب تظهر تطور عمق الشبكة (العميقة شبكات التطوري، EDEN)، والتي تعتبر مزيجا من الخوارزميات الجينية والخوارزميات التطورية العصبية الشبكات العصبية، وتستخدم لاستكشاف هندسة الشبكات العصبية، ترتبط فائقة عميق المعلمات وعدد من فضاء البحث العصر. في هذه الدراسة، والكتاب استكشاف ميزات إضافية الأمثل طبقة جزءا لا يتجزأ من هذا النوع من سبيل المثال، ويزيد من تعقيد البحثية القائمة. ويأمل واضعو EDEN الإجابة على سؤالين: 1، بصفة عامة، والهندسة المعمارية أكثر ممتازة والمعلمات سوبر تستخدم لحل مشاكل عديدة ومختلفة (لا تقتصر على التعرف على الصور) يمكن الحصول عن طريق التطور؟ 2، مجموعات الحوسبة على نطاق واسع المستخدمة في الدراسات السابقة وبدلا من ذلك، فإنها يمكن استخدام GPU واحد لتحقيق هذا الهدف؟
فإن الكتاب عدن وصول TensorFlow، هذه الطبقة الجديدة، وظائف، ويمكن بسهولة الميزات الأخرى أن تجمع EDEN، والتطبيق، لأن توصيف وظيفة هذه الميزات يمكن استدعاء وظيفة TensorFlow. وعلاوة على ذلك، EDEN لا تقتصر TensorFlow، وعمق الشبكات العصبية الحديثة الأخرى يمكن أن تستخدم أيضا لتنفيذ إطار EDEN. هذا الرقم هو مثال على العصبية بنية الشبكة EDEN كروموسوم تم الحصول عليها بعد الترميز.
كل كروموسوم EDEN يحتوي على اثنين من الجينات، ومعدل الترميز والشبكة العصبية للتعلم. وتشير الأرقام إلى أن تطور الشبكة العصبية تستخدم من قبل تحليل المشاعر EDEN. EDEN خلق بعدا لإخراج طبقة جزءا لا يتجزأ من 120، وجاء هناك طبقة التفاف الأبعاد الثلاثة. تطورت EDEN عدد من المرشحات، كل أبعاد التصفية، وظيفة تفعيل كل استجابة التصفية. للطبقة النهائية، يتم تحديد EDEN وظيفة تفعيل استخدام السيني. تعلم أسعار الفائدة على هذا الكروموسوم هو 0.0023.
يظهر الشكل التالي عملية نقل عملية EDEN تنفيذها في تطور كروموسوم، ومشكلة يجب حلها هي تصنيف الصور MNIST. هذه العملية نحو حل التقارب الخلايا العصبية فعالة من المجتمع، وتتكون في النهاية من طبقات من الإلتواء ثنائي الأبعاد.
النتائج التجريبية
استخدام EDEN، بعد 10 أجيال و 13 عصر التدريب، والنتائج الكتاب على شبكة الإنترنت في عدد من الاختبارات، على التوالي، كانت على النحو التالي.
لمختلف المهام، ومعدل التعلم وعدد من معلمات الشبكة تطورت يست هي نفسها. التي-متوازنة EMNIST، EMNIST-أرقام والموضة MNIST ثلاثة مهمة حققت أفضل النتائج، وتجديد أفضل النتائج الحالية. لCIFAR 10 في الكثير من انخفاض الأداء، والكتاب يرى أن السبب هو أنها تولي اهتماما أكبر لكفاءة الدراسة، وبالتالي فإن نموذج عمق لجعل حد معين، فإنه يحد من أداء البعثات CIFAR-10.
هذا الرقم هو في مهمة MNIST، تطورت الشبكة لتتناسب مع متوسط أجيال مختلفة من التخطيط. حيث تتم مطابقة القيم المشار إليها خط عمودي في جميع أنحاء المجتمع 5 إلى 95. في بداية تطور والمجتمعات مطابقة مختلفة جدا، وبعد ذلك مع حل تغيرت للأفضل، والتقارب المجتمع، مطابقة حجم التغير يبدأ في الانخفاض. كما شهد هذا الرقم تطور منذ بعد بدء معلمات التكوين الأولية والمتوسطة، والشبكة المرتبطة ثلاثة أجيال فائقة النهائية.
وقال معدو تجربتهم باستخدام واحد فقط GTX1070 GPU، وتدريب الوقت 6-24 ساعات، يمكنك الحصول على هذه النتائج، فإنها تشعر بالارتياح للغاية. حاولت الدراسة أيضا لأول مرة لاستخدامها في خلق التطور العصبي للالتفاف ذات بعد واحد للشبكة، وتستخدم لتحل تحليل المشاعر، بما في ذلك الاستغلال الأمثل للطبقة المضمنة.
لمزيد من المعلومات، يرجى الرجوع إلى الرسالة الأصلية: الشبكي: //arxiv.org/pdf/1709.09161.pdf، لى فنغ شبكة جمعتها منظمة العفو الدولية تقنية مراجعة
