ملاحظة لى فنغ شبكة المحرر: في السنوات الأخيرة، توجه الشبكة العصبية على المعرفة النظرية لاستراتيجية الأحياء لتحقيق قفزة كبيرة إلى الأمام، ونحن لا يمكن أن تكتمل قبل الانتهاء من هذه المهمة. تطور الجهاز العصبي كحقل بحوث الذكاء الاصطناعي، في محاولة لتصميم وبناء الشبكات العصبية من خلال خوارزمية التطورية بدلا من العشوائية أصل التدرج. المؤلف بول بولس، GDE كما تعلم الآلة ومفتوحة المصدر متحمس، وقال انه كتب مقالا حول العصب خوارزمية التطوري في المتوسط، ويقدم المفاهيم الأساسية للالخوارزميات التطورية العصبية، فضلا عن نتائج البحوث الهامة في السنوات الأخيرة. لى فنغ شبكة AI تقنية مراجعة وقد تم تجميع الحذف، يرجى تتمتع ~

تطور العصبية هو فرع من فروع الذكاء الاصطناعي وتعلم الآلة، فإنه يمكن تحسين الشبكات العصبية الاصطناعي، والخوارزميات التطورية ومحاولة للعثور على الشبكة العصبية المثلى. على وجه التحديد، مثل الطبيعة من خلال الطفرة، كروس أو إزالة بعض من الشفرة الوراثية المحتملة لتحسين وظيفة الدماغ كما الاصطناعي طوبولوجيا الشبكة العصبية يمكن أن تنتج أفضل وأفضل من خلال خوارزمية التطورية والوزن والمعلمات جدا. وببساطة، فإن الفكرة هي استخدام تطور إلى الشبكة العصبية للتغيير في الأمثل المعلمة.

تطور الأعصاب

تطور الأعصاب هو آلة تعلم تقنية طرق الاستخدامات الأمثل يمكن أن تستمر في تحسين نوعية الجماعات المحلية في كل من الشبكة العصبية لتوليد الشبكة أكثر العصبية على أساس مشاكله التي يتعين حلها على أساس. كل التخزين الفردي للسكان ليست معقدة الشبكات العصبية، ولكن تخزين كما الجينوم. وأعرب وراثيا، يمكن تعيين A الجينوم مبسطة إلى الشبكة العصبية.

التطور العصبي تحتاج أولا إلى تهيئة عدد وافر من الجينوم قال، والتي يتم تطبيقها على مشاكل محددة في البيئة، ومن ثم تعيين كل الجينوم علامة بناء على القدرة على التكيف مع الشبكة العصبية في حل مشاكل التطبيق. على سبيل المثال، يمكن تكييفها لتصبح النتيجة دقة المهام التعرف على الصور تنفيذها في مسار الفعلي والذراع الفرق يتم نقل ومسار المتوقع وما شابه ذلك.

بمجرد إنشاء السكان الأولي، وتبدأ دورة التحسين، والسكان باستمرار الطفرة، إعادة التركيب، وتقييم والخبرة الانتقاء الطبيعي.

إذا كانت هذه الخطوات هي بشكل متكرر، والسكان مرة واحدة فقط خطوة، ثم السلوك هو تطور العصبية بين الأجيال (neuroevolution الأجيال).

تطور مشترك تنافسية (تطور مشترك تنافسية) يعني أن تصميم خوارزمية التطورية العصبية يسمح طبيعة غير متزامن، والأمثل على التنفيذ لكل حلقة من الجينوم. في تطور العصبية بين الأجيال وتنافسية التطور المشترك كلتا الحالتين، يتم تنفيذ عملية التحسين من إدخال باستمرار مبتكرة، وتقييم الابتكار، والابتكار لتصنيفها حتى أفضل شبكة العصبية العملية.

الشكل 1: A أمثلة نموذجية لتطور العصبية بين الأجيال

تطور الأعصاب هو "الصندوق الأسود"، على الرغم من المعلمات العملية التطورية الخاصة المطلوبة، ولكن لا تحدد أية معلمات الشبكة العصبية ولدت فائقة معينة، ولكن من أجل حل المشاكل العملية على أساس تصميم الشبكات العصبية. وسيكون هذا لأوزان الشبكة العصبية، وغيرها من خيار فائقة المعلمة توفير مجموعة، وهو ما يسمى أيضا فضاء البحث. على الرغم من أن "الصندوق الاسود" طبيعة يوفر مساحة بحث واسعة النطاق للغاية، ولكن من أجل زيادة سرعة عبور فضاء البحث، وأنه من الحكمة للحد من حجم مساحة البحث. عن طريق الحد من تعقيد ترميز الجينوم، ويشار القدرة على تعيين حجم الجينوم من فضاء البحث أيضا باسم المشفرة وراثيا. وباختصار، من أجل جعل فضاء البحث وجود حجم مناسب، وفقا لمتطلبات المشاكل العملية، وتصميم المناظر المشفرة وراثيا الخوارزمية التطورية العصبية مهم جدا. ولذلك، فإننا ننظر أولا إلى مفهوم الشفرة الوراثية.

الترميز الوراثي

فعالية الشبكة العصبية قادرة على الاختلاف وفعالة إعادة هيكلة العصبية الاصطناعية فرضية الشبكة. لديها القدرة على تمثيل قوي للشبكة العصبية دون تحليل هياكل البيانات المعقدة إلى حد كبير سوف تكون قادرة على التعامل بسرعة مع الشفرة الوراثية المضغوط (الشفرات الوراثية المدمجة).

وبعبارة أخرى، فقط في العصب عملية خوارزمية التطورية المشفرة وراثيا بدلا من عملية التعلم الآلي على هياكل البيانات المعقدة الإطار. وبطبيعة الحال، فإن وجود ترميز الجينات يسمح التعيين بين تمثيلات اثنين. وتسمى هذه التمثيل الجيني الفعال للالجينوم الوراثي (المورثات)، ورسم الخرائط ذات الصلة يشار إلى الشبكة العصبية النمط الظاهري (الظواهر). تستخدم هذين المصطلحين من التطور الجيني من التخصصات. بعد كل شيء، ومن المعروف أن تطور العصبية أيضا التطور الجيني. لاحظ أيضا أن هذا سوف تقتصر كل الظواهر إلى الشبكات العصبية.

الشكل 2: مباشرة مشفرة وراثيا

ترميز الجينات عموما يمكن تقسيمها إلى فئتين فرعيتين: مباشرة مشفرة وغير المباشرة مشفرة. على الرغم من أن هناك فئة ثالثة من تطوير الترميز، ولكن اسمحوا هذا الترميز ضئيلة، بعد كل شيء، يفتقر هذا العام أيضا التقدم. التمثيل المباشر مشفرة للجوانب مختلفة من الشبكات العصبية، والتي يتم ترميز صراحة تمثيل (كما هو موضح في الشكل 2) وراثيا. الترميز المباشر لكل ترميز متصلة مباشرة إلى الأوزان الوراثي المقابلة لها، ولكن إمكانية للحد من فضاء البحث من خلال الشبكة العصبية وظيفة تفعيل انحراف سلبي.

مثل الترميز قد يمثل أي طوبولوجيا feedforward المباشر والإعادة، فمن الممكن لإنتاج طوبولوجيا الأمثل. ولكن "طوبولوجيا" مرن جدا، ثم حجم الجسيمات من فضاء البحث سوف تصبح كبيرة جدا. ومن هنا تأتي الحاجة إلى تصميم جيد العصبية التطورية خوارزمية بسرعة اجتياز فضاء البحث.

الشكل (3): غير المباشرة مشفرة وراثيا

يتم تعريف غير المباشرة وظيفة الترميز التعليمات البرمجية المخصصة التي لا يمكن أن تكون مباشرة "ترجم" الشبكات العصبية الاصطناعية الكبار. أنه من أجل خريطة المورثات إلى الشبكة العصبية، والحاجة إلى حكم منفصل "ترجمة" حسب القدرة ترميز غير المباشرة. إذا كان غير مباشر الترميز مصممة بشكل صحيح، حتى لو كانت الشبكة العصبية هي معقدة للغاية، لا يمكن أن يتحقق من خلال اجتياز مفيد وسريع فضاء البحث.

على الرغم من أنك يمكن أن تخلق شبكة العصبية الاصطناعية من مباشرة الترميز بسرعة، ولكن عدم وجود قدرات الترجمة ترميز غير مباشرة ولكنها سوف تبطئ سرعة المعالجة، وربما يؤدي إلى "الحبيبات الخشنة". حتى قبل البت فيها ترميز الاستخدام، يجب النظر في مزايا وعيوب رموز اثنين.

ولكن اثنين من الترميز الوراثي أثبتت كيف أن الشفرة الجينية لتحديد حجم مساحة البحث، على سبيل المثال. على سبيل المثال فضاء البحث التي تحدد طبقة التحكم، أو أي نوع من وظيفة التنشيط.

أساليب تربية واستكشاف الحلول

هناك طرق لاجتياز فضاء البحث يسمى عملية الاستنساخ (عملية الاستنساخ)، وبشكل وثيق ذات صلة المشفرة هذه الطريقة وراثيا والتطور العصبي المستخدمة. عادة لخلق الجينوم الجديد طفرة أو الجينوم المؤتلف، كما ورثت جينات جديدة إرث من الجينوم. الطفرات في الجينوم بحيث أجيال المستقبل من الشبكات العصبية الاصطناعية لاستكشاف هيكل جديد والوزن والمعلمات جدا. أساسا الجينوم المؤتلف والجينوم اثنين من الخصائص الفريدة مجتمعة.

يرتبط ارتباطا وثيقا طفرة الشفرة الوراثية، لأن المعلمات من الشبكة العصبية فقط إلى الحد الذي الطفرات الوراثية المشفرة التمثيل. ولذلك، فإن تعريف الطفرة الخوارزمية التطورية لديه الشروط الثلاثة التالية للأعصاب. 1، أي جزء من تحدث الطفرات الوراثية الترميز؟ الطوبوغرافية، الوزن، أو المعلمات المفرط؟ 2، وأجزاء مختارة من الجينوم تكون كم من الطفرة؟ على سبيل المثال، الخوارزمية التطورية العصبية يمكن استخدامها لأكبر انخفاض اللياقة البدنية الجينوم متحولة، وذلك باستخدام الصغير الأداء العالي الجينوم متحولة. 3، والطريقة التي اعتمدت الطفرات. يتم توجيه ذلك؟ أو عشوائي؟

الشكل 4: اتفاقية ضمانة الرسم

الجينوم المؤتلف متحولة لا، من خلال الابتكار واثنين من الجينوم الوالدين (الوالدين والجينوم) وخصائصه ملزمة فريدة من نوعها، وتوليد "جديد" ذرية الجينوم. إذا صممت بشكل صحيح أساليب المؤتلف، غير مدمرة ويمكن أن تنصهر فيها ميزات مفيدة اثنين الجينوم الوالدين، والذي هو انتشار بين السكان، وتحسين انطباق جميع الجينوم الموجودة.

المؤتلف أسلوب التصميم الأساسي هو حالة من "التكامل غير المدمرة"، وهذا هو، لا تفقد أي الصفات الوراثية من التكامل.

العصبية مثل خوارزمية التطورية السابقة، الخوارزمية NEAT (تطور من خلال تعزيز هيكل الشبكة العصبية (الشبكات العصبية المتطورة من خلال زيادة طبولوجيات)) يتم ترميز مباشرة باستخدام المعدلة خلال هيكل الشبكة، بما في ذلك إضافة إنشاؤها عند عقدة عقدة تقاطع أو ما شابه ذلك وعمليات الحذف الخسارة.

كما FIG اتفاقية (مشكلة المتنافسة-الاتفاقيات) هو مبين في الشكل المتنافسة. وفي وقت لاحق، اقترحت خوارزمية NEAT طريقة "علامة تاريخية"، والذي يوفر كل متحولة معرف فريد بحيث الجينوم المؤتلف في نهاية المطاف هو غير مدمرة، فمن الخوارزمية التطورية العصبية يوفر المعيار.

تقييم

في دورة التحسين الشاملة، على أساس المشكلة لتقييم الجينوم يبدو أن أسهل. ولكن هذه الخطوة هي في الواقع مهمة جدا، لا يمكن إلا أن نشير إلى التحسينات الممكنة والتقدم. التقييم هي في الأساس عملية على وشك أن يتم تعيينها إلى جينوم الشبكة العصبية التي كتبها الترميز المشاكل البيئية وراثية محددة وتطبيقها، ومن ثم حساب قيمة اللياقة البدنية بناء على أداء الشبكات العصبية. وتشمل عملية التقييم بعض خوارزمية العصبية التطورية أيضا خطوة إضافية من الترجيح الشبكة العصبية المدربين، على الرغم من أن هذا الأسلوب هو معقول جدا، ولكن فقط عندما البيئة الفعلية يمكن أن تعكس بوضوح المعلومات الأساسية لتكون مفيدة. في جميع مراحل عملية التقييم، يتم تحديد الرغم من اللياقة البدنية التي تعتمد كليا على الظروف محددة من المشاكل العملية، ولكن يمكن أن يكون تعديل معقول. على سبيل المثال، في دقة التعرف على الصور يمكن تعيين، يمكن تعيين اللعبة إلى عدد من النقاط. مفهوم مهم في تحديد حساب اللياقة البدنية، بحث الجدة هو أيضا حاجة للنظر فيها. وبسبب هذا مفهوم جديد يتعلق طريقة من الجينوم مكافأة، فمن الممكن أن يكون لها قيمة اللياقة البدنية العالية. على سبيل المثال، وكيل في بيئة لعبة فيديو الفعلية إذا دخول منطقة غير معروفة سوف تحصل على تعزيز اللياقة البدنية، وإن كانت أقل الدرجات التي تم الحصول عليها على وجه العموم، ولكن أيضا تعزيز الجينات الابتكار، وذلك لتعزيز تطور أكثر واعدة.

الانتقاء الطبيعي واختيار الوالدين

يتم تعريف (شبكة لى فنغ) على الرغم من تربية طرق لاستكشاف الفضاء بحث الطريقة. ولكن اختيار الجينوم والتي ستكون بمثابة نسل "الوالدين"؟ ما مكتبة جينية إزالتها من؟ تطور العصب هو جانب آخر مهم جدا من البرنامج.

نوع من العصبية التطورية خوارزمية يحدد الجينات التي يمكن باسم الجينات الأم. في تطور الجيل العصبي، واختيار للجيل القادم من الجينوم عادة تتلخص في تحديد الحالي الجينوم الأفضل أداء. كما يختار الآباء الجينوم ليس بالضرورة الجينوم مكملة إزالتها. تحديد الجينوم واعدة بما يكفي لضمان الابتكار طفرة المحتملة، على الرغم من أنه يمكن إزالتها في الجيل القادم.

خوارزمية التطورية القياسي العصبية التكوين هو اختيار 20 من الجينوم قبل استخدامها بوصفها الأم، والآخر في التكرار التالي سيزيل 90 في المئة من الجينوم أسوأ أداء. أيضا، وفقا لما إذا بين الأجيال خوارزمية تطورية باستخدام الأنواع تشكيل العصبية، فإن جينوم اختيار الوالدين أو إزالة تغييرات كبيرة تحدث المختارة. الأنواع الجيل شكلت هي أدوات تطور العصبية، وتتميز في هذا طوبولوجيا وفقا أوجه التشابه واضحة مثل النمط الظاهري في عدد من الأفراد معا، أو حققت وفقا لدولة معينة في بيئة حقيقية، أو ميزات أخرى خفية التجميع.

مجموعات المنتجة بعد جمع تعتبر الأنواع الأنواع توليد يعتمد على طريقة اختيار الأنواع، وعلى وجه التحديد، فإن عملية تربية عن طريق تعيين المزيد من نسل إلى ارتفاع متوسط لياقة بدنية للسيطرة على تطور الأنواع، مما أدى إلى "ممتاز جيل ". ومع ذلك، مصممة بشكل صحيح أنواع جديدة ولكن أيضا لابتكار حماية في الجينات، لأن بعض هذه الأنواع سوف تذهب على الجينات المهمة ذرية. ولذلك، فإن تصميم طريقة مناسبة من الجينات أنواع جديدة تحل مشكلة الفرد في عدد السكان عزل من مختلف الأنواع، يمكن أن يكون النهج التطوري العصبية في أداة قوية جدا، وهذه الطريقة يمكن أن تتطور إلى دليل التوجيه المفيد فقط، يمكنك أيضا حماية مسار جديد من الابتكار.

من ناحية أخرى، فإن تطور مشترك برنامج المنافسة (تنافسية مخطط تطور مشترك)، وعادة ما يقترن الجينوم بشكل عشوائي، والذي هو أكثر ملاءمة أو أكثر ابتكارا اختير ك "الأم" وإزالة البعض من الجينات. ونظرا للطبيعة غير متزامن تنافسية التطور المشترك، وليس في وقت واحد لجميع الفئات في تصنيف الجينات السكان والفرز، الأمر الذي يحد كثيرا من إمكانية استخدام طريقة لتوجيه تطور تشكيل الأنواع.

موجز لتطور الأعصاب

(لى فنغ شبكة) تطور العصبية هي طريقة لتحسين الشبكة العصبية الاصطناعية هو أداة متعددة الأغراض، لا يقتصر على تعلم الآلة، ويمكن أيضا أن تطبق على تحسين الرؤية الكمبيوتر، ومعالجة اللغة الطبيعية. وهناك الكثير من الأشياء في الاعتبار عند إنشاء خوارزمية التطورية العصبية، ولكن الشيء الأكثر أهمية هو أن معظم الاستخدام الفعال للبيئة المشاكل العملية.

دراسة تاريخية لتطور العصبي

الخوارزمية مختلفة من الشبكة العصبية التقليدية ناقشنا في وقت سابق، وسوف ليس فقط تدريب وتعديل قيمة الشبكة، فإنه سيتم أيضا تعديل مخطط الشبكة، بما في ذلك عقد جديدة والعقد الحذف وغيرها من العمليات.

ضياع NEAT ترميز مباشرة من طفرة وإعادة التركيب، مع حماية الابتكار التي شكلتها أنواع جديدة. بسبب قدرات البساطة وتزامنها، أنيق يمكن اعتبار نموذجية العصبية الخوارزمية التطورية.

1، A الزائدي القائم على ترميز لتطور الشبكات العصبية الكبيرة النطاق، 2009

HyperNEAT هو البديل من أنيق، وأنيق نفس المبدأ، لكنها تستخدم ترميز غير مباشر، ودعا نمط مركب شبكة الجيل (CPPNs). الشبكات العصبية تسمح CPPNs متناظرة والمتكررة، لا يعكس فقط أكثر دقة تركيبة الدماغ البشري، ولكن أيضا عن طريق تعيين لطوبولوجيا شبكة وهندسية والتطبيقات الهيكلية للاستفادة من المشاكل المتأصلة.

2، تطور الطرح وكثافة الخلايا العصبية في الركيزة HyperNEAT 2010

يمتد ES-HyperNEAT مزيد HyperNEAT، ويسمح الركيزة أكثر كثافة (أكثر كثافة الركيزة) في CPPN ترميز المعلومات وضع في المنطقة العليا. على الرغم من أن قرار HyperNEAT الخلايا العصبية حيث أن مكان تترك للمستخدم (المستخدم) مخفية، ولكن ES-HyperNEAT باستخدام هيكل شجرة رباعية لتحديد كثافة وموقع هذه العقد المخفية. يمكن ES-HyperNEAT المعايير الرئيسية يتفوق HyperNEAT التقليدية.

3، A Neuroevolution نهج للجنرال أتاري لعبة اللعب، 2014

حل 61 Atari2600 لعبة فيديو باستخدام CNE، CMA-ES، أنيق وHyperNEAT الخوارزمية، والتي تبين إمكانية التطور العصبي ألعاب الفيديو بشكل عام (GVGP) في. وعلى الرغم من نشر التطور العصبي في GVGPI قبل هذه الدراسة. تزامنا مع النتائج المتوقعة لأنها تظهر طريقة الترميز المباشر في حالة التعاقد يمثل أفضل ترميز غير مباشر يسمح التحجيم لتمثيل أبعاد أعلى.

4، DLNE: A التهجين التعلم العميق وneuroevolution عن المراقبة البصرية، 2017

عن طريق التطور العصبي والتعرف على الصور CNN جنبا إلى جنب، وقدم واحدة من أكثر استخدامات مثيرة للاهتمام من التطور العصبي. التعرف على الصور التي CNN، صورة المعترف بها إلى تمثيل الميزة، وصورة المعترف بها في تحسين التطور العصبي للشبكات العصبية. على الرغم من أن فعالية هذه الطريقة تعتمد إلى حد كبير على الخصائص النوعية ممثلة، ولكن حتى طريقة بسيطة يمكن أيضا أن يكون اتجاه الأبحاث واعدة.

5، واسع النطاق تطور المصنفات الصور، 2017

ورقة حول التغير الخوارزميات التطورية، بحيث يمكن استخدامها لNAS (العمارة بحث الشبكة العصبية) خوارزمية لحساب الموارد تطلبا. تبدأ خوارزميات من لا يملك أبسط نموذج بدأ أي التفاف على التطور، وقراءة الصحف قبل الفرق هو أن هناك لا ثابتة العصبي عمق الشبكة هندسة الشبكات (بمعنى فضاء البحث لمزيد من التوسع، طويل تشغيل الوقت).

هذا الأسلوب الآلي باستخدام نتائج عمق بنية الشبكة، وتمكنت من تحقيق نتائج مع شبكة مصممة بشكل مصطنع مقارنة عن CIFAR-10.

6، وتطور الشبكات العصبية العميقة، 2018

CoDeepNEAT خوارزمية آخذ في الارتفاع في السنوات الأخيرة بمد خوارزمية أنيق. وتعرف هذه الأطروحة DeepNEAT، أي يمثل بشكل غير مباشر على كامل الترميز طبقات الشبكة العصبية العميقة (بما في ذلك معايير فائقة، الخ) في شكل مدمج. ثم، وينظر الجينوم حدة DeepNEAT، وعدد وافر من وحدات التطور المشترك وتكرار مخطط، وهذه المخططات ويضم العديد من العقد، تتميز لافتا إلى عقدة معينة وحدة الشبكة العصبية. وبالإضافة إلى ذلك، هذه الشبكة على بيانات مؤشر يحدد CIFAR-10، أسفر عن نتائج جيدة.

7 النظامية تطور لصورة مصنف العمارة بحث، 2018

واحدة من السمات الهامة لهذه الورقة الخوارزمية التطورية هي استخدام شكل النظامية: مقارنة لإزالة أسوأ ما في الشبكة العصبية، أزالوا أقدم الشبكة العصبية (بغض النظر عن كيف جيدة). هذا يحسن متانة التغيرات التي تحدث عندما يتم تحسين هذه المهمة، وعلى الأرجح في نهاية المطاف إلى الحصول على الشبكة أكثر دقة. قد يكون أحد الأسباب يرجع إلى الوزن المسموح به أن يرث كل من الشبكة يجب تدريب من الصفر. لذلك، هذا الشكل من التنظيم لا يزال خيارا جيدا بعد إعادة شبكة القطار. وهذا يعني، أن تكون أكثر دقة النموذج هو فقط عن طريق الصدفة، هناك ضجيج في وسائل عملية التدريب أنه حتى لو كان بالضبط نفس دقة العمارة قد تكون مختلفة.

8، تصميم الشبكات العصبية من خلال Neuroevolution، 2019

هذا المقال هو استعراض لتطور التعاون ممتازة العصبية الحديثة في هذا المجال من قبل معظم أربعة باحثين الشهير موثقة. حتى لو أنها لا إدخال مفهوم جديد، ولكن ملخص ووصف كل جانب هام من جوانب تطور الأعصاب.

9 التطوري العصبية AutoML عن عميق التعلم، 2019

وتصف هذه الورقة تطور AutoML إطار قوي LEAF، والإطار روافع الخوارزمية التطورية CoDeepNEAT. على الرغم من أن الكتاب لم يكشف عن شفرة المصدر في ورقة، ولكنهم كانوا مناقشات مستفيضة على تصميمها وقدمت تعليقات قيمة.

وبالإضافة إلى ذلك، في المهام الطبية تصنيف الصور وتحليل اللغة الطبيعية في إطار تطور أداء AutoML تم تقييمها، وتجاوز النتائج النظم القائمة الأكثر تقدما واليدوية AutoML حلول الشبكات العصبية.