ارتفاع الفضاء
(جامعة نانجينغ للبريد والاتصالات السلكية واللاسلكية كلية الحاسب الآلي ونانجينغ 210003، الصين)
: BP الشبكة العصبية يستخدم حاليا على نطاق واسع، ولكن التقارب البطيء، ودقة التنبؤ ليست أوجه القصور عالية ولكن قد انتقدت، وبالتالي فإن استخدام طريقة زخما إضافيا وديناميكية طريقة معدل التعلم في الشبكة العصبية التقليدية BP، ومع اثنين والانصهار اقترح على أساس عامل حاد تحسين BP الشبكة العصبية تفعيل قابل للتعديل طريقة ظيفة. وظيفة غير الخطية المناسب على سبيل المثال، من المقارنة بين كل من معدل التقارب وتحسين تحليل دقة التنبؤ طريقتين، التجارب المقترحة تظهر تحسنا كبيرا BP العصبية سرعة تقارب الشبكات ودقة.
: BP الشبكة العصبية. إضافي المدى العزم، معدل التعلم الديناميكي، حادة عامل قابل للتعديل وظيفة تفعيل
: كود TP183 الوثيقة: ADOI: 10.19358 / j.issn.1674-7720.2017.06.017
شكل إشارة : ارتفاع BP طريقة الطيران لتحسين أداء الشبكات العصبية [J] ITS APPLICATIONS، 2017،36 (6): 53-57،61.
0 مقدمة
الشبكات العصبية الاصطناعية (الشبكات العصبية الاصطناعية، ANN) هو نوع من معالجة المعلومات من الخلايا العصبية في الدماغ البشري تقليد الشبكة، وتبسيط التجريد وبسيطة، وغير واقعي تماما للأنظمة الديناميكية غير الخطية وصفها. BP (العودة بالمعروف) الشبكة العصبية على بعد نشر قدما إشارة، متعدد الطبقات شبكة التغذية إلى الأمام من الخطأ مرة أخرى، نشر [1]، على BP العصبي هيكل نموذج الشبكة هو مبين في الشكل.
منذ شبكة بي بي العصبية ذات الخصائص على التكيف، و، في الوقت الحقيقي في تنظيم التعلم الذاتي، ويستخدم على نطاق واسع في التعرف على الأنماط، والتحكم الآلي، وتقدر التوقعات أن مجال معالجة الإشارات والنظم الخبيرة. ولكن بسبب حكم تعلم بها تقوم على خوارزمية أصل التدرج، لذلك سيكون هناك مثل هذا التقارب البطيء، ودقة التنبؤ ليست عالية، وليس الحد الأدنى العالمي (أي الوقوع في نقطة أدنى المحلية) وهلم جرا [2]. حتى أصبح كيفية تحسين فعالية BP الشبكة العصبية ما قيمته مسألة مهمة دراسة. وقد أظهرت الدراسات أن هناك العديد من العوامل التي تؤثر على أداء الشبكة العصبية BP، واستكشاف سبل تحسين BP الشبكة العصبية في العديد من الطرق التي لتوسيع.
تحسين الشبكة العصبية 1BP
1.1 طريقة زخما إضافيا
BP الشبكة العصبية من الأوزان السلبية تصحيح الاتجاه التدرج وعتبات للأخطاء الشبكة، وهذه العملية لا تعتبر الخبرة السابقة المتراكمة، مما تسبب في صدمة الاتجاهات والاحتمالات إلى الحد الأدنى المحلي [3]. اقترح ذلك باستخدام مصطلح زخما إضافيا، أي على يمين التيار خلال نشر الخطأ مرة أخرى من قيمة المرتبطة قيمة مبلغ إضافي قدره التغير في قيمة قبل اليمين. الأوزان زخما إضافيا المعادلة هي:
ث (ن) = ث (ن 1) + w (ن) + [ث (ن 1) -w (ن 2)] (1)
حيث، ث (ن)، ث (ن 1)، ث (ن 2) كل تمثيل ن، ن 1، ن 2 قيمة الوقت الصحيح، هو ممثل معدل التعلم من الزخم.
1.2 الحيوي تعلم طريقة تقييم
التقليدية BP الشبكة العصبية لاتخاذ ثابتة تعلم حال، عادة في حدود [0، 1]، إذا اختيار صغير جدا، وسوف تؤدي إلى التعلم لفترة طويلة جدا، وإذا اختيار كبيرة جدا، على الرغم من أنك يمكن تسريع معدل التعلم، ولكن سوف وتنتج عملية الوزن تعديل ظاهرة الصدمة، حتى أن الخطأ الكلي يصل إلى مستوى التوقعات.
من أجل تحسين المشاكل المذكورة أعلاه، وفقا للتدرج طريق الوصول النسب ومسننة نقطة كحد أدنى، وأبطأ من نقطة الحد الأدنى أقرب من الخصائص سرعة التقارب، ومعدل التعلم الديناميكي اقترح طريقة لتحقيق الغرض من تقصير وقت التدريب. خطوات محددة هي كما يلي: أولا، تعيين معدل التعلم الأولي [إيتا]، والوزن بعد التعديل يمكن أن تقلل من الاختيار الخطأ، إذا لم يتم تعيين نسبة التعلم صغيرة، فمن الضروري زيادة معدل التعلم [إيتا]، وإذا لم تقلل من الخطأ، ثم وصف التعديل المفرطة، الحاجة للحد من تعلم معدل. تعريف سوف تعلم صيغة تعديل ديناميكية معدل على النحو التالي:
(ن + 1) = 1.04 (ن)، ( + 1) < ()
0.6 (ن)، ( + 1) > 1.03 ()
(ن)، وإلا (2)
1.3 اختيار وظيفة تفعيل المناسبة
في الشبكة العصبية، ويستخدم وظيفة تنشيط الخلايا العصبية لأداء وظيفة رسم الخرائط المعقدة، والذي يحدد عقدة الانتاج الخلايا العصبية [4]. FESAURO G BP سرعة التقارب التي أشار إليها الشبكة العصبية يؤثر بشكل مباشر على وظيفة تفعيل [5].
دور في وظيفة تفعيل الغير خطية إدخال أساسا [6] الشبكة العصبية متعدد الطبقات. لأن التعبير النموذج الخطي يفتقر للغاية، إذا كانت الشبكة العصبية هي تركيبة خطية من عضو كامل الخطي، وإدخالها الإخراج، وليس له تأثير كبير طبقة مخفية، وهذا هو الأكثر بدائية المستقبلات (المستقبلات). غير الخطية الشبكات العصبية هي جوهر، وبمجرد أن إدخال غير الخطية، يمكن BP الشبكة العصبية تقارب أي وظيفة مستمرة على نحو فعال، يمكن أن تحل مشاكل غير الخطية لا يمكن حلها النموذج الخطي [7].
وظائف تفعيل الأكثر شيوعا هي السيني وظيفة الظل القطعي من نوعين.
(1) وظيفة السيني: والسيني وظيفة وظيفة الرسم البياني يعرف وظيفة الصورة على شكل النحو التالي: و (صافي) = 11 + البريد الصافية، التي هي وظيفة حقيقية للاختلاف يحدها، وقيمة الرقم من كل نقطة من الدليل هو دائما إيجابية العدد، وهو المشتقة: و '(صافي) = صافي ه (1 + صافي ه) (2). صورة وظيفة السيني وصورة المشتقة منه كما هو مبين في الشكل.
في نطاق محدود الانتاج، يتم تعيين قيمة المدخلات إلى ما بين 0 و 1، فمن الصعب أن تنتشر في عملية نقل البيانات. عندما يميل وظيفة إلى سلبية حد اللانهاية هو 0، تميل إلى ما لا نهاية وظيفة إيجابية عند الحد الأقصى هو 1. يمكن بسهولة دمج وظيفة السيني في الشبكات غير الخطية [8]. وظيفة السيني ولكن أيضا التاليين عيوب قاتلة أكثر:
يختفي التدرج عندما المشبعة. عندما صغيرة أو قيمة مساهمة كبيرة، التدرج وظيفة السيني من هذه المناطق هو ما يقرب من الصفر، أي يختفي التدرج. في حين لشبكة العصبية BP، إذا كان التدرج هو صغير جدا، فإن المبلغ من التعديل يؤدي إلى صغيرة أو الوزن هو ما يقرب من الصفر، مما أدى إلى شبكة كاملة من الصعب معرفة.
Sigmoid قيمة الانتاج وظيفة من لا صفر يعني. هذا يسبب طبقة الخلايا العصبية القادمة إشارة خرج من غير الصفر يعني كمدخل الطبقة الحالية. تخيل لو أن الخلايا العصبية إدخال البيانات هي دائما إيجابية، ثم نتائج التدرج سيكون رقم موجب مستمر، ومن جيل من التعرجات التي تسببها التقارب البطيء.
(2) وظيفة الظل القطعي: المعروف أيضا باسم ظيفة تانه، والتي يمكن التعبير عن وظائف على النحو التالي: و (صافي) = 21 + ه-2net-1، وهي مشتقة: و '(صافي) = 1-و (صافي) 2 . صورة وظيفة تان وصورة المشتقة منه كما هو مبين في الشكل. تعيين قيم الإدخال قد تكون بين 1 و 1، والصورة من خلال أصل ومن خلال I، III رباعي، وظيفة تان هي وظيفة بدقة رتيب زيادة. عندما يميل وظيفة الحد إلى ما لا نهاية ناقص -1، تميل إلى ما لا نهاية وظيفة عند الحد إيجابي من 1 [9]. تان السيني وظيفة الانتاج وظيفة لغير صفرية قيمة متوسط من التحسن الذي حدث، ولكن المشكلة التشبع قائما يختفي التدرج [10].
وعلى سبيل المقارنة السيني وظيفة وأداء وظيفة تانه وظيفة تفعيل لمشاكل غير الخطية الكلاسيكية - مشكلة XOR (XOR) كمواضيع البحوث، على التوالي، في اثنين بوصفها وظيفة من وظيفة التنشيط، عدد أقصى من التدريب إلى 1000 مرة، والتدريب يتوقع مربع الخطأ (MSE) دقة يعني من 1 إلى 0000، وعدد التكرارات تانه السيني على سبيل المثال هو مبين في الجدول 1. المقارنة وظيفة تفعيل SigmoidTanhMSE 1Sigmoid دقة وعدد التكرارات في الجدول 1 تانه 0.00010.0000.0000945460.000 الفعلية دقة MSE 091367 التكرارات 10720
الجدول 1 أن، بوصفها وظيفة من معدل التقارب تان شبكة وظيفة تفعيل BP لأن سرعة التقارب هو أفضل من السيني وظيفة التنشيط، وهي عبارة عن خمسة أضعاف أداء السيني.
1.4 تحسين وظيفة التنشيط
غير الخطية التقليدية BP الشبكة العصبية، إلا أن الأوزان الاتصال بين الخلايا العصبية والتأثير على وظيفة عتبة تفعيل هو قابل للتعديل، والثابتة وظيفة التنشيط، بحيث يقيد الشبكة العصبية BP رسم القدرة، مما يؤثر على دقة وسرعة التقارب [11]. من أجل تحسين المشاكل المذكورة أعلاه، والباحثين اقترح على تحسين وظيفة السيني [12] عن الوضع الرأسي والأفقي، ولكن وفقا لما سبق يمكن أن يعرف بوصفها وظيفة من وظيفة تنشيط وظيفة تانه السيني متفوقة، BP الشبكة العصبية تعلم حكم يقوم على أصل التدرج القانون الخصائص في واقع الأمر يرتبط بشكل وثيق مع تفعيل أداء وظيفة وظيفة من درجة استنتاجات حادة [1314]، في نفس الوقت من أجل تحسين الشبكة العصبية BP، ليست هناك حاجة لتصبح أكثر تعقيدا. وظيفة تانه قابل للتعديل على أساس الأفكار المذكورة أعلاه في هذه الورقة يتبع عامل شكل المعلمات حاد:
و (صافي) 21 = + الإلكترونية 2x-1 (3)
حيث، [ألفا] عامل الحاد الذي يحدد شدة الانحدار وظيفة. هنا XJ ي المدخلات الليمفاوية التمثيلي للطبقة المدخلات، ويفترض طبقة الإدخال أن هناك عقد م، ثم ي = 1، ...، م؛ wji بين طبقة ي-ث عقدة الإدخال إلى طبقة مخفية متصل عقدة ط الوزن، i يمثل عتبة مخفي عقدة طبقة ط؛ وF1 (شبكة 1) لتنشيط وظيفة من طبقة مخفية، حيث يتم إخفاء وظيفة تنشيط طبقة ويمكن تعديل ألفا] ل عامل حاد، فوز ممثل العقدة طبقة مخفية i وطبقة الانتاج الأوزان اتصال بين ن عشر عقدة، على افتراض وجود العقد طبقة ف خفية، ثم n = 1، ...، ف، تمثل n قيمة عتبة طبقة إخراج العقد ن، F2 (2net) لوظيفة الانتاج تنشيط طبقة، 2 هي طبقة الانتاج يمكن تعديلها حاد عامل وظيفة تفعيل، بل على ويمثل انتاج ن عشر عقدة من طبقة الإخراج، يفترض طبقة الانتاج ل أن وجود العقد، ن = 1، ...، ل.
وفقا لأحكام المذكورة أعلاه، وانتشار الشبكة العصبية إلى الأمام بعد BP تعديلها ل:
إدخال ط عشر عقدة طبقة خفية هي:
نيتي = wjixj-i (4)
مخفي عقدة الانتاج طبقة يرمز ط على النحو التالي:
يي = F1 (1neti) = F1 (1mi = 1wjixj-i) (5)
المدخلات والمخرجات العقد من طبقة ن عشر هي:
netn = = qn 1winyi-i = = qn 1winf1 (1mi = 1wjixj-i) -i (6)
ثم، يمكن أن تكون ممثلة وقيمة الانتاج من أول العقد طبقة الناتج ن في الشكل التالي:
على = F2 (2netn) = F2 (2qn = 1winyi-i) = = f2qn 1winf1 (1mi = 1wjixj-i) -i (7)
BP خطأ في الشبكة العصبية الخلفية نشر تحسنت بعد العملية كما يلي:
كل عينة ص الخطأ من الدرجة الثانية وظيفة المعيار:
الجيش الشعبي = 12ln = 1 (تينيسي على) 2 (8)
قدم نظام ما مجموعه P عدد العينات التدريب، ومجموع ظيفة معيار الخطأ النظام هو:
E = = 12Pp 1ln = 1 (تينيسي على) 2 (9)
وفقا لمبدأ العودة انتشار الشبكة العصبية BP، من أجل تحسين الأوزان الاتصال بحيث أن اتجاه التدرج أصل E، فمن الضرورة تحسب بالتسلسل win، wji، 2، 1، يمكن حساب القيم باستخدام الصيغة التالية المطلوبة، وهو عامل كسب.
BP انتاج طبقة أوزان الشبكة العصبية بعد التعديل لتحسين الصيغة:
تحسين BP الشبكة العصبية الخفية طبقة بعد الصيغة تعديل الوزن:
BP تحسنت العصبية طبقة انتاج الشبكة بعد صيغة تعديل عامل حاد وظيفة التنشيط:
BP طبقة خفية الشبكة العصبية بعد عامل تعديل صيغة تحسن حاد وظيفة التنشيط:
ويمكن الحصول على طريقة الاشتقاق:
بعد الانتهاء، وأخيرا الحصول على الصيغة التالية:
وأخيرا، المحدثة القيمة المحسوبة في الصيغة التالية، حيث t يمثل كل مرة:
فوز (ر + 1) = فوز (ر) + win (17)
wji (ر + 1) = wji (ر) + wji (18)
2 (ر + 1) = 2 (ر) + 2 (19)
1 (ر + 1) = 1 (ر) + 1 (20)
النتائج والتحليل
من أجل التحقق من أداء تحسنت بعد الشبكة العصبية BP، وذلك باستخدام أداة MATLAB وظيفة غير الخطية ض = X2 + Y2 المناسب، تم اختيارها عشوائيا من مجموعة 1700 بيانات المدخلات والمخرجات وضع 1800 كبيانات لتدريب الشبكة العصبية BP التدريب، وتناسب أداء المجموعات المتبقية 100 [15] كما استخدمت بيانات الاختبار لاختبار الشبكة.
تان يعملون على التوالي بوصفها وظيفة من وظيفة تفعيل فضلا عن BP طريقة الشبكة العصبية التقليدية باستخدام معدل التعلم زخما إضافيا المدى المعلمات قابل للتعديل حيوي وظيفة تفعيل طريقة تان الجمع بين تحسين خوارزمية لتدريب الشبكة، وتمت مقارنة النتائج النهائية للطريقتين تحليل.
2.1 شبكة تهيئة
مصممة العقد طبقة الخلايا العصبية مساهمة في شبكة مرحلة التهيئة عدد ني، عدد العقد من الخلايا العصبية طبقة الإخراج لا، وعدد من الخلايا العصبية طبقة مخفية عقدة نيو هامبشاير. ووفقا لسمة من سمات تناسب وظيفة غير الخطية المطلوبة، وعدد من الخلايا العصبية في العقدة طبقة المدخلات ومن المقرر ني إلى 2، يتم تعيين عدد من طبقة انتاج عنصر العصبي اللا عقدة إلى 1، ويمكن الحصول على عدد من الخلايا العصبية في العقد طبقة مخفية وفقا للصيغة نيو هامبشاير :
نيو هامبشاير = ني + لا + ل
حيث A هو ثابت بين 0 و 10. وفقا لإعداد أعلاه، وعدد من الخلايا العصبية في طبقة العقد مدخلات النهائي BP هيكل الشبكة العصبية 2، وعدد من الخلايا العصبية في طبقة خفية من 10 نقاط، وعدد من الخلايا العصبية في طبقة الإنتاج الليمفاوية 1. بعد ذلك، من الضروري تهيئة معلمات الشبكة العشوائية: الأوزان اتصال (-0.5،0.5)؛ قيمة عتبة (-0.5،0.5)؛ عامل حاد (0.7،1.5).
2.2 تجهيزها البيانات
بعد المعلمات تهيئة عشوائيا، ضرورة أن يعامل هي مدخلات لينفذ شبكة البيانات عملية التطبيع التي يمكن أن تقلل من حجم الفرق بين البيانات الأبعاد منها، وذلك لتجنب كمدخل وإخراج البيانات من حجم الخلافات الكبيرة الناجمة عن شبكة التقارب البطيء، ووقت التدريب الطويل السؤال.
كود MATLAB المقابلة تطبيع على النحو التالي:
[Inputn، inputps] = mapminmax (input_train)؛
[Outputn، outputps] = mapminmax (output_train)؛
2.3 اختبار المقارن
BP الشبكة العصبية التقليدية، وطريقة استخدام نسبة اضافية الزخم على المدى التعلم والمعلمات قابل للتعديل وظيفة تفعيل دينامية تانه طرق ملزم تم تحسين شبكة التدريب، وتدريب القيمة المحددة الهدف من الخطأ مربع يعني من 0.000 و0.00001001، والحد الأقصى تم تعيين عدد التكرارات إلى 10000 مرات.
وأخيرا، تم اختبار 100 مجموعة من البيانات لعدد مرات التكرار والخطأ المناسب دقة الجانبين لتحليل أداء الشبكة العصبية التقليدية BP وتحسنت BP الشبكة العصبية مع النتائج التالية.
من تحليلات عدد التكرارات، كما هو مبين في الشكل. 4 وFIG. 5، عندما يكون النظام المستهدف 01 وضبط 0.000 الخطأ مربع ل، التقليدية BP الشبكة العصبية 70 الروافد الأوقات دقة التكرار المطلوب، وBP الشبكة العصبية إلا بعد الحاجة للتحسين تكرارية 33 يمكن تحقيق هذه الدقة.
عندما يكون النظام المستهدف 0010،000 مربع الخطأ نفسه، كما هو مبين في الشكل 6 و 7، والدقة التقليدية BP الشبكة العصبية 193 لاستكمال التكرار، وعلى النقيض محسنة BP الشبكة العصبية فقط 72 مرات لتخفيف تكرارا وصلت إلى متوسط دقة خطأ المربعة.
ثم، وتعلم لتحليل من حيث الدقة. نظرا لضيق المكان، من 100 بيانات الاختبار في الخروج عشوائية من 10 البيانات كما العينة، والهدف يعني دقة خطأ مربع من 0.00001 عندما أحالت القيمة المتوقعة للشبكة العصبية BP التقليدية وA1، BP الشبكة العصبية مذكرة تحسنت كما A2، و استهداف مربع الخطأ نفسه عندما دقة التنبؤ 0010.000 القيم الشبكة العصبية التقليدية BP يشار إلى B1، وتحسين BP الشبكة العصبية يشار إلى B2، فإن النتائج الواردة في الجدول 2. من الجدول رقم 2 يمكن ملاحظتها بعد تحسن بالمقارنة مع الشبكة العصبية التقليدية BP في العصبية دقة التعلم شبكة لديها أيضا تحسنا أكثر أهمية.
3 الخاتمة
أبطأ، دقة التنبؤ ليست عالية لالتقليدية سرعة التقارب BP الشبكة العصبية، بسهولة إلى الحرمان نقطة الحد الأدنى المحلية، وهذا يعرض ورقة وسيلة لقيمة تغير الزخم على المدى تجانس القيمة وزنا إضافيا وطريقة ديناميكية، والمعلمات عامل حاد معدل التعلم تحسين أساليب الجمع بين وظائف نقل تفعيلها، وتم مقارنتها إلى وظيفة غير الخطية المجهزة لالتجريبية والشبكة العصبية التقليدية BP، هنا يتظاهرون تحسين BP الشبكة العصبية لديه سرعة أسرع التقارب وأعلى قدر من الدقة.
مراجع
. [1] تشو تشى هوا، شبكة تساو كعب العصبية وتطبيقاتها [M] بكين: مطبعة جامعة تسينغهوا، 2004.
[2] ABRAHAM A. ميتا التعلم التطورية الشبكات العصبية artificial [J] Neurocomputing، 2004، 56 :. 1-38.
[3] تشانغ يو سميكة، ومنحني لو، Chenjun وى، وغيرها من المدخلات الإثارة وظيفة السيني أوزان الشبكة العصبية وطريقة تحديد هيكل [J] بحوث الحاسب، 2012، 29 (11): 4113-4151.
. [4] وو Ailong والاستقرار تسنغ تشى قانغ العالمية الأسي في المعنى لاغرانج للشبكات العصبية دورية مع وظائف مختلفة تفعيل [J] Neurocomputing، 2011، 74 (5) :. 831-837.
[5] دبس K، KOENIG A، وظائف نقل GROSS H M. في العصبية الاصطناعية networksa simulationbased تعليمي [J]. أدمغة والعقول وسائل الإعلام، لعام 2005 (1).
[6] MHASKAR H N، MICCHELLI C A. كيفية اختيار وظيفة تفعيل [J] التقدم في العصبية أنظمة معالجة المعلومات، 1994 :. 319.
[7] GULCEHRE C، MOCZULSKI M، DENIL M، وآخرون صاخبة وظائف تفعيل [J] أرخايف ورقة أرخايف: .. +1603.00391، 2016.
[8] وانغ Xueguang قوه Yanbing، تشى Zhanqing وتأثير المحاكاة على أداء الشبكة وظيفة تفعيل BP [J] تقنية أتمتة والتطبيقات، 2002، 21 (4): 15-17.
