الأصلي العصبية NETWORK ZOO، اسيموف من معهد الذكاء الاصطناعي.
نيو هندسة الشبكات العصبية تستمر في الظهور، فمن الصعب فهم أحد عشر. حتى لو كان مجرد بداية لنتذكر جميعا القصير (DCIGN، BiLSTM، DCGAN)، فهو يجعل الطلاب أكثر من اللازم.
لذلك قررت أن أكتب مقالا لخص الاستقراء، ومجموعة متنوعة من بنية الشبكة العصبية. معظمهم من الشبكات العصبية، وبعضها بنية مختلفة تماما. في حين أن جميع هياكل جديدة وفريدة من نوعها لأقول ذلك، ولكن عندما رسم مخطط هيكل نقطة تقاطع ...... الصلة الجوهرية بينهما يبدو أكثر إثارة للاهتمام.
جدول ملخص
13
إزالة التفاف شبكة (DN) المعروف أيضا باسم شبكة FIG العكسية (IGN)، بل هو انعكاس لشبكة عصبونية التفافية. لالكستناء: نوع "القط" هي الكلمة، والشبكة التي تم إنشاؤها عن طريق مقارنة الصورة الحقيقية والقطط لتدريب الشبكة، وشبكة تنتج صورة أشبه القط. DN التي يمكن دمجها مع FFNN التقليدية مثل CNN، لذلك تحتاج إلى إعطائها "اختصار" الجديد لل. ودعا "شبكة إزالة التفاف العميقة" ربما مجدية، ولكن هل يمكن القول أنه عندما تتصل DN على التوالي إلى الأمام أو الخلف، يجب عليك استخدام اسمين مختلفين للإشارة إلى FFNN.
في معظم التطبيقات، وشبكة المدخلات فئة المعلومات ولكن ليس ناقل ثنائي يستند إلى نص. كما أعرب عن القطط والكلاب تعبر عن والقطط والكلاب صريحة. في DN، CNN طبقة عينة مماثلة مشتركة عملية استبدال العكسية، لا سيما عند تصنيع الاستيفاء والاستقراء الفردية، وما إلى ذلك وجود فرضيات الإزاحة (إذا، يمكن القيام العملية العكسية مستوى أخذ العينات باستخدام أقصى أخذ العينات بعض أصغر من قيمة الحد الأقصى من البيانات الجديدة.)
زيلر، ماثيو D.، وآخرون. "شبكات Deconvolutional." رؤية الحاسوب والتعرف على الأنماط (CVPR) 2010 مؤتمر IEEE جرا. IEEE 2010.
14
FIG التفاف عكسي شبكة عمق (DCIGN) أسماء مضللة إلى حد ما، هو في الواقع تباين autocoder (من VAE)، على التوالي، ولكن كما CNN التشفير، فك لDN. DCIGN عند محاولة ترميز "التوقيع" مع نموذج الاحتمالات، بحيث حتى لو كان فقط هو علم مجرد صورة الحزب الواحد الذي لديه كلب أو قطة، كما يمكن أن تتعلم لإنتاج صور القطط والكلاب تتعايش. إذا كانت الصورة في كل من القطط والكلاب قطعة سيئة من جار آخر، يمكنك وضع الصور في الشبكة، وبالتالي فإن الشبكة اختيار تلقائيا الكلب، دون الحاجة إلى عمليات إضافية. يظهر برنامج التظاهرة أن الشبكة يمكن أن تتعلم أن تفعل التحولات المعقدة للصورة، مثل التغيرات في مصدر الضوء وتدوير وجوه 3D. شبكة العودة انتشار عادة ما تستخدم لقطارات.
كولكارني، تيجاس D.، وآخرون. "التلافيف ديب شبكة الرسومات عكسية." التقدم في العصبية أنظمة معالجة المعلومات. 2015.
15
توليد المواجهة شبكة (GAN) مصدر آخر للشبكة، التي يتم تشغيلها من قبل اثنين من أزواج من الشبكات التعاونية. شبكة GAN بأي اثنين من التراكيب (ولكن عادة ما تكون مزيجا من FFNN وCNN)، لتوليد، والآخر للتمييز. أدخل الشبكة هو تحديد بيانات التدريب أو توليد أنتجت شبكة المحتوى قدرته على التمييز بشكل صحيح تشكل مصادر البيانات جزء من مستوى أداء خطأ في الشبكة يتم إنشاؤها. وهذا يخلق نوعا من المنافسة: الممي يتحسن في تمييز البيانات الحقيقية وتوليد البيانات في نفس الوقت مولد التعلم المستمر بحيث التمييز الصعب التمييز. في بعض الأحيان، كانت هذه الآلية نتائج جيدة، لأنه حتى معقدة جدا نمط الضوضاء الدرجة يمكن التنبؤ بها في نهاية المطاف، ولكن على غرار إدخال البيانات لتوليد البيانات مميزة أكثر صعوبة للتمييز. GAN من الصعب تدريب - تحتاج فقط إلى تدريب شبكتين (قد تكون لديهم مشاكلهم الخاصة)، ولكن أيضا على توازن جيد بين الوضع دينامية بهم. إذا كان أحد التنبؤ أو توليد أقوى من الآخر، من شأنه أن GAN لا تتلاقى، تتباعد ولكن مباشرة بها.
غودفلوو، إيان، وآخرون. "شبكات التوليدية عدائية." التقدم في العصبية أنظمة معالجة المعلومات. 2014.
16
المتكررة الشبكة العصبية (RNN) ومن FFNN مع "عقدة الوقت". RNN ليس عديمي الجنسية ، والعلاقة بين كل من طبقة موجودة، وقت الاتصال موجود أيضا. الخلايا العصبية إدخال المعلومات القادمة فقط من الطبقة العليا، وأيضا أثناء نقل السابق من ولاية العصبية نفسها. وهذا يعني أن الشبكة ترتيب المدخلات والقطار أمر بالغ الأهمية: أولا إدخال "الحليب"، ثم أدخل "الكوكيز" ودخول "كوكي" إعادة إدخال "الحليب" سوف تحصل على نتائج مختلفة. RNN مشكلة كبيرة، استخدم وظيفة تفعيل مختلفة يسبب كل التدرج نشر أو انفجار، الأمر الذي سيسمح الفقدان السريع للتغيرات المعلومات مع مرور الوقت، مثلما هو الحال في FFNN العميق مع زيادة العمق في فقدان نفسه. للوهلة الأولى يبدو ليست مشكلة كبيرة، لأن هذه المعلومات ليست سوى الوزن وحالة الخلايا العصبية.
ومع ذلك، أوزان مختلفة في الوقت الفعلي تخزين المعلومات من الماضي، وإذا كان الوزن يصبح 0 أو 1 مليون نسمة، لا يهم الدولة من قبل. بصفة عامة، RNN يمكن استخدامها في العديد من المجالات. على الرغم من أن معظم البيانات لا وجود لها في شكل الصوت، والجدول الزمني الفيديو أو ما شابه ذلك، ولكن قد تمثيلهم في شكل تسلسل. تسلسل الصور من الكلمات قد تكون مدخلا في كل مرة وضع بكسل، والشخصيات، لذلك أن الوقت لا علاقة لها وزن تحدث حالة من الثواني س الأولى، ولكن بدلا من ذلك على تسلسل حالة سابقة. في العام، وحسن التوقع شبكة دورة والمعلومات الانتهاء، مثل يمكن استخدامها لإكمال تلقائي.
"عديمي الجنسية (البدون)"، بمعنى "يتم تحديد الناتج إلا من خلال إدخال الوقت الحالي." كجزء من دولة قبل إدخال RNN "الذاكرة"، لذلك "جليل (جليل)." - الشرح.
"هيكل الحقائق في الوقت المناسب." علمان، جيفري L. العلوم المعرفية 14.2 (1990): 179-211.
17
عندما يكون طول الذاكرة (LSTM) محاولات شبكة لمكافحة التدرج مشكلة نشر / انفجار من خلال إدخال "بوابة" وحدة الذاكرة واضحة المعالم. علم الأحياء مقارنة، فإنه هو أكثر مصدر إلهام لتعلم الدائرة. كل الخلايا العصبية لديها وحدة الذاكرة والمدخلات، والمخرجات، ثلاثة أبواب النسيان. ويتحقق بوابة تأثير عن طريق منع حماية المعلومات ويسمح تدفق المعلومات. بوابة الإدخال يحدد مقدار الطبقة السابقة من المعلومات التي يمكن تخزينها في الخلية الحالية، والطرف الآخر من طبقة بوابة الانتاج يحدد كم من المعلومات يمكن الحصول عليها في الخلية الحالية، باب نسي أول وهلة غريبا، ولكن "المنسية" لديها هذا هو الوقت المناسب - مثل تدرس الكتاب، ثم بدأ فصل جديد، وهذه المرة الشبكة قد نسوا بعض الكلمات تعلمت في الفصل الأخير. LSTM يمكن معرفة تسلسل معقدة، مثل شكسبير الكتابة، وخلق موسيقى جديدة. لأن كل باب على حق الخلايا العصبية لديها وزن تشغيل الشبكة يتطلب المزيد من الموارد.
. Hochreiter، سيب، ويورغن شمدهوبر "الذاكرة على المدى القصير لونغ." العصبية حساب 9.8 (1997): 1735-1780.
18
المحاصرة وحدة تداول (GRU) تغير يذكر عن LSTM القادمة. GRU الحد بوابة، كما غيرت إتصال: تحديث الباب المستبدل المدخلات والمخرجات، بوابة النسيان. يتم الاحتفاظ تحديث البوابة قرار من الطبقة السابقة وحالة الشبكة، على التوالي، وعدد من تدفق المعلومات، بوابة إعادة تعيين مثل LSTM بوابة النسيان، ولكن تغيير طفيف في الموقف. GRU سيوجه كل دولة الصادرة بدلا من الانتاج الاضافي من خلال البوابة. عادة، GRU وLSTM وظيفة قريبة، وأكبر الفرق هو أن، GRU أسرع وأسهل للتشغيل (ولكن المهارات الضعيفة). في الأداء التشغيلي الممارسات والمهارات قد يلغي كل منهما من الآخر: عند تشغيل شبكة أكبر للحصول على المزيد من المهارات، سيتم قمعها مزايا الأداء التشغيلي. وعندما لا مهارات إضافية، والأداء GRU على مدى LSTM.
. تشونغ، Junyoung، وآخرون "تقييم ميدانية الشبكات العصبية المتكررة بوابات على تسلسل النمذجة." أرخايف ورقة أرخايف: 1412.3555 (2014).
19
آلة تورينج العصبية (NTM) ويمكن أن يفهم على أنه شكل من اشكال مجردة من LSTM. يحاول الشبكات العصبية "إلى الصندوق الأسود" وحتى يتسنى لنا فهم جزء من ما يحدث داخل الشبكة العصبية. على عكس وحدة الذاكرة ترميز مباشرة إلى الخلايا العصبية، ويفصل ذكريات NTM. NTM أراد التخزين الرقمي التقليدي التعبير المستمر والفعال ملزمة، وكفاءة الشبكات العصبية معا، يتم التفكير في أن إنشاء فريق عنونة الذاكرة المحتوى، وهذه الذاكرة يمكن قراءة مجموعة الشبكة العصبية. "آلة تورينج العصبي" في "تورينج" هو أنه تورنج الكامل: القدرة على القراءة والكتابة والقراءة وتغيير حالة على أساس المحتوى. قال ذلك، فإنه يمكن التعبير عن كل ما بوسعها للتعبير عن آلة تورينج العالمية.
. القبور، أليكس، جريج واين، وإيفو Danihelka "العصبية آلات تورينج". أرخايف ورقة أرخايف: 1410.5401 (2014).
20
في اتجاهين شبكة ركوب الدراجات، في اتجاهين واتجاهين وحدة دورة النابضة الذاكرة طول الشبكة (BiRNN، BiLSTM وBiGRU) يبدو تماما بنفس الطريقة مع شكلها، لا يتم استخلاصها من ذلك. والفرق هو أن هذه الشبكات ليست مرتبطة فقط مع الدولة من الماضي، ويرتبط أيضا إلى دولة المستقبل. على سبيل المثال، لإفساح المجال LSTM قبل إدخال بالتتابع في شكل رسائل من التدريب، للتنبؤ كلمة "الأسماك"، وهذه المرة ربط حلقة على جدول زمني لتذكر القيمة قبل الدولة. في اتجاهين LSTM عندما ستستمر على القيم تمريرة عكسية للحصول على التسلسل التالي من الرسائل التي تحصل على المعلومات المستقبل. هذه الشبكة الكنيسة لملء الفراغ، بدلا من المعلومات التنبؤ - أنها لا تمتد إلى حافة الصورة، ولكن جوفاء مليئة الصور.
شوستر، مايك، وكولديب K. باليوال "ثنائي الاتجاه تكرر ذكر الشبكات العصبية." المعاملات IEEE على معالجة الإشارات 45.11 (1997) :. 2673-2681.
21
عمق الشبكة المتبقية (DRN) ويستند FFNN طبقة عميقة من قبل طبقة على اتصال مع اتصال بين طبقات إضافية (عادة 2-5 تباعد) من. على عكس DRN الشبكات التقليدية، والسعي إلى حل للمساهمة في العلاقة رسم الخرائط تنتقل إلى الإخراج من خلال شبكة متعددة الطبقات، وأضيف حل لها هوية قليلا، أي مدخلات الضحلة مباشرة إلى قسم أعمق. تبين التجارب أن وDRN تعلم بكفاءة طبقة الشبكة عميقة 150، وهو ما يتجاوز بكثير من أداء التقليدية 2-5 طبقات من شبكة بسيطة. ومع ذلك، ثبت، DRN في الواقع لم يكن لديك الوقت RNN هيكل واضح، فإنه غالبا ما لا LSTM القياس وحدة الباب.
و، Kaiming، وآخرون "التعلم المتبقية العميق للاعتراف صورة". أرخايف ورقة أرخايف :. +1512.03385 (2015).
22
ESN هو (ESN) هي شبكة دورة أخرى. وخلافا للشبكات العامة هو أن الاتصال بين الخلايا العصبية ESN هو عشوائي (وهذا هو، لا طبقة أنيق - شكل طبقة)، وبطبيعة الحال إجراء التدريب المختلفة. قبل إدخال البيانات، لا شيء، الخطأ مرة أخرى، نشر لا يمكن استخدامها، ونحن بحاجة إلى إدخال البيانات إلى الجبهة، في حين أن وحدة إعادة التحديث، وما إلى ذلك، والانتظار لفترة أطول قليلا، خرج المراقبة الماضي. مقارنة مع الشبكة العصبية العامة، ESN المدخلات والمخرجات طبقة الأدوار كان تغييرا كبيرا - المعلومات لتجميع طبقة المدخلات إلى مخرجات طبقة الشبكة لاحظت مع مرور الوقت توسعت الدولة وضع النشطة. تدريب، يتم تغيير سوى الاتصال بين طبقة الانتاج وجزء طبقة مخفية.
جايجر، هربرت، وهارالد هاس "تسخير استقامة: توقع نظم الفوضى والموفرة للطاقة في الاتصالات اللاسلكية". العلوم 304.5667 (2004): 78-80.
23
المدقع آلة التعلم (ELM) FFNN إلى حد كبير مرتبطة بشكل عشوائي. يشبه LSM وESN، ولكن لا تداول ELM، ولا هو نابض. ELM لم يكن لديك العودة نشر، ولكن يتم تهيئة الأوزان إلى عشوائي، ومن ثم تناسب المربعات الصغرى (وظيفة خطأ الحد الأدنى في جميع)، خطوة لاستكمال التدريب. وهكذا حصلت هو تعبير أضعف، ولكن بشكل أسرع بكثير من الشبكة العصبية الظهر نشر.
كامبريا، إريك، وآخرون. "آلات التعلم المتطرفة "IEEE الأنظمة الذكية 28.6 (2013): 30-59.
24
آلة الحالة السائلة (LSM) مقارنة مع ESN مثل، إلا أن النبض هو نوع شبكات LSM العصبية: وظائف تفعيل السيني استبدال وظيفة عتبة، كل الخلايا العصبية هي خلية ذاكرة تراكمية. تحديث لذلك الخلايا العصبية، والقيمة، وليس متصلا الخلايا العصبية، ولكن تراكم نفسها، بمجرد الوصول إلى العتبة الافراج عن الطاقة طرحه للالخلايا العصبية الأخرى. وهذا يخلق شبكة نابض - يتجاوز عتبة، فإن الدولة سوف تتغير.
ماس، وولفغانغ، توماس Natschlger، وهنري ماركرام "في الوقت الحقيقي الحوسبة دون دول مستقرة :. إطار جديد للحساب العصبي على أساس الاضطرابات" العصبية حساب 14.11 (2002): 2531-2560.
25
آلة الدعم الموجه (SVM) إيجاد الحل الأمثل للتصنيف. SVM يمكن فقط معالجة البيانات في البداية فصله خطيا، قرر هذا غارفيلد الذي الصورة التي صور سنوبي، دون القضايا الأخرى. التدريب SVM يمكن فهم: جميع البيانات (مثل غارفيلد وسنوبي) على (2D) خريطة مرسومة، لإيجاد طرق في وسط نوعين من البيانات لرسم الخط، هذا الخط يفصل منطقة البيانات، وهذا هو كل سنوبي هنا، كل من غارفيلد على الجانب الآخر. هذا الفاصل الزمني والخطوط الفاصلة لإيجاد الحل الأمثل من خلال تعظيم كلا الجانبين من نقاط البيانات. متى تصنيف البيانات الجديدة، طالما يتم رسم البيانات على الرسم البياني، نظرة على هذا الجانب من على الانترنت على ما يرام. ويمكن تصنيف طريقة استخدام البيانات النووية ن الأبعاد، والوقت اللازم في رقط في FIG ثلاثة، يمكن تمييزها بحيث SVM سنوبي، غارفيلد، و- على سبيل المثال سيمون القط - أو أبعاد أعلى، والمزيد من الكرتون فئة الصورة. أحيانا الناس لا تضع SVM كشبكة العصبية.
كورتيس، كورينا، وفلاديمير فابنيك "شبكات دعم ناقلات." تعلم آلة 20.3 (1995) :. 273-297.
26
وأخيرا، شبكة Kohonen (KN، كما دعا التنظيم الذاتي (سمة) من FIG، SOM، SOFM) . KN التعلم التنافسي لاستخدام البيانات تصنيف غير خاضعة للرقابة. بعد إدخال البيانات، وشبكة مطابقة لأعلى درجة من الخلايا العصبية المدخلات التي سوف تقيم وصقل القيام به لمواصلة تحسين مطابقة ويحركها ببطء قرب التغيرات العصبية الأخرى. يتم تغيير الخلايا العصبية القرب، من خلال المسافة بين أعلى درجة من الوحدة مطابقة يحدد لاحقا. في بعض الأحيان لا يعتبر Kohonen كشبكة العصبية.
"تشكيل تنظيم الذاتي للخرائط ميزة الصحيحة طبوغرافيا". Kohonen، Teuvo علم التحكم الآلي البيولوجية 43.1 (1982) :. 59-69.
مرحبا بكم في القسم مجموعة الشبكة المعنية ترجمات لى فنغ لى فنغ لمعرفة المزيد من المعرفة AI ~ شكرا شبكة لى فنغ (عدد الجمهور: لى فنغ شبكة) مجموعة لى فنغ ترجمات من المتطوعين للمساهمة في هذه المسألة.
شبكة لى فنغ المواد الأصلية، تمنع غير المصرح به مستنسخة. لمزيد من التفاصيل، انظر إشعار طبع.
