مذكرة لى فنغ الشبكة: هذه المادة هي عبارة عن تجميع لللى فنغ ترجمات بلوق التكنولوجيا المجموعة، العنوان الأصلي العصبية تورينج آلات: نهج أساسي لذاكرة الوصول في التعلم العميق، والمؤلف جوناثان هوى.
الترجمة | زاو بينغفيه التدقيق | جيانغ فان
الذاكرة هي مكون رئيسي من الدماغ وجهاز كمبيوتر. في العديد من مجالات التعلم العميق والذاكرة ومطابقة قدرتنا على توسيع عمق الشبكة، على سبيل المثال، سؤال وجواب، ونحن أول ذاكرة تخزين المعلومات أو معالجة مسبقة، ومن ثم استخدام هذه المعلومات للإجابة على الأسئلة. من آلة تورينج العصبية (NTM) ورقة (https://arxiv.org/pdf/1410.5401.pdf):
نحن توسيع وظائف الشبكة العصبية من قبل الشبكة العصبية للاتصال موارد التخزين الخارجية، والتفاعل مع تلك الموارد من خلال عمليات الذاكرة.
ونظرا شخصا عاديا، وقد انشأنا بنية الذاكرة، وعادة مجموعة، ونحن نكتب أو قراءة البيانات منه إلى بنية الذاكرة. وهذا يبدو كافيا بسيطة: ولكن الأمر ليس كذلك. أولا وقبل كل شيء، نحن لم يكن لديك مساحة تخزين غير محدودة لحفظ الصورة أو الصوت التي نواجهها، نحن التشابه أو ذات الصلة الحصول على المعلومات من خلال (مباراة لا بالضبط). في هذه المقالة، ونحن نناقش كيفية استخدام الوسائل التقنية الوطنية لمعالجة المعلومات. ونحن مهتمون في ورقة، ويرجع ذلك أساسا في العديد من المجالات البحثية تشمل البرمجة اللغوية العصبية والفوقية التعلم، هي نقطة انطلاق هامة.
بنية الذاكرة
ويضم جبل لدينا بنية الذاكرة N صفوف عناصر M. يمثل كل صف قطعة من المعلومات (الذاكرة)، على سبيل المثال، وصف ابن عمك.
قراءة
برمجة عادة، ونحن نستخدم جبل ذاكرة الوصول. ولكن لمنظمة العفو الدولية، وأحصل على ما تشابه المعلومات. لذا أطلقنا إعادة قراءة الحق في استخدام آلية، وهذا هو القول، هي المرجحة نتائجنا والذاكرة.
1 يساوي مجموع كل الأوزان.
الآن قد تسأل ما هو الغرض من ذلك نعم. دعونا شرح مع مثال على ذلك. صديق منحكم الشراب، والأذواق قليلا مثل الشاي، والشعور مثل الحليب والشاي والحليب عن طريق استخراج بيانات الذاكرة، وتطبيق الأساليب الجبرية الخطية لإبرام: هو الشاي بالحليب اللؤلؤ. أصوات رائعة، ولكن التسلل في كلمة واحدة، ونحن أيضا استخدام نفس الخطي الجبر للتعامل مع هذه العلاقة. على سبيل المثال، أسئلة وأجوبة في حالات أخرى، على المعلومات تتضمن القائمة على المعرفة المتراكمة مهم جدا. ذكريات تجعلنا جيدة تحقيق أهدافهم.
كيف يمكننا إنشاء هذه الأوزان؟ بالطبع، الحاجة إلى الاعتماد على التعلم العميق. ميزة مقتطفات تحكم من إدخال المعلومات (كيلو طن)، نستخدمها لحساب الأوزان. على سبيل المثال، عند استدعاء، لا يمكنك أقول على الفور من الصوت الآخر، صوت الكثير مثل ابن عمك، ولكن يبدو أنك مثل أخ. بواسطة الجبر الخطي، يمكن أن نقول أنه كان لديك زملاء في المدرسة الثانوية، وحتى الطريقة التي لا شيء يبدو وكأنه كنت تذكر.
عن طريق حساب الأوزان ث، كيلوطن وقارنا تشابه كل الذاكرة، حسبنا تشابه جيب التمام يسجل K.
هنا، ش هو لدينا كمية ميزة استخراج كيلوطن، والخامس يمثل كل صف ذاكرتنا.
وسوف softmax وظيفة ليسجل K، لحساب الأوزان ث. أضيفت t لتوسيع أو تقليص درجة الاختلاف. على سبيل المثال، إذا كان أكبر من 1، والفرق في التكبير. ث على المعلومات البحث التشابه، والتي نسميها عنونة المحتوى.
الكتابة
كيف نكتب المعلومات إلى الذاكرة. في LSTM، يتم تحديد الحالة الداخلية للخلية الذاكرة من قبل الدولة الحالية وقيمة المدخلات السابقة. الاقتراض القضية نفسها، عملية الكتابة هي من مكونات مدخلات حالة الذاكرة السابقة والجديدة. هنا، نحن مسح أولا المقطع السابق:
وآخرون متجه مسح. (مثل حساب بوابات المدخلات LSTM)
ثم نكتب المعلومات الجديدة.
في غير أننا نريد أن تضيف قيمة.
هنا، ث تم إنشاؤه بواسطة وحدة تحكم، ونحن يمكن أن يكتب أو يقرأ المعلومات إلى الذاكرة.
مصدر https://arxiv.org/pdf/1410.5401.pdf
آلية معالجة
المعلومات التي لدينا مقتطفات تحكم عن طريق حساب ث، ولكن باستخدام التشابه (عنونة المحتوى) ليست كافية قوية لاستخراج المعلومات.
ملحق
ث يمثل ذاكرتنا التركيز الحالي (انتباه). في معالجة المحتوى، ويستند تركيزنا فقط على مدخلات جديدة. ومع ذلك، هذا لا يكفي لشرح المشاكل التي واجهناها في الآونة الأخيرة. على سبيل المثال، زملائك إرسال رسالة لك قبل ساعة، يجب أن تكون قادرا على تذكر بسهولة صوته. عند الحصول على معلومات جديدة عن كيفية استخدامنا الاهتمام من قبل؟ نحسب الوزن مجتمعة وفقا لالتركيز في الوقت الراهن والتركيز من قبل. نعم، انها لا بأس به مثل باب LSTM أو GRU النسيان.
يتم احتساب G وفقا لسابقة والتركيز الإدخال الحالي.
التفاف
الإلتواء التحول الكامل من التركيز. لم يتم تصميمه خصيصا من أجل التعلم العميق. بدلا من ذلك، وقالت انها تكشف نسخ والفرز خوارزميات مثل NTM أساس كيفية تنفيذ. على سبيل المثال، لا يمكن الوصول كتبها w ، ونحن نريد لنقل كل خط بؤري 3، أي ث ث .
التحول الالتواء، ونحن قد تحتاج إلى التركيز إلى صف معين، أي ث التفاف (ث ، W ، W ). الخطي المرجح عادة، إلا الصف والإلتواء: 0.3 ث + 0.5 ث + 0.2 ث .
هذا هو رياضي صيغة التركيز تحول:
في العديد من نموذج التعلم العميق، وأنا تعيينها إلى تجاهل هذه الخطوة أو الصورة (ط) هي 0، ق (0) = 1 استثناء.
شحذ
لدينا تحول التفاف كعامل تصفية التفاف طمس. ولذلك، عند الضرورة، وسوف نستخدم الأوزان شحذ التقنية المستخدمة لتحقيق التأثير من طمس، غاما] سيكون مقياس آخر عندما شحذ إخراج تحكم التركيز.
ملخص
نحن نستخدم الأوزان ث استرجاع المعلومات من الذاكرة. ث هذه العوامل ما يلي: المدخلات الحالية تقاطع السابق، والتحولات غامض الممكنة. هذا هو مخطط كتلة النظام، حيث معلمات الإخراج تحكم اللازمة لحساب هذه المعلمات ث في مراحل مختلفة.
موقع بلوق https://medium.com/@jonathan_hui/neural-turing-machines-a-fundamental-approach-to-access-memory-in-deep-learning-b823a31fe91d
المزيد من المقالات، والاهتمام شبكة لى فنغ، إضافة تعليق لى فنغ إشارات مجموعة صغيرة (leiphonefansub) كصديق
تصريحات "أريد أن أشارك"، ليكون المتطوع AI!
لى فنغ لى فنغ صافي صافي
