يمكن للناس أن نتذكر بسهولة الأشياء قبل بضع سنوات، وتستمر في التفكير في الوقت الحالي القائم على الذاكرة. القدرة على جهاز الكمبيوتر، فإنه من الصعب جدا.
الباحثون كما تم العمل على ذلك. في أواخر العام الماضي، من أجل السماح الكمبيوتر لديها مجموعة أطول من الذاكرة والمنطق، صدر Deepmind نموذجا وبيانات جديدة مجموعات.
في الآونة الأخيرة، DeepMind بلوق الرسمية التي نشرت أحدث المواد التي مزيد من التفسير. تاريخ المقالة تاريخ كل من الحاسوب "الذاكرة"، ولكن أيضا تقدم تفسيرا جديدا من نماذج ومجموعات البيانات التي تم الحصول عليها.
مراجعة: كيفية التعامل مع التعلم العميق والذاكرة
وقال AC نظام الطاقة تصميم المخترع نيكولا مرة واحدة:
لا توجد ذاكرة أو ذاكرة ذات سعة على انطباع دائم. ونحن ندعو الذاكرة لتعزيز التفاعل من التحفيز المتكرر.
في مجال AI، أقدم، ولكن أيضا بنية الذاكرة الأكثر استخداما على نطاق واسع هو عبارة عن شبكة المتكررة العصبية (RNN)، كما هو معروف الذاكرة قصيرة وطويلة الأجل (LSTM)، حدثا هاما هو مناسبة لمعالجة وفترة التنبؤ السلاسل الزمنية وتأخر لفترة طويلة جدا.
ولكن نموذجها الحوسبة فعالة في عدد نموذج من المعلمات علمت سوف تختلف مع حجم النمو الدرجة الثانية الذاكرة. سوف LSTM 64KB من حجم الذاكرة لديهم 8GB من المعلمات الحجم.
لذلك، اقترح DeepMind إطار جديد DNC، يمكن الكمبيوتر العصبي التفاضلية استخدام محتوى أكبر مصفوفة لتعزيز LSTM.
استخدام DNC عملية الاهتمام لقراءة محتويات من المصفوفة. قياسا على الإنسان الانتباه البصري، وشيء الناس تريد أن تشعر بالقلق إزاء جذب الانتباه. على سبيل المثال، فإن الشخص تولي اهتماما أكثر على تعابير الوجه من الأصدقاء، بدلا من الأحذية. في DNC، يمكن للنموذج الذاكرة التعامل مع أحداث الماضي محددة والبيانات.
وDNC مماثل، RNN مع المزيد من التركيز على آلية ترجمة والإجابة على الأسئلة المعلقة.
تطوير نموذج اللغة الطبيعية
الإحصائية لغة النمذجة ليس فقط تعزيز تنمية بنية الذاكرة، كما يمكن أن تساهم في تطوير حقل الذكاء العالمي لمنظمة العفو الدولية.
نموذج لغة إلى العمل من خلال كلمة التنبؤ المقبل تيار النص المستمر. ويمكن استخدامه لمحاكاة النص الحالي، فإنه يمكن أيضا أن تستخدم لتوليد النص الجديد. أفضل الماضي من حيث المحاكاة، التنبؤ يصبح أكثر دقة، فإن النص الناتج هو أيضا أكثر واقعية.
قد يكون إنشاء احتمال النمذجة السياق، والتنبؤ النص. وزيادة سياق تحسين جودة النص. لذلك، والاعتماد طويل المدى هو نموذج مهم لغة التحدي.
نصوص ويكي WikiText-103 اللغة هي ويستخدم نموذج طويل المدى على نطاق واسع. مقالات ويكيبيديا من تكوين اللغة الإنجليزية، وضعت من قبل الباحثين من Salesforce AI. مقالات في المتوسط حوالي 3600 كلمة، في وقت التنمية، أكثر بكثير من نافذة الذاكرة كان النموذج الأكثر تقدما.
ومع ذلك، فقد وجد الباحثون جوجل مؤخرا أن محول البديل - اسمه TransformerXL-- يمكن ان تبقى ذكرى نشاط الشبكة الماضي، ويمكن استخدام أكثر من 1000 كلمة في السياق.
أثار نموذج التنمية أسئلة جديدة: سيتم قريبا مشبعة هذه المعايير هو عليه، DeepMind الإفراج عن نموذج جديد من معايير اللغة؟
بيانات PG-19
صدر DeepMind مجموعة جديدة من بيانات خط الأساس نمذجة اللغة، ودعا PG-19 .
وتأتي هذه البيانات من مكتبة مشروع غوتنبرغ الإلكترونية من الكتب القديمة (مكتبة مشروع غوتنبرغ على الإنترنت)، حدد النص نشر قبل 1919. قليل ما قبل النص، على سبيل المثال، لا يحد من طول كلمة، وليس لاستعراض عدد.
PG-19 هي أكثر من حجم المرجع السابق اختبارات النمذجة لغة مرتين، وبعض طول النص هو أكثر من 10 مرات في نصوص ويكي WikiText-103.
PG-19 بالمقارنة مع غيرها من إشارة النمذجة لغة
نموذج الذاكرة جديد طويل الأجل
اقترح DeepMind أيضا نموذجا جديدا من الذاكرة طويلة المدى ضغطي محول . هذا هو تسلسل مستمر منذ فترة طويلة من نموذج الفائدة.
انها مستوحاة من الضغط وتوطيد النوم على الذاكرة.
متى سيتم جمع نموذج من خلال سلسلة من المدخلات، مثل شظايا من الذاكرة ذكريات الحبيبية، مع مرور الوقت، وأنها في نهاية المطاف سوف تكون مضغوطة.
مع ذاكرة الخشنة ضغط الحبيبية قصيرة الأجل لوصف الماضي
وجدت DeepMind دون استخدام مجموعة التدريب بيانات إضافية، والضغط المحولات على وضع نموذج اللغة الطبيعية نصوص ويكي WikiText-103 وEnwik8 هذه المعايير اثنين، مع الأداء الأكثر تقدما.
ويمكن أن تستخدم أيضا لنمذجة صوت، معالجة النصوص وخاصة النادرة، ويمكن أن تعزز وكيل التعلم المستخدمة في حل المهام المتعلقة بالذاكرة.
بعد استخدام المؤشر PG-19، وهو أقوى أداء يمكن أيضا الترويج الضاغطة محول، يمكنك كتابة ملخصات لكتب مماثلة.
ضغطي محول يمكن أن تنتج مجموعة متنوعة من أساليب السرد والحوار متعددة الأدوار، أول شخص اليوميات، أو شخص ثالث النثر. على الرغم من أن هذا النموذج هو فهم لغة لا يستند إلى العالم الحقيقي، ولا هو أساس أحداث وقعت في العالم الحقيقي، ولكن عن طريق الاستيلاء على أهمية بعيدة المدى، يمكن أن تظهر النص أكثر تماسكا .
بنية ذاكرة المستقبل
عند محاولة إنشاء وقت التشغيل لأكثر من بضعة أيام أو أسابيع أو حتى وكيل سنوات، في يحسب كل خطوة لجميع البيانات الخام ليس عمليا. حتى لو كان النمو الحالي من القدرة الحاسوبية، والذاكرة لا تزال هناك حاجة لتطوير البنية التحتية ضغط ومتفرق، لتمثيل بناء وعمليات التفكير.
DeepMind نعتقد، ويمكن التقاط اليوم والشهر والسنة نماذج ارتباط التجريبية قريبا. لتحقيق المنطق أكثر قوة، على ضرورة الاهتمام بشكل أفضل انتقائية في الماضي، كآلية ضغط كذلك أكثر كفاءة .
بوابة
https://deepmind.com/blog/article/A_new_model_and_dataset_for_long-range_memory
https://arxiv.org/abs/1911.05507
- انتهى -
و qubit QbitAI عناوين على عقد
تابعنا، أبلغ أول مرة طليعة التطورات العلمية والتكنولوجية
