الأنفس جي تجميع جديد

المصدر: أرخايف

المحرر: شياو تشين

[استعراض فاز جي الجديدة لديك صعوبة في القيام الاستدلال أبنية الذاكرة التقليدية، فإن هذه الورقة المقترحة DeepMind وجامعة كوليدج في لندن حدة العلاقة الاستدلال RMC، يمكن تنفيذها في تسلسل المعلومات في المنطق العلاقة، على نصوص ويكي WikiText-103، مشروع غوتنبرغ ووصل البيانات الحالية وضع GigaWord الأداء الأمثل.

الرسالة: الشبكي: //arxiv.org/pdf/1806.01822v1.pdf

على غرار باستخدام المعلومات في الوقت سعة الذاكرة بيانات سلسلة من الشبكات العصبية القائمة على الذاكرة. ومع ذلك، فإنه من غير الواضح ما إذا كانت لديهم القدرة على استخدام المعلومات التي تذكر المنطق علاقة معقدة.

في هذه الورقة، وأكدت DeepMind وجامعة كوليدج في لندن الباحثون أولا فكرة الحدس أن بنية الذاكرة القياسية من الصعب على بعض المهام التي تدخل في منطق العلاقة. ثم، وذلك باستخدام وحدة الباحثين ذاكرة جديدة --Relational الذاكرة الأساسية (RMC) - لتحسين هذا العيب، تستخدم وحدة متعدد الرأس نقطة اهتمام المنتج والذاكرة للسماح التفاعل.

وأخيرا، فإن الباحثين اختبارها على سلسلة من المهام RMC، يمكن لهذه المهام الاستفادة من علاقة أقوى المنطق المعلومات عبر تسلسل، والمناطق RL (مثل بكمن البسيطة)، وتقييم البرامج ونمذجة اللغة أظهر العظيم صالح، حصلت دولة من بين الفن النتائج في نصوص ويكي WikiText-103، مشروع غوتنبرغ وGigaWord البيانات.

العلاقة بين الذاكرة RMC الأساسية

استخدام البشري التفكير المعقد ونظام ذاكرة الوصول معلومات مهمة، بغض النظر عن وقت ما كان ينظر في الأصل. في الشبكة العصبية، يستخدم عدد من نجاح أسلوب النمذجة تسلسل البيانات أيضا ذاكرة النظام (نظام الذاكرة)، والذاكرة تعزيز مثل LSTM العصبية الشبكة (الشبكات العصبية-تضاف الذاكرة). من خلال زيادة سعة الذاكرة، مع محدودية القدرة الحاسوبية ومعالجة تكاليف وقت اختفاء الانحدار، وتعلمت هذه الشبكات عبر الزمن حدث ارتباط إلى بخبرة تخزين واسترجاع المعلومات.

هنا، ونحن نوصي في النظر في تخزين واسترجاع الذكريات مع الأخذ بعين الاعتبار التفاعل هذا هو مثمر. على الرغم من أن النموذج الحالي ويمكن تقسيم التعلم وتكوين الجمعيات توزيع ناقلات من الذاكرة، ولكن لا يميل بوضوح أنها للقيام بذلك. ونحن نفترض أن هذا التحيز يمكن أن نموذجا لفهم أفضل لكيفية ترتبط ذكريات مع ذلك، يمكن أن تجعل من أفضل علاقة المنطق.

أولا، علينا أن نؤكد على العلاقة بين المنطق من معلومات النظام من خلال تطوير مهمة مظاهرة لإثبات النموذج الحالي من الصعب موجود في هذا المجال. باستخدام جديدة العلاقة بين النواة الذاكرة (الذاكرة العلائقية الأساسية، RMC) عن طريق الاهتمام نقطة المنتج متعدد الرأس والتفاعل الذاكرة مع بعضها البعض حتى يتسنى لنا تحليل وحل هذه المشكلة. وثم طبقنا RMC إلى سلسلة من المهام، قد تستفيد هذه المهام من التفاعل الذاكرة ذاكرة أكثر وضوحا، وبالتالي، قد تزيد من العلاقة بين القدرة على التفكير أكثر من مرة: في نصوص ويكي WikiText-103، مشروع غوتنبرغ وGigaWord مجموعة البيانات، وهي جزء من التعزيز الملحوظ تعلم مهمة، وتقييم البرامج ولغة النمذجة.

الاستدلال (المنطق العلائقية)

نعتقد استدلال بل هو وسيلة لفهم عملية اتصالات فعلية، واستخدام هذا الفهم لتحقيق أهداف ترتيب أعلى. على سبيل المثال، والنظر في المسافة بين الأشجار المختلفة ومقاعد الحديقة الفرز: العلاقات بين الكيانات (أشجار ومقاعد) (المسافة) وتمت مقارنة من أجل الحصول على حل، وإذا أخذنا في الاعتبار السمات الفردية لكل كيان (موقف)، لا يمكنك الحصول على الحلول.

وبما أننا عادة ما يمكن تحديد ما يشكل نحو سلس جدا ". كيان "(كيان) أو" العلاقات "(العلاقة)، لذلك يمكننا أن نتصور سلسلة من العصبية التحيز الناجم عن الشبكة، يمكنك استخدام اللغة للتعبير عن المنطق العلاقة. على سبيل المثال، والعلاقة بين الكيانات (بكسل) في البرية (تركيبة خطية) المستخدمة لحساب يشعر التفاف النواة .

في المجال الزمني (المجال الزمني)، قد يتم تضمين القدرة المنطق العلاقة في نقاط زمنية مختلفة ومقارنة المعلومات التباين. هنا، وآلية الاهتمام أداء ضمنا شكلا من أشكال المنطق علاقة، وإذا كانت مخفية سابقا يمكن تفسيره بأنه كيان، ومن ثم احتساب الوزني يساعد في القضاء المحلي الانحراف RNN كيانات موجودة في الاهتمام الاستخدام.

بسبب البنية الحالية جهدنا من أجل حل المهام المعقدة توقيت، لذلك يجب أن يكون لديك القدرة بعض الوقت الاستدلال. ومع ذلك، فإنه من غير الواضح ما إذا كان الانحراف الحث على غير محدودة، وعما إذا كان يمكن أن تتعرض هذه القيود لمتطلبات الوقت نوع معين من المهام المنطق.

نموذج

المبدأ الذي نسترشد به هو توفير إطار لتصميم الجذع، على أساس من هذا، نماذج يمكن تعلم كيفية تقسيم المعلومات، وكيفية حساب التفاعل بين فرع المعلومات . ولتحقيق ذلك، لدينا من LSTM، والشبكات العصبية، تضاف الذاكرة وشبكة غير محلية (خصوصا محول نموذج seq2seq) تجميعها بناء كتل. بنية مماثلة وتعزيز الذاكرة، نرى مجموعة ثابتة من فتحات الذاكرة، ولكن نلاحظ أن في السماح باستخدام آليات للتفاعل بين فتحات الذاكرة. وعلى النقيض من الأعمال السابقة، طبقنا بين انتباه الذاكرة على خطوة زمنية واحدة، بدلا من كل توصيف السابق احتساب عبر الملاحظة السابقة.

FIG 1: العلائقية الذاكرة الأساسية

الشكل 2: المهمة

نحن اختبار مجموعة من RMC في التعلم تحت إشراف وتعزيز مهام التعلم. ومن الجدير بالذكر أن N الأقصى المهام ولغة النمذجة. في السابق، والحل يتطلب المنطق علاقة صريحة، لأن النموذج يجب أن يكون أمر من العلاقة بين ناقلات، بدلا من نوع الناقل نفسه. البيانات نمط اختبار الأخيرة على عدد كبير من طبيعية ويسمح لنا للمقارنة بين أداء نموذج لضبطها بشكل جيد.

تجربة

وفيما يلي وصفا موجزا لتطبيق RMC مهمة تجريبية، وتفاصيل محددة من كل مهمة ونموذج فائقة المعلمة وما إلى ذلك يرجى قراءة الأوراق الأصلية.

المهام الإشرافية توضيحية

N الأقصى

N-تشرين أبعد المهمة هي التأكيد على العلاقة بين المنطق القدرة عبر الزمن. عينة عشوائية من ناقلات المدخلات التسلسل، والهدف من ذلك هو الإجابة على الأسئلة من النموذج: "ما هو ن عشر ناقلات أبعد متجه المسافات م هو؟"، واذا كانت قيمة متجه، هوياتهم، ن، و m هي كل تسلسل أخذ العينات العشوائية. نؤكد على نموذج يجب أن يكون أمر من العلاقة بين ناقلات، بدلا من ناقلات نفسها.

برنامج التقييم

تعلم التنفيذ (LTE) تورنج مجموعة كاملة من البيانات التي الزائفة رمز تكوين برمجة خوارزمية اللغة جزء، ويمكن تقسيمها إلى ثلاث فئات: إضافة، وبرنامج التحكم الكامل. المدخل هو سلسلة من الأحرف الأبجدية الرقمية على جزء التعليمات البرمجية المفردات، والهدف هو سلسلة من الأحرف الرقمية، فإنه يؤدي إلى ناتج معين إدخال البرمجة. وبالنظر إلى التلاعب الرمزي لهذه القطع من المتغيرات التي تنطوي عليها، ونحن نعتقد أنها قد تؤثر على العلاقة بين المنطق قدرة النموذج؛ لرمز المشغل يمكن أن تفسر على أنها بتعريف علاقة في المعاملات، ويمكن تعلم الناجح تعكس فهم هذه العلاقة. من أجل تقييم أداء النموذج الكلاسيكي للتسلسل المهام، ونحن أيضا تقييم مهمة الذاكرة، في هذه المهام، والناتج هو واحد فقط ترتيب شكل المدخلات، بدلا من تقييم مجموعة من تشغيل تعليمات من.

تعزيز التعلم

بكمن البسيطة مع العرض

نحن نتبع الأدب البيانات البسيطة بكمن في. باختصار، طاردت الوكيل عندما أشباح التنقل المتاهة في الغذاء اجمع. نحن نستخدم طريقة عرض (العرض) لإنجاز هذه المهمة: حوالي 5 5 وكيل النافذة، بما في ذلك المدخلات الحسية. وهكذا، فإن المهمة هي ملاحظتها بشكل جزئي. وكيل يجب أن يتوقع أشباح ديناميكية من الذاكرة، وفقا لخطط للتنقل، ولكن أيضا وفقا للمعلومات أن يتم انتقاؤها ذكريات الغذاء. هذه المهمة تتطلب التفكير في مساحة ذاكرة العلاقة.

لغة النمذجة

وأخيرا، فإننا التحقيق المهام النمذجة لغة القائم على المفردات.

نتيجة

الشكل 3: نموذج

يصف كل صف مصفوفة لكل خطوة وقت تسلسل اهتمام محددة. ويوضح النص أدناه تسلسل مهمة محددة، والتي يتم ترميز وقدمت كمدخل للنموذج. نحن نستخدم مهمة العلامة الحمراء المشار إليها في ناقلات.

الجدول 1: دقة كل برنامج اختبار شخصية لتقييم والمهام المتعلقة بالذاكرة.

الجدول 2: نصوص ويكي WikiText-103، والمصادقة واختبار من الحيرة مشروع غوتنبرغ وGigaWord V5 قواعد البيانات

وبشكل عام، تظهر نتائجنا أن النمذجة صريح للتفاعل يحسن أيضا مهمة تعزيز الذاكرة التعلم، وتقييم البرامج والأداء مقارنة المنطق والنمذجة لغة، مما يدل على القيمة المضافة المنطق العلاقة في الشبكة العصبية المتكررة.