هذه المقالة هي جامعة أكسفورد نشرت في العمل ACL2018، من خلال تحليل موجات الدماغ البشري في ذروة الظاهرة الأولى وجدت أن مجموعة من المتكررة نموذج العصبي الجيل شبكة نحوي (RNNGs) والبحث شعاع، فمن الممكن لتجهيز تركيب دماغ الإنسان من فهم اللغة الطبيعية عملية النمذجة جيدة. هذا الإنجاز ينتمي إلى تقاطع مقال التعامل مع البحوث اللغة الطبيعية للدماغ البشري، التجربة تماما، فإنه يمكن اعتبار تأكيدا على صحة عمق التعلم من وجهة نظر بيولوجية في الدماغ البشري.
مقدمة
يتم احتساب علم اللغة النفسي في مجال اللغويات الحاسوبية الآن على الأرجح لجعل نتائج الاتجاه، لأنها توفر نظرة ثاقبة طرق تعمل الجملة الإنسان آلية معالجة. مساهمة من هذه الورقة هو أنه يجمع بين احتمال قواعد اللغة التوليدي (RNNG، الخ) يوفر عملية تحليلية، باستخدام بناء الجملة من كلمة إلى سلسلة من إدارة المتغيرات النحوية للكلمة القادمة. بواسطة مقياس التعقيد، وحالة وسطية من هذه العملية تنتج التنبؤ الكمي اللغة فهم صعوبة. هذه تنبأ الكهربائي البشري (EEG) تجاور البيانات، نجد أنها تأتي إلى آثار السعة موثوق تشمل عدة، بما في ذلك P600، P600، ويرتبط ارتباطا وثيقا معالجة النحوي.
يظهر الشكل التالي استخدمت الشبكة العصبية المتكررة بناء جملة هنا من التكوين. المكونات كاملة، مثل ، ويمثلها متجه من الأرقام على المكدس، هذه الأرقام هي ناقلات إخراج وظيفة النحوية أظهرت.
الشبكة العصبية المتكررة هو نموذج احتمال الشجرة الممتدة. احتمال وجود الشجرة من سلسلة وفقا للقواعد الاحتمالات المستمدة العمل التحلل، واحتمال هذه الإجراءات هي إجراءات للحالة السابقة التي كانت تقوم على جملة التاريخي. في RNNG، الخطوات التالية اجتياز متعمقة الأول من الشجرة.
هذه القصة ولدت كل خطوة تعتمد على حالة المكدس، المكدس "عصبية" وأن كل دخول كومة هو القيمة المقابلة للناقلات. المستمدة في كل مرحلة، ناقل واحد في شكل ملخص كامل كومة العصبي النهائي نموذج تسلسل الدولة. ويتم ذلك باستخدام Dyer- وغيرها كومة LSTM لتحقيقه. هذه النواقل ملخص المداخن، يسمح السياق RNNG حساسة إلى اليسار، والسياق الأيسر هو السياق احتمال مستقلة عن فرضية جملة استقلال محمية من قبل الجدول التالي.
هنا، ملخص كومة متعدد الطبقات المستقبلات كمدخل، الإخراج على المحول عن طريق عملية محلل softmax، ثلاثة الممكن تصنيف التوزيع: فتح عنصر جديد، أو إيقاف تشغيل أحدث الكلمات مكون جيل. اتخاذ قرارات صعبة، إذا اخترت الخيار الأول أو الأخير، من خلال المستقبلات متعدد الطبقات استخدامها مرة أخرى إلى نفس ملخص كومة قيمة لتحديد محددة يتم فتح غير محطة، أو الكلمات التي تخص توليد.
وثيقة عملية مشغلات عبارة الجمع بين وظيفة النحوية، والجدول التالي، وظيفة النواقل هي الشجرة الفرعية سلسلة ضغطها إلى ناقل واحد. ويتحقق ذلك من خلال تطبيق اتجاهين قائمة LSTM شبه النواقل.
باستخدام العكسي بتكيف تعديل المعلمات من كل هذه المكونات أثناء التدريب، ومرحلة للحد الأدنى للجسم الشجرة عبر الكون. في الاختبار، ونحن نستخدم شعاع بحث قرار المتزايد.
وهناك طريقة شعاع البحث وقوع بناء الجملة بحث يولد حل لهذه المشكلة، الذي يشار إليه أحيانا باسم الجملة "جيل قوي" وصف التكوين اللغة. الإجراء كما هو مبين في الشكل.
من أجل قياس نموذج حساب استجابة الإنسان مع وصلة، وضرورة ربط بعض الافتراضات أو القواعد المساعدة. في مجال اللغة، ومن المعروف أن هذه المقاييس تعقيد تقليديا، لأنها قياس الجملة محددة "تجهيز التعقيد" النهج. عند تقديم قدر من التنبؤ لكل كلمة المتعاقبة، وهو المقاييس تعقيد الإضافية. يتم احتساب المباغتة متري من حيث شعاع، أي الجزء تحليل بناء جملة على أعلى الدرجات في كل كلمة المتعاقبة. من أجل الحصول على تقدير أكثر موثوقية، والفرق الأولى التي يتم فيها احتساب الكون على nextword نفسها بنفسها أحجام مختلفة nextword، ولكن أكبر عموما من nextword.
الكهربائي (EEG) هو تقنية تجريبية على فروة الرأس صغيرة جدا القياسات تذبذب التيار الكهربائي. تعليقات حول مؤكدا تأثيره على نموذج الحساب، يرى ميرفي وآخرون. قمنا بتحليل 33 EEG تسجيل المشاركين، والاستماع بشكل سلبي إلى أليس في بلاد العجائب مغامرة من الفصل الأول من تلاوة عن طريق الفم. وكان جميع المشاركين في الدقيقتين 8 عنوان اختبار الفهم بعد المدرسة أعلى بكثير. كما استبعد مجموعات البيانات 10، لأن هذا لا يلبي مدونة لقواعد السلوك، ستة بسبب الإفراط في الضوضاء، وثلاثة بسبب الخطأ التجريبي. 61 من القطب النشط (25K مقاومة) لتسجيل البيانات في 500HZ، وينقسم إلى 2129 الفترات، في بداية يمتد قصة -0.3-1s كل كلمة. عن طريق إزالة قطعة أثرية ICA العين، والضوضاء، والقضاء على بقايا المفرطة. 0.5-40Hz البيانات المصفاة من تصحيح خط الأساس وفقا للكلمة السابقة 100MS الفاصلة، والتفاعل بين المتغيرات التحليلية المصالح وجزء من الكلام، ويتم فصل البيانات في محتويات والكلمات وظيفة هذه الفترة.
خلال التدريب RNNG، وقد وضعت الفصل الأول كمجموعة، قد نفذت إلى مجموعة من كل عملية كلمة محلل، والارتباك إلى الحد الأدنى 180. هذه الخاصية هي 170 وحدة واسعة يتم الحصول RNNG من قبل ناقلات الدولة. LSTM المناسب ناقلات دولة نموذجية لغة ديه 256 وحدة، ليصل إلى 90.2 درجة من كلمة الألغاز. وبطبيعة الحال، وتقدير RNNG الشجرة احتمال المشتركة وكلمة، لذا هذين المستويين من الارتباك لا يمكن مقارنتها مباشرة.
من أجل استكشاف RNNG + عملية بحث مجموعة شعاع كلغة انطباق صعوبة للنموذج المعرفي، تم تركيب نماذج الانحدار لدينا كل متري. النظر في ستة شعاع حجم ك = {100،200،400،600،800،1000} .. ويلخص الجدول التالي نتائج هدف هذه المسببات لتحقيقه.
هذا الرقم هو النزوح النسبي فحص Oostenveld ماريس وبعد (2007)، والقيم تآمر وتركيب معاملات الانحدار مناطق الظل الداكن و 95 من فترات الاستبدال، إحصائيا أي رمز. يشير الصفر بداية الكلمة المنطوقة. يظهر أقحم تأثير القطب وجود علامة، وقيمة معامل متوسط كبيرة من الفاصل الزمني عبر علامة. الرسم البياني متوسط كلمة عن محتويات الفصل الأول، "مغامرات في بلاد العجائب" أليس في بلاد.
هذا الرقم هو المنطقة ذات الاهتمام. ويشار إلى المنطقة الأولى باسم اليسار "N400"، بما في ذلك 300 بعد ظهور - الجزء الخلفي من القطب الرئيسي في نافذة زمنية من 500 مللي ثانية. في المنطقة المتوسطة، "P600" تشمل أقطاب 600-700 مللي بعد ظهور. أقصى اليمين "ANT" منطقة فقط من قبل أقطاب الجبهة 200-400 مللي ثانية بعد بداية تكوينها.
ويمكن رؤية مقارنة بين نموذج من ما سبق، فإن ما قبل الذروة تعزى، ليس في وقت متأخر وذروة تعزى إلى RNNG مهمة معقدة. تشوي وشارنياك "حل النمذجة لغة" فئة البرنامج قد يفسر موجة P600، ولكن لا يمكن أن يفسر الذروة في وقت مبكر. هذه الذروة هي RNNG في وقت سابق تم الحصول عليها تحت المباغتة الذروة، ولكن سوف تظهر فقط عندما RNNG تحتوي على مجموعة من الآليات. هذا النمط من النتائج يوفر وسيلة للمهام النمذجة بأكملها. في هذه الطريقة، واستراتيجيات بناء الجملة والمعالجة هي نفسها، ولكن بدلا من قياس التعقيد، وكما المباغتة المسافة، يمكن أن نموذج موحد شرح في أوقات مختلفة أو في أماكن مختلفة من الدماغ. هذا هو عكس Brouwe وهبي والأساليب، واستخدام نفس المقاييس تعقد لشرح طبقات مختلفة من نفس الشبكة العصبية.
الجدول التالي هو اختبار نسبة احتمال أظهرت أن المستمدة من RNNGs نحوي مؤشرا أفضل في نموذج الانحدار في وقت مبكر لشرح جوانب "ANT" الذروة المنطقة من النموذج التدهور. يشبه المقارنة "P600" تظهر منطقة أن هذا النموذج قد تحسنت، ولكن التحسن لا تصل إلى عتبة أهمية = 0.002 تصحيح بونفيروني (النص الغامق) المحددة. RNNGs تفتقر إلى العناصر النحوية القيام به لتحسين نموذج الأساس () يحتوي على توقعات الشروط والأساس LSTM.
الشبكات العصبية المتكررة قواعد تعلمت حقا قليلا عن تركيب اللغة الطبيعية، وتعلموه مؤشر المقابلة من صعوبة معالجة اللغة البشرية في EEG في الأداء. هذا النموذج بحساب العلاقة المقابلة بين الاستجابة الفسيولوجية من نقص في الإنسان النقي كهربائيا جملة مبنية على المرحلة الأولى من نظام العملية. العمل السابق هو معنى "على مرحلتين"، وهذا هو لتوليد نموذج لإعادة ترتيب توصيات من نموذج مشروط. إذا كان نموذج مرحلة واحدة على الإدراك هو معقول، ثم انها بساطة أنه أضعف حجة يستند إلى سلسلة سياسة ينظر إليها، مثل اسما - الفعل - الكشف عن مجريات الأمور اسما. ربما، كما يقول فيليبس، هذه ليست ضرورية في نموذج المعرفي المناسب. وبطبيعة الحال، لمزيد من التحقيق الحبيبات غرامة من تسلسل وتوقيت العمليات داخل إنسان واحد تحليل آلية معالجة الجملة مفتوح.
