في ابريل من هذا العام، نشرت مجلة الطبيعة في مجال اجهة الدماغ والحاسوب باعتباره انجازا كبيرا، أستاذ جراحة المخ والأعصاب في جامعة سان فرانسيسكو الصينية كاليفورنيا، طور إدوارد تشانغ وزملاؤه جهاز يمكنه تحويل نشاط الدماغ من فك كلمة العصبية. النظام عن طريق فك رموز اشارات المخ المتعلقة النطق البشري، والموضوعات الكلام المركب بنجاح تريد أن أعرب، لمواجهة التحديات الرئيسية التي تواجه الشلل وفقدان القدرة على الكلام، ووضع الأساس لانتعاش في حبسة الصوت في.
بعد مرور ثلاثة أشهر، أستاذ إدوارد تشانغ تحقق مرة أخرى في مجال الاختراقات واجهة الدماغ والحاسوب، وليس فقط إلى التعرف على الصوت في الوقت الحقيقي والتوليف للقضية المطلوب، الباحثون أيضا يدركون في الوقت الحقيقي يتم سماع الاعتراف والتوليف الصوتي.
هذه الورقة البحثية في 30 تموز نشرت في مجلة نيتشر الاتصالات، بعنوان "استغلال الوقت الحقيقي فك الدماغية حوار مسابقة النشاط القشرة البشري." في هذه الدراسة، فريق إدوارد تشانغ فك بنجاح موضوع السمع والإجابة عن الأسئلة المتعلقة إشارات الدماغ وتوليد الموافق سجلات النص في الوقت الحقيقي.
أستاذ شخصية إدوارد شو تشانغ (المصدر: UCSF)
وهذه هي المرة الأولى فقط حول مواضيع الإشارات العصبية التي سجلت خلال الحوار، فإنه يعترف عندما موضوع يستمع أو يتحدث، والتنبؤ المواضيع هي أو تريد أن تسمع محتوى المنطوقة.
وبالإضافة إلى ذلك، يمكن للنظام العصبي فك السياق الاتصال، لتحسين دقة المعلومات من فك شفرة فك أجوبة الأسئلة (لأن بعض الإجابات تتوافق مع فقط بعض من المشاكل). تظهر نتائج الاختبارات النهائية أن النظام قادر على فك إنتاج الكلام والإدراك، فإن معدل دقة 61 و 76 على التوالي.
الدراسة، والعلماء يعني أيضا مساعدة أولئك الذين لا يستطيعون التحدث الى التواصل من خلال الجهود المبذولة لتحقيق "الفكر"، يذهب خطوة أبعد من الواقع.
"في الوقت الحاضر، وذلك بسبب الشلل وفقدان القدرة على الكلام المرضى يمكن التحكم فقط مع جهاز كمبيوتر واجهة حركة العين المتبقية أو ارتعاش العضلات، وهجاء الكلمات ببطء، ولكن في كثير من الحالات، أدمغتهم لا تزال موجودة لإنتاج اللغة المعلومات المطلوبة بطلاقة، الآن نحن بحاجة إلى التكنولوجيا الجديدة تتيح لهم التعبير عن ذلك ". وأعرب البروفيسور إدوارد تشانغ.
"على مر السنين، ومختبري تركز أساسا على كيفية التعرف على الإشارات من خلال لغة الدماغ والمنتجات، مع التقدم في هذا المجال على مدى العقد الماضي رأينا، نحن واضحون جدا، ونحن قد تكون قادرة على استخدام هذه النتائج لمساعدة المرضى مع فقدان القدرة على الكلام. "
موجات المخ التعرف على الكلام توليفها
"الكلام" إنه لشيء بسيط للغاية وجهد، ولكن في الواقع "الكلام" هو واحد من أكثر الأنشطة المعقدة التي يقوم بها الإنسان.
فقدان القدرة على الكلام، أمر مؤسف ويصعب حفظ للغاية. المرضى الذين يعانون من السكتة الدماغية، والتصلب الجانبي الضموري (هوكينغ أي هذا المرض) أو غيرها من أمراض الجهاز العصبي وفقدان المهارات وظيفة الكلام والتواصل، وأيضا عدد قليل.
كيفية جعل هذه حبسة القدرة على الحصول على "التعبير" مرة أخرى، هو شيء كثير من العلماء يعملون بجد. وهناك عدد من الكتابة عن السيطرة على العقل التكنولوجيا واجهة الدماغ والحاسوب، من خلال رصد الرأس أو العينين الحركة غير اللفظي المتبقية، وضوابط المؤشر لتحديد رسائل فردية تشكل الكلمات وهجاء لمساعدة المرضى بالشلل الخارجي التعبير.
ولكن قبل هوه جين شنغ "الكلام" الناس على الفيديو، قد تكون قادرة على نقدر أن دقيقة واحدة أن قفز بضع كلمات من الانهيار.
(المصدر: ستوك)
عام 2017، قد ركزت على تحقيق الاصطناعي العصبي خطاب فك تركيب البروفيسور إدوارد تشانغ ويصف طالب دراسات عليا له نشرت كلير تانغ في مجلة العلوم، وأهمية الخلايا العصبية في الجزء الخلفي لغة إلى القشرة الزمنية. ووجدت الدراسة الأولى تستخدم أن الخلايا العصبية في الدماغ البشري لتحديد التغير النسبي في لهجة، وهذا يمكن أن تساعد الخلايا العصبية البشرية التعبير عن مشاعرهم واضح في اللغة، وتبادل الأفكار.
ثم، في ابريل من هذا العام، بحث منشور في الطبيعة، صمم فريق البروفيسور إدوارد تشانغ فك العصبي، وتحديدا في استخدام توصيف الحركية للنشاط البشري القشرية والصوت المشفرة في تركيب الكلام الاصطناعية واضح لتحقيق بطلاقة صوت المتكلم سرعة الانتاج.
FIG شو لBCI تركيب الكلام (المصدر: الطبيعة)
توليفها الكلام باستخدام الأساليب التقليدية على لوحة لذلك، أي استخدام EEG رصد الإشارات العصبية جهاز الدماغ المرتبطة المنطقة التعبير، ومحاولة لاستخدام دورة الشبكة العصبية مباشرة فك رموز هذه الإشارات إلى الكلام المركب.
وضعت إدوارد تشانغ وزملاؤه مقاربة مختلفة (الشكل B)، وفك تنقسم إلى خطوتين: خطوة أولى، وتحويل الحركة إلى إشارات العصبية ارتشف القناة جزء (الحمراء)؛ خطوة الثانية، القناة الرياضية جزء الانخراط في الكلام المركب.
وبالإضافة إلى ذلك، في موضوع لا تحتاج أن أقول أي شيء (لجعل نطق فقط العمل) الاختبارات، من خلال فك خطاب الصمت يتميز أيضا نجحت في تحقيق درجة معينة من تركيب الكلام.
ويمكن القول، سواء من حيث دقة إعادة الإعمار الكلام، أو في جمهور من المميزين الجوانب الجملة الناتجة عن ذلك، إدوارد تشانغ والنتائج الزملاء هي دليل على مفهوم صوت التوليف BCI تقدم أدلة مقنعة .
A مزيد من "تبادل الروح"
منذ بواسطة فك إشارات الدماغ، يمكنك بدلا من فمه ليتكلم، الاصطناعية العوز صوت القول، كيفية مواصلة تحديد وإشارات فك شفرة الدماغ عند سماع الآذان صوت، ليست قادرة على تحقيق دون لغة الحوار "الصرف الروح" لل ذلك؟
في أحدث دراسة، نشرت في 30 يوليو، لم إدوارد تشانغ وزملاؤه وذلك في محاولة تريد أن "القول" و "الاستماع إلى" صوت جلسة تفاعلية في الوقت الحقيقي للبيئة فك.
في عملية طبيعية الاستماع والتحدث والاتصال ومختلف المناطق السمعي في الدماغ المرتبطة الحركة والنطق المعنية. وقال مهمة محاولة سابقة لمباشرة من الدماغ البشري على خطاب فك شفرة، عادة للاستماع إلى أو النظر في العزلة.
وإدوارد تشانغ والباحثين مختبر قد وضعت وسيلة للتعرف على إشارات الدماغ في الوقت الحقيقي موضوع المحادثة، ويترجم محتوى تريده هو أن يسمع أو يتكلم.
بشكل خاص، عند أداء موضوعات المحادثة الطبيعية، والإدراك الكلام (مشاكل السمع) والنطق (صاح) مهمة، والباحثين سجلت النشاط العصبي من كثافة عالية من قبل ECoG (ECoG) المصفوفات (يغطي السمع و الحسية منطقة القشرة)، عندما يكون الموضوع لكشف أو يسمع الكلام المنطوقة، ثم الدماغ يترجم محتويات هذه الإشارات.
الموضوعات التخطيطي مشاكل في السمع مخطط شو (الأزرق) في الوقت الحقيقي والإجابة صوت أثناء فك (الحمراء) الجواب (المصدر: الطبيعة)
في كل محاكمة، سيقوم المشاركون يسمع السؤال، ونرى مجموعة من خيارات الأجوبة المحتملة (الشكل أ) على الشاشة، وعندما يظهر الموجه الخضراء على الشاشة، وتخضع ليكون حرا في اختيار وشفويا واحدة منها الجواب (الشكل B)؛
في هذا الوقت، أقطاب ECoG مزروع في القشرة للإشارة نشاط القشرة الدماغية التي تم الحصول عليها في الوقت الحقيقي (الشكل C)، إشارة كشف خطاب المكتسبة من خلال قشرة الدماغ للنموذج التنبؤ ما إذا كان الموضوع هو يسمع سؤال أو يتم إنشاء جوابا، أو كليهما لم نكن (الشكل د)؛
"العدد سمع" عندما كشف خطاب نموذج فحص، إشارة العصبية وارد فك يترجم والمخرجات مشكلة فك الشفرة (الشكل الإلكتروني وF)؛ فقط لأن بعض الإجابات لبعض الأسئلة هو معقولة، وبالتالي فإن إمكانية استخدام فك السؤال الباحثين السياق تحديث حيوي بأنها احتمال مسبق من كل إجابة (الشكل ز) و (ح).
عندما نموذج الكشف عن الصوت للكشف عن "الجواب" الحدث، تنتقل الإشارات العصبية إلى فك الجواب، إلى فك وتحسب الأجوبة المحتملة (الشكل الأول)، ونموذج السياق دمج إمكانية مسبقة من الجمع بين هذه الإجابات مع جوابا يصل، مما أدى الجواب احتمال الخلفية (اللون الأرجواني)، وأدخل الإجابة فك الشفرة النهائية (الرقم ي وك).
وقال إدوارد تشانغ - "الأسئلة احد يسمع وإجاباتها معظم الطرق السابقة تركز فقط على خطاب فك الشفرة، ولكن هنا نقدم لك مجموعة من قيمة فك الحوار بين الجانبين".
أظهرت نتائج الاختبار أن النظام في الوقت الحقيقي سمعت المواضيع فك السؤال والجواب دقة لمدة تصل إلى 76 و 61 على التوالي. وتبين هذه النتائج أيضا جدوى في الوقت الحقيقي فك الصوت في بيئة جلسة تفاعلية لتطوير الدماغ والحاسوب واجهة الجهاز المناسب للمريض غير قادر على التواصل هو المهم.
وقال الباحثون أيضا أن أفضل وأسرع خوارزمية الكمبيوتر أيضا يحسن من سرعة فك الدراسة، على مدى الأسابيع القليلة الماضية لعدة أشهر من المعالجة خارج الخط يمكن الآن أن يتم في الوقت الحقيقي.
رهان الأعمال BCI
فريق إدوارد تشانغ اثنين من أحدث أبحاث لاستعراض الأقران BCI اقبال اختراق، يتعين على الناس التفكير في هذا الشهر ايلون موسك (ايلون موسك) عن تقدم شركته واجهة الدماغ والحاسوب حققت Neuralink.
17 يوليو، عقد المسك الاستثمار BCI في شركة المبتدئة Neuralink هذا المؤتمر، لأول مرة الكشف عن أحدث التطورات التكنولوجية في BCI الشركة وآفاق المستقبل: Neuralink أثبتت بالفعل لها قد فئران التجارب يسمى "آلة" (آلة الخياطة) من جهاز التحقيق، قد يكون جهاز الكتروني 1500 تحقيقا في مخ الفأر، ويمكن استخراج في وقت واحد معلومات من عدد وافر من الخلايا العصبية. حاليا، وقد أجريت Neuralink هذه المعدات من لا يقل عن 19 عملية جراحية على الحيوانات، والأسلاك زرع معدل نجاح 87.
الشكل شو Neuralink اجهة الدماغ والحاسوب خطة الدعاية جهاز (المصدر: Neuralink)
هذا الإصدار أيضا Neuralink عامين منذ إنشاء النتائج الأولى لإطلاق سراح معظم الثقيلة. ومع ذلك، في خطوة تتعارض مع الممارسة والأوساط الأكاديمية، ونشرت من قبل، وكانت النتيجة من البيان الصحفي. في المؤتمر، قال المسك أيضا أنه إذا وافقت عليها ادارة الاغذية والعقاقير، وأسرع في نهاية العام المقبل، سوف تكون قادرة على استخدام هذه التكنولوجيا على المريض.
على الرغم من أن العديد من الأصوات النقد أن هذا هو الجنون في محاولة المسك المخاطر الكامنة، لكنه يسلط الضوء أيضا على رأس المال في الآونة الأخيرة عن قلقها سنوات العمل في مجال اجهة الدماغ والحاسوب. على سبيل المثال، البحوث التي اجهات الدماغ والآلة بها ويتم تمويل إدوارد تشانغ المختبر الفيسبوك واقع مختبرات.
البحث على واجهات الدماغ والحاسوب هو أيضا واحدة من الأهداف الرئيسية الفيسبوك الطموحة. عام 2017، BCI مدير الأقسام الفيسبوك خطط لدراسة في اجتماع لChevillet، يصف أسلوب غير الغازية قادرة على القراءة من نشاط الدماغ من 100 كلمة في الدقيقة، وهذا الجديد "نوع الدماغ" في الوقت خطة تبدو مجنونة تماما.
الآن، وبعد عامين، Chevillet يبدو أن أكثر ثقة هذا الهدف. الهدف النهائي للفريق إدوارد تشانغ في دراسة جديدة نشرت في مجلة نيتشر الاتصالات، لا تسمح للمطورين يمكن السيطرة الفيسبوك دون الحاجة إلى التحدث بصوت عال الواقع المعزز (AR) النظارات، وأكثر واقعية.
(المصدر: الفيسبوك)
على ما يبدو، الفيسبوك والخطوة Neuralink، والناس يشعرون المنافسة فك نشاط الدماغ لأول مرة لتقديم التجارية التكنولوجيا واجهة الدماغ والحاسوب. ومع ذلك، في الوقت الراهن، وعملية لتحقيق هذا الهدف من المرجح أن تكون عملية بطيئة.
Chevillet وفي مقابلة مع مقابلة IEEE الطيف، "ليس لدينا أي خطط المنتج الفعلي، لأن التكنولوجيا هي الدراسات ذلك في وقت سابق."
وقال إدوارد تشانغ انه يأمل في تحقيق تغيير حقيقي لا يمكن التحدث إلى الجماهير في أقرب وقت ممكن. وحتى الآن، وحتى الآن فإن فريق قضاء سنة واحدة في المرضى الذين يعانون من البحوث التعاونية مع فقدان القدرة على الكلام من كل عمل فريق يتحدث في المتطوعين الانتهاء.
وأكد إدوارد تشانغ أيضا أن كل نتيجة للتعاون مع الفيسبوك وسوف يتم نشر والانفتاح على المجتمع الأكاديمي. "آمل أن لا نستفيد فقط، ولكن الاستفادة من الحقل بأكمله."
