في العام الماضي، وافقت إدارة الغذاء والدواء الأمريكية (FDA) الذكاء الاصطناعي (AI) الأجهزة الطبية في السوق، لمجرد التقاط صورة شبكية المريض، فإنه يمكن الكشف تلقائيا ما إذا كان هناك دليل على العمى السكري.

اليوم، والتكنولوجيا AI جديدة مثل هذه تنتشر بسرعة في المجال الطبي. العلماء بنشاط على تطوير مجموعة متنوعة من أنظمة AI، مباشرة أو من خلال مجموعة متنوعة من الصور، للمساعدة في تحديد علامات الأمراض المختلفة.

المزيد والمزيد من التكنولوجيا AI، قد يكون سلاح ذو حدين. الشكل وفقا لصحيفة "نيويورك تايمز"

ومع ذلك، وفقا لذكرت في 21 مارس "نيويورك تايمز"، بدأ العلماء إلى القلق أكثر وأكثر يتم تطبيقها على التكنولوجيا AI في مجال الرعاية الصحية، قد يكون سيفا ذا حدين. بالإضافة إلى مساعدة الأطباء على العمل بكفاءة، فمن المرجح أن يتم التلاعب عمدا، مما يؤدي إلى خطأ في التشخيص، فضلا عن غيرها من عواقب أكثر خطورة.

تغييرات طفيفة يمكن أن تجعل من نظام التشخيص AI

الاعتراف مقارنة من الرئتين إلى الدماغ X-ray و الصور المقطعية ...... الماضي، نظام AI الناشئة يمكن أن تساعد الأطباء على نحو أكثر فعالية وفعالية من حيث التكلفة لتقييم المريض.

في المستقبل، مثل نظام AI وليس فقط استخدامها على نطاق واسع في المستشفيات، ولكن أيضا يمكن أن تساعد الهيئات التنظيمية الطبية، الفواتير الخدمات وشركات التأمين. كأطباء مساعدة AI فحص عيون المريض والرئتين وغيرها من أعضاء الجسم، كما أنه يساعد على شركة التأمين تحدد المبلغ المدفوع وتكلفة هذه السياسة.

من الناحية المثالية، فإن هذه الأنظمة تساعد على تحسين كفاءة نظام الرعاية الصحية بأكمله. ومع ذلك، حذر فريق من الباحثين من جامعة هارفارد ومعهد ماساتشوستس للتكنولوجيا أن هذه الأنظمة قد يكون له عواقب خطيرة لا يمكن تصورها.

21 مارس، في ورقة نشرت في مجلة "العلوم" (العلوم)، أثار احتمال "هجوم عدائي" (هجمات عدائية) هو.

يشير "هجوم الخصومة" لاستخدام تعديلات طفيفة البيانات الرقمية، وتغيير سلوك نظام التشغيل الذكاء الاصطناعي.

الذكاء الاصطناعي في التطبيقات الطبية وغيرها، يمكن أن التغييرات الصغيرة تؤدي إلى تغييرات جذرية في المدخلات والمخرجات. الشكل وفقا لصحيفة "فايننشال تايمز"

على سبيل المثال، تعديل الرئوية الصورة الممسوحة ضوئيا بضعة بكسل، يمكن تضليل نظام AI، لا يتم الحكم على المرض أن المرضى والمرضى أو ليس مريضا إلى false.

في هذه الورقة الإصدار الجديد، فإن الباحثين أظهر ذلك عن طريق تغيير عدد قليل من وحدات البكسل في الصورة من الآفات الجلدية الحميدة، والتشخيص يمكن خداع نظام AI، مما يؤدي إلى سوء تطبيق العدالة هو المرض الخبيث. ووجد الباحثون أيضا أن ببساطة عن طريق تدوير الصورة، ولكن أيضا لتحقيق نفس الغرض.

إذا أردنا إجراء بعض التغييرات الطفيفة على وصف مكتوب لحالة المريض، ولكن أيضا لتغيير تشخيص AI: "إدمان الكحول" نتائج التشخيص ومختلفة "الإدمان على الكحول"، "آلام الظهر" و "آلام الظهر" نتائج التشخيص سيكون الفرق.

إن الاستخدام ضحايا هجوم المواجهة تكون في نهاية المطاف المرضى مربحة

عندما بدأت الهيئات التنظيمية وشركات التأمين وخدمات الفواتير الطبية شركة باستخدام نظم تكنولوجيا البرمجيات AI لها، يمكن أن القراصنة غزو النظام، مما يؤدي إلى خطأ في التشخيص للمرضى. من المرجح أن يحدث هو أن الأطباء والمستشفيات وغيرها من المؤسسات ذات الصلة سوف تستخدم الهجمات المواجهة، أو التلاعب في نظام AI على الفواتير الطبية أو برامج التأمين، في محاولة للحصول على مثل كثير الإيرادات والوضع.

على سبيل المثال، إذا كانت شركة التأمين تستخدم منظمة العفو الدولية لتقييم مسح الصور الطبية، ويمكن للمستشفى تعديل نتائج الفحص، لتحسين دفع المبلغ. إذا أنشأت هيئة تنظيمية نظام AI لتقييم التكنولوجيا الجديدة، يمكن للشركات المصنعة جهاز تغيير الصور والبيانات الأخرى من أجل التحايل على النظام، يجب الحصول على موافقة الجهات التنظيمية.

ويعتقد الباحثون أنه بمجرد متجذر بعمق الذكاء الاصطناعي في نظام الرعاية الصحية، كل شركة سيكون بدأ سلوكها الأكثر ربحية في الظهور. هذه واحدة من الضحايا، والتحلي بالصبر.

وأشار الباحثون في كلية الطب بجامعة هارفارد ومعهد ماساتشوستس للصموئيل فينلايسون إلى أنه إذا كان الطبيب من أجل خداع شركات التأمين لنظام AI للحصول على مزيد من الأرباح، أو غيرها من مسح التصوير الطبي من بيانات المريض لإجراء تغييرات. سوف تظهر هذه التغييرات في سجل المريض دائم، مع حياته، ومستقبل والتي سوف تشخيص تأثير المريض.

والوكالات ذات الصلة استخدام المواجهة أو الهجوم، في محاولة للحصول على النحو الكثير من الإيرادات. الشكل بلومبرغ

الوضع من هذا القبيل ليس مجرد افتراض أو قلق غير ضروري. في الواقع، منذ صناعة الرعاية الصحية بأكملها لديها الكثير من المال ومن بعض الأطباء والمستشفيات وغيرها من المنظمات، كانت هناك مراقبة الحالات نظام البرمجيات مربحة. على سبيل المثال، من أجل تحسين النفقات الطبية، والأطباء تعديل بمهارة رمز مشروع القانون، يصبح أشعة X بسيط المسح مسح أكثر تعقيدا وهلم جرا.

وقال فينلايسون أن الذكاء الاصطناعي يمكن أن يؤدي إلى تفاقم المشكلة. خلال السنوات القليلة المقبلة، ومطوري البرمجيات والهيئات التنظيمية في بناء وتقييم نظام AI، يجب علينا النظر في إمكانية هذه الحالات التي تحدث. "المعلومات الطبية في حد ذاته هو غامض غير واضحة، إلى جانب الحوافز المالية في كثير من الأحيان تتعارض مع بعضها البعض، واتخاذ القرارات ذات المخاطر العالية بسبب التغييرات الطفيفة جدا في المعلومات سيتم هزاز".

تزايد المخاوف حول الهجمات المواجهة

هذه الورقة الجديدة التي نشرت تفاقم المخاوف بشأن إمكانية "هجوم عدائي" من خدمة التعرف على الوجوه والسيارات بدون سائق لالماسحات الضوئية القزحية وقارئ بصمات الأصابع، والتي يمكن وصفها بأنها تشمل جميع الهجمات المستهدفة.

هجوم المواجهة يستغل جانبا أساسيا من تصميم وبناء العديد من أنظمة AI - الشبكة العصبية. يتزايد مدفوعة الذكاء الاصطناعي الشبكة العصبية، والشبكة العصبية نفسها هو نظام رياضية معقدة، من خلال تحليل كميات كبيرة من مهام التعلم المستقل البيانات. على سبيل المثال، عن طريق تحليل آلاف من العيون الصورة الممسوحة ضوئيا، يمكن للشبكة العصبية تعلم كيفية رصد علامات اعتلال الشبكية السكري.

ومع ذلك، ويستند هذا "التعلم الآلي" على نطاق واسع، وهذا هو، على كتل البيانات المختلفة العديد من التعريفات للسلوك البشري أنه إذا تلقت معلومات غير صحيحة، ونظام AI قد ينتج سلوك غير متوقع.

عام 2016، فريق من الباحثين في جامعة كارنيجي ميلون في الولايات المتحدة من خلال نمط المطبوعة على الإطار النظارات، خدع بنجاح نظام التعرف على الوجه، والسماح للاعتقاد خاطئ بأن ارتداء النظارات من المشاهير. عندما وضع الباحثون على هذه النظارات، واعتقد خطأ أنه نظام ميلا جوفوفيتش (ميلا جوفوفيتش) وجون مالكوفيتش (جون مالكوفيتش).

ارتداء نظارات خاصة، يمكنك خداع نظام التعرف على الوجه، ويعتقد خطأ أنه كان من المشاهير. الشكل وفقا لصحيفة "ديلي ميل"

عام 2018، وقد صمم فريق البحث أيضا تجربة مماثلة. سمحوا عالم آسيوي يرتدي قبعة، ومن المتوقع ضوء الأشعة تحت الحمراء من تحت أسنانها وجهه. ضوء الأشعة تحت الحمراء غير مرئية للعين البشرية، ولكن يمكن محاكاة ساخرة أنظمة التعرف على الوجه، بل هو خطأ لتحديد حينها الموسيقار الأبيض موبي، بدلا من العلماء من آسيا.

وحذر الدراسات أيضا أن الهجوم يمكن أن يخدع السيارات بدون سائق المواجهة، بحيث نرى شيئا لا وجود له. عن طريق القيام ببعض الطريق علامات ابتسامة التغييرات، فإن ذلك سيكون سببا في السيارة الى وقف علامة نظام AI تحديدها عن طريق الخطأ على أنها علامات الغلة.

في أواخر العام الماضي، وكلية الهندسة، فريق بحث جامعة تاندون نيويورك خلق بصمة الظاهري، في 22 من الحالات، خدع بنجاح قارئ بصمات الأصابع. وهذا هو، كل هذه استخدام الهاتف المحمول قارئ بصمات الأصابع أو أجهزة الكمبيوتر، يمكن أن تكون مقفلة 22.

ونظرا للشعبية المتزايدة للأجهزة الأمنية الحيوية وغيرها من نظم الذكاء الاصطناعي، آثار بعيدة المدى لهذا البحث. بدأت الهند لتنفيذ أكبر نظام تحديد القائم على بصمات الأصابع في العالم لدفع الإعانات الحكومية وخدمات الإرسال. يجري إدخال تكنولوجيا البنوك التعرف على الوجه في ماكينة الصراف الآلي. وتنتمي إلى أحد الوالدين Waymo جوجل وغيرها من الشركات، ويجري حاليا اختبارها على الطرق العامة السيارات بدون سائق.

اليوم، أصدر فريق فينلايسون على استخدام نظم AI في المجال الطبي أيضا تحذيرا مماثلا، حتى الآن، في مجال الرعاية الصحية لم يتم العثور على طليعة الهجمات العدائية. ولكن هناك إمكانية، خاصة في الفواتير الطبية والصناعات التأمين.

لكن، وكما خبير نظام التعلم الآلي، أستاذ مساعد في كلية وارتون، قدم جامعة بنسلفانيا ها موشا البستاني أسوأ من خلال إدخال الذكاء الاصطناعي للاستجواب أو عدم جعل المشاكل. أولا وقبل كل شيء، تريد تحقيقه في الواقع هجوم المواجهة صعبة، وثانيا، مؤكدة الحالية سواء المنظمين وشركات التأمين تنوي استخدام هذا النوع من آلة التعلم خوارزمية عرضة لهجمات المواجهة. ولكن، تضيف، والمشكلة هي جديرة حقا من الاهتمام:

"(واقع) سيكون هناك دائما عواقب غير مقصودة، وخاصة في مجال الرعاية الصحية."

ريد ستار نيوز بطء جمعت من صحيفة "نيويورك تايمز"

تحرير ليو جينغ