من أجل مساعدة جميع الشباب الأكاديميين على تعلم أفضل النتائج والتقنيات البحثية ، أطلق معهد AI Technology Review and Paper Research Institute (paper.yanxishe.com) قسم [Paper Today] الذي يختار الذكاء الاصطناعي المتطور لك كل يوم الأوراق الأكاديمية هي للرجوع إليها. فيما يلي مجموعة مختارة من محتوى اليوم-

جدول المحتويات

قراءة ويكيبيديا للإجابة على أسئلة المجال المفتوح

التعلم الآلي من وجهة نظر مستمرة

تسجيل وغناء الأغاني خالية من الأغاني

تعلم الشكل البشري ثلاثي الأبعاد والوضع من أجزاء الجسم الكثيفة

الأشعة السينية للوجه لمزيد من الكشف العام عن تزوير الوجه

زيادة البيانات الفعالة باستخدام شبكات GAN التعليمية متعددة المجالات

التنبؤ الوظيفي: من نماذج الشبكات العصبية العميقة إلى التطبيقات

الجمع بين التعلم العميق والتحقق للكشف الدقيق عن حالة الكائن

مقدمة لطيفة للتعلم العميق للرسوم البيانية

AdderNet: هل نحن حقا بحاجة إلى مضاعفات في التعلم العميق؟

نظام الرد على أسئلة المجال المفتوح القائم على ويكيبيديا

عنوان الورقة: قراءة ويكيبيديا للإجابة على أسئلة المجال المفتوح

المؤلف: Danqi Chen / Adam Fisch / Jason Weston / Antoine Bordes

الوقت المنشور: 2017/4/28

رابط ورقي: https://paper.yanxishe.com/review/7918

سبب التوصية: تقترح هذه المقالة استخدام ويكيبيديا كمصدر فريد للمعرفة لحل مشكلة المجال المفتوح: الجواب على أي سؤال واقعي هو نطاق النص في مقالة ويكيبيديا.

تجمع مهام القراءة الآلية على نطاق واسع بين تحديات استرجاع المستندات (العثور على المقالات ذات الصلة) وفهم الآلة للنص (التعرف على نطاق الإجابات لهذه المقالات). تجمع طريقة المؤلف بين مكون بحث قائم على تجزئة bigram ومطابقة TF-IDF مع نموذج شبكة عصبية متكررة متعدد الطبقات تم تدريبه على اكتشاف الإجابات في فقرات ويكيبيديا.

تُظهر تجارب المؤلف على عدة مجموعات بيانات ضمان جودة حالية أن (1) كلتا الوحدتين تنافسيتان للغاية مع المنتجات المماثلة الحالية ؛ (2) استخدام الإشراف عن بُعد لأداء التعلم متعدد المهام في مجموعتهما هو حل هذه المشكلة نظام فعال وكامل لمهمة صعبة.

النظر إلى التعلم الآلي من منظور مستدام

اسم الورقة: التعلم الآلي من وجهة نظر مستمرة

المؤلف: E Weinan / Ma Chao / Wu Lei

وقت النشر: 2019/12/30

رابط ورقي: https://paper.yanxishe.com/review/7942

سبب التوصية: بصفتها روح التحليل العددي الكلاسيكي والفيزياء الإحصائية ، يقترح المؤلف شكلًا مستمرًا للتعلم الآلي كمشكلة للتغيير والمعادلات التفاضلية المتكاملة. يثبت المؤلفون أن نماذج وخوارزميات التعلم الآلي التقليدية ، مثل نماذج الميزات العشوائية ، ونماذج الشبكات العصبية الضحلة ونماذج الشبكات العصبية المتبقية ، يمكن استعادتها كلها كتقديرات محددة لمختلف الصيغ المستمرة.

يقدم المؤلف أيضًا أمثلة على نماذج جديدة ، مثل نماذج الميزات العشوائية القائمة على التدفق ، وأمثلة على خوارزميات جديدة (مثل طريقة الجسيمات الملساء وقياس الطيف) ، والتي تستمد بشكل طبيعي من هذه الصيغة المستمرة. يناقش المؤلف كيفية دراسة خطأ التعميم والتسوية الضمنية في هذا الإطار.

الموسيقى ورقة وتوليد الأغاني بدون كلمات

اسم الورقة: تسجيل الصوت الغناء خالية من الأغاني

المؤلف: Liu Jen-Yu / Chen Yu-Hua / Yeh Yin-Cheng / Yang Yi-Hsuan

وقت النشر: 2019/12/26

رابط ورقي: https://paper.yanxishe.com/review/7944

سبب التوصية: يرتبط نموذج الجيل لغناء الصوت بشكل أساسي بمهمة "تركيب الغناء الصوتي" ، أي توليد الموجة الصوتية الغنائية وفقًا لدرجة الموسيقى وكلمات النص.

في هذه المقالة ، يستكشف المؤلف طريقة بديلة جديدة وصعبة: غناء الأصوات دون تعيين الدرجات وكلمات الأغاني مسبقًا أثناء التدريب ووقت الاستدلال. على وجه الخصوص ، اقترح المؤلف ثلاثة مخططات غناء غير مشروطة أو ضعيفة لغناء الصوت. يلخص المؤلف التحديات ذات الصلة ويقترح قنوات لحل هذه المهام الجديدة. يتضمن هذا تطوير نماذج فصل المصدر ونسخه لإعداد البيانات ، وشبكات الخصومة لتوليد الصوت ، ومقاييس مخصصة للتقييم.

تعلم الأشكال البشرية ثلاثية الأبعاد والوضعيات من أجزاء الجسم الكثيفة

اسم الورقة: تعلم شكل الإنسان ثلاثي الأبعاد والوضعية من أجزاء الجسم الكثيفة

المؤلف: Zhang Hongwen / Cao Jie / Lu Guo / Ouyang Wanli / Sun Zhenan

وقت النشر: 2019/12/31

رابط ورقي: https://paper.yanxishe.com/review/7941

سبب التوصية: على الرغم من النتائج المشجعة التي تم الحصول عليها من خلال أحدث الأساليب القائمة على التعلم ، لا تزال إعادة بناء الأشكال البشرية ثلاثية الأبعاد والأوضاع من الصور أحادية التحدي. يرجع عدم التوافق المشترك إلى حقيقة أن التعيين من الصورة إلى مساحة النموذج غير خطي للغاية ، وتمثيل الإيماءات القائم على الدوران للنموذج البشري عرضة للتسبب في الانجراف في الوضع المشترك.

في هذه المقالة ، يدرس المؤلف مشكلة تعلم أشكال جسم الإنسان ثلاثية الأبعاد ويطرحها من المراسلات الكثيفة لأجزاء جسم الإنسان ، ويقترح شبكة تحلل وتجميع (DaNet) لحل هذه المشكلات. تستخدم DaNet مواد كثيفة مناظرة كممثل وسيط لبناء جسر بين كثافة ثنائية الأبعاد ورؤوس ثلاثية الأبعاد بكثافة لتسهيل تعلم الخرائط ثنائية الأبعاد إلى ثلاثية الأبعاد. تتحلل وحدة التنبؤ الخاصة بـ DaNet إلى تيار عالمي وعدة تيارات محلية لتحقيق إدراك عالمي ودقيق للشكل والتنبؤ بالوضع ، على التوالي. يتم تجميع الرسائل من التدفقات المحلية بشكل أكبر لتعزيز التنبؤ القوي بالوضعيات القائمة على الدوران ، حيث يتم اقتراح استراتيجية تحسين ميزة التناوب بمساعدة الموقف للاستفادة من العلاقة المكانية بين المفاصل البشرية. بالإضافة إلى ذلك ، تم تقديم إستراتيجية جزئية (PartDrop) لإزالة المعلومات الكثيفة من التمثيل المتوسط أثناء التدريب ، وبالتالي تشجيع الشبكة على التركيز على أجزاء الجسم الأكثر تكاملًا وميزات الموقع المجاورة. تم التحقق من صحة طريقة المؤلف على كل من مجموعات البيانات الداخلية والفعلية (بما في ذلك مجموعات بيانات Human3.6M و UP3D و DensePose-COCO).

تظهر النتائج التجريبية أن هذه الطريقة تحسن بشكل كبير من أداء إعادة الإعمار مقارنة بأحدث طريقة سابقة. ستكون شفرتنا متاحة للجمهور من خلال عنوان URL هذا (https://hongwenzhang.github.io/dense2mesh/).

أشعة سينية للوجه لاكتشاف تزوير الوجه بشكل أعم

اسم الورقة: الأشعة السينية للوجه لاكتشاف تزوير الوجه بشكل عام

المؤلف: Li Lingzhi / Bao Jianmin / Zhang Ting / Yang Hao / Chen Dong / Wen Fang / Guo Baining

وقت النشر: 2019/12/31

رابط ورقي: https://paper.yanxishe.com/review/7940

سبب التوصية: في هذه المقالة ، يقترح المؤلف شكلًا جديدًا لتمثيل الصورة ، يسمى الأشعة السينية للوجه ، لاكتشاف التزوير في صور الوجه. الأشعة السينية للوجه لصورة الوجه المدخلة هي صور رمادية ويمكن أن توضح ما إذا كانت الصورة المدخلة يمكن أن تتحلل إلى خليط من صورتين من مصادر مختلفة. يحقق ذلك من خلال عرض حدود المزج للصورة المزيفة والمزج حيث لا توجد صورة حقيقية.

يلاحظ المؤلف أن معظم طرق معالجة الوجه الموجودة لديها خطوة مشتركة: مزج الوجه المتغير في صورة الخلفية الموجودة. لذلك ، توفر الأشعة السينية للوجه طريقة فعالة للكشف عن التزييف الناتج عن معظم خوارزميات معالجة الوجه الموجودة. المعنى العام للأشعة السينية للوجه هو الافتراض فقط أن هناك خطوات خلط ولا تعتمد على أي معرفة بالقطع الأثرية المتعلقة بتقنيات معالجة الوجه المحددة. في الواقع ، من الممكن بالفعل تدريب الخوارزميات لحساب الأشعة السينية للوجه دون استخدام أي من أحدث طرق معالجة الوجه لإنشاء صور مزيفة. أظهر عدد كبير من التجارب أنه عندما يتم تطبيق الأشعة السينية على عمليات التزوير الناتجة عن تقنيات معالجة الوجه غير المرئية ، فإن الأشعة السينية للوجه لا تزال فعالة ، ويتم تقليل أداء معظم خوارزميات كشف تزوير الوجه الموجودة بشكل كبير.

استخدام شبكات GAN التعليمية متعددة المجالات لتحقيق التحسين الفعال للبيانات

اسم الورقة: زيادة البيانات الفعالة باستخدام شبكات GAN التعليمية متعددة المجالات

المؤلف: Yamaguchi Shin'ya / Kanai Sekitoshi / Eda Takeharu

وقت النشر: 2019/12/25

رابط ورقي: https://paper.yanxishe.com/review/7934

سبب التوصية: تتناول هذه الورقة مسألة تحسين البيانات.

تقترح هذه الورقة طريقة فعالة لزيادة البيانات بناء على شبكات الخصومة التوليدية ، والفكرة الرئيسية هي استيراد المعرفة الموجودة في البيانات الخارجية إلى النموذج المستهدف باستخدام GAN التعلم متعدد المجالات. يمكن أن يتعلم GAN التعلم متعدد المجالات مجموعات البيانات الخارجية ومجموعات البيانات المستهدفة في نفس الوقت ، ويمكن أن يولد عينات عالية الدقة ومتنوعة جديدة للمهام المستهدفة. توضح المقالة أنه حتى مع عدد قليل جدًا من مجموعات البيانات المستهدفة ، يمكن للباحثين استخدام هذه العينات التي تم إنشاؤها حديثًا للحصول على نموذج دقيق للمهمة المستهدفة. تقيم هذه الورقة طريقة زيادة البيانات المقترحة على مجموعات البيانات الثلاث CIFAR-100 و FGVC-Aircraft و Indoor Scene Recognition ، والتي توضح أن لديها دقة تصنيف أفضل ويمكنها تحسين جودة العينات المتولدة.

التنبؤ الوظيفي: من نموذج الشبكة العصبية العميقة إلى التطبيق

اسم الورقة: التنبؤ بالوظيفة: من نماذج الشبكات العصبية العميقة إلى التطبيقات

المؤلف: فان هوين تين / فان نغوين كييت / نغوين نجان لو - ثوي / نغوين أنه جيا - توان

وقت النشر: 2019/12/27

رابط ورقي: https://paper.yanxishe.com/review/7937

سبب التوصية: تتناول هذه الورقة مسألة الحكم على الكفاءة الوظيفية بناءً على معلومات السيرة الذاتية.

كيفية الحكم على ما إذا كانت الوظيفة مناسبة للباحثين عن عمل هي مشكلة معالجة لغة طبيعية صعبة استنادًا إلى المعلومات الموجودة في السيرة الذاتية ، مثل المؤهلات الأكاديمية ووصف المهارات. في المقابل ، يصعب على الشركة اختيار أفضل المواهب لهذه الوظيفة. تحاول هذه الورقة استخدام نماذج مختلفة من الشبكات العصبية العميقة لتعلم الوظائف والتنبؤ بها. وتشمل هذه النماذج TextCNN و Bi-GRU-LSTM-CNN و Bi-GRU-CNN ، وتستخدم مجموعة متنوعة من كلمات ما قبل التدريب بناءً على مجموعات البيانات المهنية على الإنترنت. تضمين. تقترح هذه الورقة أيضًا نموذجًا متكاملاً بسيطًا وفعالًا ليشمل مختلف نماذج الشبكات العصبية العميقة. أظهرت النتائج التجريبية أن الطريقة المقترحة تحصل على أعلى قيمة F1 تبلغ 72.71.

تحاول هذه الورقة استخدام تقنية معالجة اللغة الطبيعية لمساعدة الباحثين عن عمل على الإنترنت في العثور على اتجاه وظيفي أكثر ملاءمة لهم.

الجمع بين التعلم العميق والتحقق للكشف الدقيق عن مثيل الكائن

اسم الورقة: الجمع بين التعلم العميق والتحقق للكشف الدقيق عن حالة الكائن

المؤلف: Ancha Siddharth / Nan Junyu / Held David

وقت النشر: 2019/12/27

رابط ورقي: https://paper.yanxishe.com/review/7928

سبب التوصية: تقوم كاشفات الكائنات ذات التعلم العميق عادةً بإرجاع نتائج إيجابية خاطئة بدرجة عالية من الثقة. على الرغم من أنها تعمل على تحسين أداء الكشف العام ، مثل متوسط الدقة (mAP) ، إلا أنها غير مصممة لتحقيق الموثوقية. بالنسبة لنظام الكشف الموثوق به ، إذا تم إجراء اختبار ثقة عالية ، فسيريد المؤلف أن يكون على يقين من أن الكائن قد تم اكتشافه بالفعل. تحقيقا لهذه الغاية ، وضعت المؤلف مجموعة من اختبارات التحقق ، ويجب أن تجتاز الاختبارات الموصى بها هذا الاختبار لقبول.

لقد وضع المؤلف إطارًا نظريًا يمكن أن يثبت أنه في ظل افتراضات معينة ، لن يقبل اختبار التحقق المؤلف أي نتائج إيجابية خاطئة. بناءً على تقريب هذا الإطار ، يقترح المؤلف نظامًا للكشف العملي يمكنه التحقق بدقة عالية مما إذا كان كل اكتشاف للكشف عن الكائنات بناءً على التعلم الآلي صحيحًا. يوضح المؤلفون أن هذه الاختبارات يمكن أن تحسن الدقة الإجمالية للكاشف الأساسي ، وأن الأمثلة المقبولة من المرجح أن تكون صحيحة. يسمح هذا للكاشف بالعمل في حالة عالية الدقة ، لذلك يمكن استخدامه كطريقة موثوقة للكشف عن أنظمة إدراك الروبوت.

مقدمة موجزة للتعلم العميق للرسوم البيانية

اسم الورقة: مقدمة لطيفة للتعلم العميق للرسوم البيانية

المؤلف: Bacciu Davide / Errica Federico / Micheli Alessio / Podda Marco

وقت النشر: 2019/12/29

رابط ورقي: https://paper.yanxishe.com/review/7947

سبب التوصية: المعالجة التكييفية للبيانات الرسومية هي موضوع بحثي طويل الأمد تم دمجه مؤخرًا في موضوع الاهتمام الرئيسي لمجتمع التعلم العميق. تأتي الزيادة السريعة في عدد الأبحاث ذات الصلة واتساعها على حساب الافتقار المنتظم للمعرفة والاهتمام بالأدب المبكر.

الغرض من عمل المؤلف في هذه المقالة هو مقدمة تعليمية لمجال التعلم العميق للرسوم البيانية. فيما يتعلق بتفسير أحدث الأدبيات ، فإنه يدعو إلى مقدمة متسقة وتدريجية للمفاهيم الرئيسية والهندسة المعمارية ، ويمكن للقراء الرجوع إلى الدراسات الاستقصائية المتاحة. تجري هذه الورقة دراسة من أعلى إلى أسفل للمشكلة وتقدم صيغة عامة لتعلم التمثيلات الرسومية لمعالجة المعلومات المنظمة بناءً على الأساليب المحلية والتكرارية. يقدم لبنات البناء الأساسية التي يمكن دمجها لتصميم نماذج عصبية رسومية جديدة وفعالة. ويكمل البيان المنهجي مناقشة التحديات والتطبيقات البحثية المثيرة للاهتمام في هذا المجال.

[جامعة بكين / نوح / بنغتشنغ / جامعة العلوم] أديرنت: هل يمكن للتعلم العميق التخلص من الضرب؟

اسم الورقة: AdderNet: هل نحن حقا بحاجة إلى مضاعفات في التعلم العميق؟

المؤلف: Chen Hanting / Wang Yunhe / Xu Chunjing / Shi Boxin / Xu Chao / Tian Qi / Xu Chang

وقت النشر: 2019/12/31

رابط ورقي: https://paper.yanxishe.com/review/7948

سبب التوصية: هذه ورقة من Huawei Ark's Noah Lab ، والتي تم إطلاقها على arXiv في 1 يناير 2020. الهدف من هذه المقالة هو استكشاف الشبكات العصبية التلافيفية العميقة الأكثر كفاءة. (يبدو أن تسميته "ضغط النموذج" غير مناسب؟ لأن مقدار المعلمة ، ومقدار الحساب ، ودقة المعلمة لا يتم تقليلها ، ولكن استبدال الضرب بالإضافة يوفر مساحة كبيرة لكفاءة الاستدلال)

من أجل تحسين الكفاءة التشغيلية للشبكات العصبية العميقة وتقليل العمليات غير الضرورية ، تتضمن الطرق الشائعة تقليم الشبكة ، وتقطير المعرفة ، وما إلى ذلك. تأخذ هذه المقالة نهجًا مختلفًا ، في محاولة للتخلص من الضرب في الشبكات العصبية التلافيفية واستخدام عمليات الإضافة الفعالة فقط.

في تنفيذ الشبكات العصبية التلافيفية ، يتم تنفيذ عملية الالتفاف من خلال عملية الارتباط المتبادل لنواة الالتفاف وميزات الإدخال ، وهذا يتضمن مضاعفة عدد كبير من أرقام الفاصلة العائمة - كما تعلم ، يكمل الكمبيوتر 32 بت غالبًا ما تكون عمليات الضرب العائمة عدة مرات عمليات الإضافة! إذا كان يمكن استبدال عملية الارتباط المتبادل بعملية ذات تأثيرات متشابهة ولا تتضمن سوى إضافة ، فهل يمكن أن تحسن بشكل كبير من كفاءة تشغيل CNN؟

استهلاك الطاقة النسبية لحسابات النقطة العائمة 32 بت

السؤال هو: ما طبيعة الارتباط المتبادل؟ يقيس التشابه بين نواة الالتفاف وخصائص الإدخال. هنا ، يستخدم المؤلف بجرأة الرقم المقابل لمسافة L1 بدلاً من عملية الارتباط المتبادل كطريقة أخرى لقياس التشابه.

عملية الالتفاف باستخدام الارتباط المتبادل ، و X هي ميزة الإدخال ، و F هي نواة الالتفاف ، و S هي الضرب ، و Y هو ناتج الطبقة

تغيير مسافة S إلى L1

ثم يأتي السؤال مرة أخرى: كيف يمكن تحسين النموذج عن طريق الانتشار العكسي؟ إذا قمت بتمييز مسافة L1 ، يمكن أن تكون النتيجة فقط 0 و 1 (المشتق هو 0 عندما تكون مسافة L1 تساوي 0) ، وهو ما يعادل X (m + i، n + j، k) -F (i، j، ك ، ر) وظيفة رمزية - هذا لا يجعل النموذج مثالياً في الاتجاه الأمثل. لذلك ، يستخدم المؤلف هنا الفرق بين X و F كتدرج لكل طبقة من نواة "الالتواء" للانتشار الخلفي:

وبالمثل ، يحتاج X أيضًا إلى تدرج للرجوع إلى الطبقة العليا ، ويختلف تدرج F: سيؤثر هذا التدرج أيضًا على جميع الطبقات المذكورة أعلاه (هناك إمكانية انفجار التدرج) ، الأمر الذي يتطلب تصميمًا أكثر دقة. لذلك ، يستخدم المؤلف هنا HardTanh (أي ، y = x مقطوع بمقدار 1 لمنع التدرج من أن يكون كبيرًا جدًا) بحيث تكون قيمة التدرج (F-X) ضمن نطاق 1.

بالإضافة إلى ذلك ، تقترح هذه الورقة أيضًا استراتيجية تعديل معدل التعلم التكيفي لشبكات الإضافة. AdderNet-ResNet50 ، الذي يستبدل جميع الطبقات التلافيفية بطبقات إضافة ، يحقق دقة Top-1 بنسبة 74.9 ودقة Top-5 بنسبة 91.7 على ImageNet (دقة ResNet50 للتلف باستخدام الضرب هي 76.2 فقط و 92.9) ، مما يقلل بشكل كبير من وقت الحساب تحت ظروف فقدان الأداء القليل.

ملاحظة: على الرغم من أن الطبقات التلافيفية لا تستخدم الضرب على الإطلاق ، إلا أن AdderNet-ResNet50 لا يزال يستخدم تسوية الدفعات التي تنطوي على الضرب بين الطبقات (بعد كل شيء ، يجب أن يكون العدد المعاكس لمسافة L1 غير موجب). ولكن بالمقارنة مع عملية الضرب للطبقة التلافيفية ، فإن مقدار عملية الضرب في تطبيع الدفعة ليس بترتيب من حيث الحجم على الإطلاق ، لذلك يمكن تجاهلها.

لي فنغ نت لي فنغ نت لي فنغ نت