دليل
هندسة استخدام عدم اليقين تصميم خسارة الأوزان المشهد والتعلم متعددة المهام الدلالي
فهم المتكررة شبكة تعميم العصبي
شكل خسائر دالة متعددة التعريف الخطية إلى حد كبير مستو تنشيط الشبكات العصبية
MT-BioNER: متعددة المهام هيكل نموذج التعلم بيرت اسمه الاعتراف كيان في المجال الطبي
هرمية متعددة المهام الموجهة تعلم التمثيل الدلالي ل
هندسة استخدام عدم اليقين تصميم خسارة الأوزان المشهد والتعلم متعددة المهام الدلالي
عنوان الاطروحة: متعدد المهام التعلم عن طريق عدم اليقين لوزن خسائر للمشهد الهندسة وعلم الدلالة
الكاتب: اليكس كيندال / يارين غال / روبرتو سيبولا
تاريخ النشر: 2018/04/24
أوراق تحتوي على وصلة: الشبكي:؟ //Paper.yanxishe.com/review/17097 من = leiphonecolumn_paperreview0421
أوصت السبب
متعددة المهام التعلم وقد لعبت أكثر وأكثر مهمة دورا محفزا في تدريب السرعة ومعدلات الأداء، الخ، ولكن حساب الخسارة، خسارة كيفية تحديد وزن كل الوزن المهمة الفرعية هو صعوبة كبيرة، لأنه في محيط من أفضل فقدان الوزن غالبا ما يترافق أداء أسوأ من نموذج واحد من قيمة فقدان الوزن. من المهمة من عدم اليقين التجانس (عدم اليقين homoscedastic) وجهة نظر، واستخدام الانحدار مبسطة، نموذج التصنيف، متعددة مهمة تحليل الانحدار، ومهام وظيفة موضوعية الانحدار المتعدد المهام نموذج + تصنيف، اقترح توزيع المعلومات للاستفادة من مجموعة البيانات تصميم والوزن الثقيل أسلوب التدريب.
تعدد المهام نموذج على النحو المبين أعلاه تهدف إلى هزيمة كل نموذج واحد مهمة وصلت SOTA، في نفس الوقت، تثبت الدراسة أن ومصممة على أن هذه الخسارة معلومات قوية لمعلمات التهيئة.
من وجهة نظر نظرية النظرية الافتراضية، اقترح طريقة بديلة لضبط المعلمات يدويا لتحديد المهام المتعددة فقدان وظيفة الوزن، وليس فقط فعالة وقوية وتفسيرها. هذا النهج قد لا يكون سحريا، ولكن يعرض بالتأكيد فضاء جزئي بحث قابلة للحياة، اقترح طريقة جديدة لمتعددة المهام وظيفة تعليمية فقدان التصميم.
فهم المتكررة شبكة تعميم العصبي
عنوان الاطروحة: فهم التعميم في الشبكات العصبية المتكررة
الكاتب: Zhuozhuo تو / فنغ شيانغ و/ داتشنغ تاو
تاريخ النشر: 2019/09/26
أوراق تحتوي على وصلة: الشبكي: //paper.yanxishe.com/review/17096 من = leiphonecolumn_paperreview0421؟
أوصت السبب
وقد أدرجت هذه الورقة في عام 2020 ICLR، من أموي تشنغ المجموعة
في هذه المقالة، وصفنا التحليل النظري للالمتكررة العصبي أداء الشبكة التعميم. علينا أولا مصفوفة 1- القاعدة ونورم فيشر راو اقترحت تعميم الحدود الجديد من الشبكات العصبية المتكررة. فيشر راو القاعدة محددة من ليما تعتمد على هيكل حول RNN التدرج. الحدود الجديدة يفترض تعميم مدخلات التغاير بيانات المصفوفة هو إيجابي واضح، مما قد يحد من تطبيقها على أرض الواقع. لحل هذه المشكلة، نقترح إضافة الضجيج العشوائي في إدخال البيانات، وثبت من الضجيج العشوائي (بيانات الضجيج العشوائي هو التوسع مدخلات) على الحدود التدريب التعميم. مقارنة مع النتائج السابقة، ونحن التعميم حدود لا الاعتماد واضح على حجم الشبكة. كما وجدنا أن القاعدة فيشر راو الشبكة العصبية المتكررة (RNN) يمكن أن تفسر على أنها مقياس التدرج، والتدرج في التي يمكن من خلالها قياس ليس فقط لإحكام الحدود، ولكن أيضا يحدد العلاقة بين التعميم وtrainability. على هذا الأساس، قمنا بتحليل تأثير خصائص تعميم التغاير نظرية الشبكة العصبية، ومناقشة رفع الأثقال وكيفية تخفيف التدرج يمكن أن تحسن المحاصيل العصبي تعميم الشبكة.
شكل خسائر دالة متعددة التعريف الخطية إلى حد كبير مستو تنشيط الشبكات العصبية
عنوان الاطروحة: دالة متعددة التعريف التنشيط الخطية شكل كبير في فقدان أسطح الشبكات العصبية
الكاتب: فنغ شيانغ و/ بوهن وانغ / داتشنغ تاو
تاريخ النشر: 2019/09/26
أوراق تحتوي على وصلة: الشبكي:؟ //Paper.yanxishe.com/review/17095 من = leiphonecolumn_paperreview0421
أوصت السبب
وقد أدرجت هذه الورقة ICLR 2020، بعيدا عن مجموعة كبيرة من الفخار مركز الاتحاد الأخ الذكاء الاصطناعي في جامعة سيدني.
فهم الشبكات العصبية عن فقدان الطائرة أمر بالغ الأهمية لفهم عمق التعلم. توضح هذه المقالة كيفية دالة متعددة التعريف الخطية وظيفة تفعيل فقدان الشبكة العصبية من شكل مستو بشكل أساسي. علينا أولا إثبات وجود الكثير من الخسائر في شبكات مستو مع الزائفة غير محدود الحد الأدنى المحلي، يتم تعريف هذه الزائفة قيمة الحد الأدنى المحلية كحد أدنى خطر من التجربة العالمية أعلى أدنى المحلي. نتائجنا تشير إلى أن تفعيل الشبكة ودالة متعددة التعريف خطية خطية الشبكة العصبية وقد الناس تختلف في طبيعتها مدروسة. في الممارسة العملية، تنطبق هذه النتيجة أكثر من أي فقدان وظائف والشبكة العصبية وجود أي عمق دالة متعددة التعريف وظيفة تنشيط خطي التعسفية (وليس بما في ذلك وظيفة خطية). في الأساس، فإن الافتراض الأساسي يتسق مع الوضع الفعلي، أي طبقة الإخراج هو أضيق من أي طبقة مخفية. وبالإضافة إلى ذلك، فإن استخدام طائرة الحدودية غير قابل للاختلاف وجود دالة متعددة التعريف الخطية فقدان تنشيط الشبكة العصبية في عدد وافر من العناصر الخطية على نحو سلس متعددة. مترابطة من خلال تجربة مسار مستمر لخطر دائم: تكوين الدنيا المحلية في شكل أسفل شبه الوادي في وحدة واحدة. لواحدة شبكة طبقة مخفية، علينا أن نظهر أبعد حد أدنى لجميع الوحدات المحلية يشكل الطبقة التكافؤ، تتركز على ري السفلي، وهذه هي وحدة الحد الأدنى العالمية.
MT-BioNER: متعددة المهام هيكل نموذج التعلم بيرت اسمه الاعتراف كيان في المجال الطبي
عنوان الاطروحة: MT-BioNER: التعلم متعددة المهام الطب الحيوي المسماة الكيان الاعتراف باستخدام ديب ثنائي الاتجاه المحولات
الكاتب: محمد رضا خان / مرتضى الزيادي / محمد عبد الهادي
تاريخ النشر: 2020/01/24
أوراق تحتوي على وصلة: الشبكي:؟ //Paper.yanxishe.com/review/16879 من = leiphonecolumn_paperreview0421
أوصت السبب
للمساعدة في مساعد تدريب دردشة، اقترح مايكروسوفت نموذج يقوم على تعدد المهام قبل التدريب بيرت نموذج اسمه الاعتراف كيان (NER) على مجموعات البيانات متعددة المجالات الطبية المختلفة، ونهج محدد هو نموذج التدريب إلى ما قبل بيرت لطبقة المشتركة ( طبقة سهم)، وهي مهمة مجموعة فرعية (مهمة محددة طبقة) من كل مجموعة من حقول البيانات، كل الأوزان المهمة الفرعية هي 1 عند حساب فقدان الوزن. وفي الوقت نفسه، وذلك دون فقدان الدقة، وتحسين فعالية وكفاءة من الوقت والجوانب المكانية للنموذج، ومجموعة متنوعة من تقنيات التدريب التجريبي، اختارت طبقة بيرت طبقات التدريب وتبادل معا، والوقت المحدد البيانات الميدانية تم اختيارها عشوائيا تدريب مصغرة دفعة واحدة.
في الإنصاف، اختارت الكتاب لاختبار مجموعات البيانات العامة، نموذج الزمكان الكفاءة ومعدلات الأداء، ما يصل الى SOTA.
هذا هو كلاسيكي متعددة المهام أساليب التعلم، مع كلام المؤلف الخاصة، وهذه الميزة من هذا النموذج هو بسيطة وفعالة، مع softmax استبدال CRF، تم اختيارها عشوائيا مصغرة دفعة، وكذلك الكتاب المدربين قبل مناقشة كنها لم تنضم إلى التجربة طريقة بيرت من قبل تدريب مرة أخرى، وتحل الكثير من أسئلتي. في نفس الوقت، لأن الفكرة بسيطة، شرح الكتاب بقدر كبير من التفصيل للتجربة والتعلم يمكن أن تكون قوية جدا.
لم يتم الكشف عن رمز هنا، ولكنها توفر مجموعات البيانات المستخدمة.
هرمية متعددة المهام الموجهة تعلم التمثيل الدلالي ل
عنوان الاطروحة: النهج الهرمي متعدد مهمة للتعلم التضمينات من المهام الدلالي
المؤلف: فيكتور وخي سان / توماس وولف / سيباستيان رودر
تاريخ النشر: 2018/11/26
أوراق تحتوي على وصلة: الشبكي:؟ //Paper.yanxishe.com/review/16753 من = leiphonecolumn_paperreview0421
أوصت السبب
في هذه الورقة، وتعلم كيفية استخدام تعدد المهام (التعلم متعددة المهام) للحصول على التمثيل الدلالي ثراء المعلومات، وطريقة محددة هو تصميم نموذج الشبكة الهرمية للسياق استخراج سمة من سمات الحكم، واستنادا إلى هذه الميزة، NER مصممة بشكل تسلسلي (الاسم الكيان الاعتراف)، EMD (الكيان أذكر الكشف)، RE (العلاقة استخراج)، CR (Coreference قرار) المهام. حيث كل مهمة لها BiLSTM التدريب هيكل خاص بها، وفي نفس الوقت تتلقى مهمة طبقة ميزة السياق العليا، وملامح الدلالي أقل كإدخال. عملية تدريب، بعد انتهاء التحديث، سوف تختار عشوائيا مهمة والمقابلة مجموعة البيانات للجولة القادمة من التدريب. وبالإضافة إلى ذلك، حاولت الكتاب تبادل المعلومات بين المهام باستخدام مزيج من التدريب المهمة الفرعية المختلفة والتسلسل الهرمي للاحتفال.
في الواقع، إذا كان من السرعة أو درجة F1، وهذا النموذج متعددة المهام من طراز مهمة واحدة (بما في ذلك إدخال نموذج إضافي معلومات بناء الجملة) يجب أن تكون ممتازة. وفي الوقت نفسه، انتزعت الكتاب طبقات من المعلومات، في مهمات متعددة (التحقيق المهام) يحلل التمثيل الدلالي للمعلومات يتناول أساليب تعلم علم بالتفصيل.
وقد أظهرت العديد من الدراسات أن نموذج التعلم متعددة المهام مصممة تصميما جيدا فعال جدا، ولكن أيضا من الصعب تصميم. في هذه الورقة، والتمثيل الدلالي لمتعددة المهام التعلم المستفادة من دراسة كيفية القضاء على كارثة منسية (catastropic النسيان)، اعتبارا من تعلم المعرفة الدلالي من المهام الأخرى، وهلم جرا، مع نتائج جيدة.
تبادل الوظائف
لديها AI الآن Yanxishe علي والترفيه كبيرة مفتوحة بهدف البحث Sogou والدخن وغيرها من الشركات المعروفة وصلت إلى الاتصال لمساعدتك على العثور على وظيفة وظيفة أفضل، وإنشاء مجتمع داخل المجتمع AI لدفع العمل، وتبحث عن عمل التدريب شريك صغير يمكن مسح رمز في المجموعة، ورحب أيضا الطلاب على القراءة تبادل التعلم. (المجموعة لديها الموارد البشرية للشركات، وتعيين موظفين المشروع)
شبكة شبكة شبكة لى فنغ لى فنغ لى فنغ
