شبكة لى فنغ منظمة العفو الدولية تكنولوجي ريفيو: المعروفة باسم الحوسبة العصبية واحد من اثنين من كبار المؤتمرات في مجال آلة NIPS تعلم أعلنت شملت مؤخرا في قائمة الأوراق، الاجتماع 32، سيعقد في مونتريال، كندا، 3 ديسمبر إلى 8.

تينسنت AI مختبر NIPS مرة الثالثة، وقد تم اختيار ما مجموعه 20 ورقة، والتي يتم اختيار اثنين من أبرز ورقة (الضوء)، الذي يغطي الهجرة للتعليم والتعلم والتقليد، وشبه تشرف عليها تعلم المزيد من الموضوعات البحثية، وفي العام الماضي اختاروا 8 ورقات تتضمن تقريرا عن طريق الفم (عن طريق الفم).

وبالإضافة إلى ذلك، في هذا العام من مؤتمر أكاديمي على مستوى أعلى متعددة، تينسنت AI مختبر أيضا اختيار الأوراق، بين شركات وهمية المحلية، بما في ذلك حقل رأس رؤية الكمبيوتر سوف CVPR (21 ورقة) وECCV (19 ورقة)، سيتصدر مجال تعلم الآلة ICML (16 مادة)، وحقل أعلى NLP سوف EMNLP (16 مادة)، حقل رأس وصوت سوف Interspeech (8 ورقات) وهلم جرا.

في هذه الورقة، وتحديد أوراق تينسنت AI مختبر NIPS هذا العام لتفسير، لى فنغ شبكة تقنية مراجعة AI الحصول على "تينسنت AI مختبر" رقم الترخيص العام، إعادة إنتاج.

1. إن التكيف مع البيئات المختلفة، وتعزيز التعلم من المهام المختلفة

سياسات توليف لنقل والتكيف في البيئات والمهام

والتعاون البحثي من جامعة أدى إلى استكمال تينسنت AI مختبر وجنوب كاليفورنيا، هي واحدة من خطط التنفيذ الوطنية بقعة ضوء هذه الورقة دراسة المشكلة بينما المهاجرة بين بيئات مختلفة (بيئية) ومهام مختلفة (المهام)، والهدف من استخدام متفرق فإن (بيئية، المهام) مجتمعة تكون قادرة على تعلم القدرة على ترحيل في كل مزيج ممكن. وتقترح هذه الورقة مكونات الشبكة العصبية الجديدة، التي تصف كيف الفوقية القواعد من بيئة وتركيبة مهمة لتعزيز استراتيجيات التعلم. تجدر الإشارة إلى أن واحدا من التحديات الرئيسية هنا هي البيئة والخصائص من الوصف مهمة يجب أن يدرس مع الفوقية القواعد. ولهذه الغاية، قام الباحثون كذلك اقتراح أسلوب التدريب الجديد لفتح هذه المهام التعلم اثنين، بحيث توصيف توقيع فريد النهائي لتصبح ليس فقط على البيئة والمهمة تصبح أكثر كفاءة استراتيجية تشكيل وحدة. تظهر الباحثون أجريت على GRIDWORLD وAI2-THOR عدد كبير من النتائج التجريبية أن النموذج الجديد المقترح يمكن هجرة ناجحة بشكل فعال بين 400 (بيئية، المهام) الجمع، ونموذج التدريب يتطلب سوى حوالي 40 من هذه المجموعات.

الأمثل الدانية الطريقة الأمثل غير محدب على أساس تقدير التفاضلية الفرعية SPIDER مسار عشوائي جزءا لا يتجزأ من: 2. SPIDER

شبه الأمثل غير محدب الأمثل عبر مسار الاستوكاستك المتكاملة التفاضلية مقدر

وقد أجريت دراسة أجرتها جامعة بكين وتينسنت AI مختبر التعاون استكشاف طريقة لبسرعة مشكلة التحسين غير محدبة عشوائية لحلها، ولكن أيضا واحدة من خطط التنفيذ الوطنية من هذا الضوء أطروحة. ويعرض ورقة كمية مهتما نحن في تكنولوجيا جديدة تسمى "المقدرات التفاضلية مسار عشوائي لا يتجزأ (سبايدر)"، ويمكن أن تتبع في انخفاض الكثير التعقيد الحسابي. الباحثون المزيد من SPIDER مع تطبيع ويجمع أسلوب التدرج أصل معا، الخوارزمية المقترحة لحل اثنين غير محدبة مشكلة التحسين العشوائي (التدرج العشوائية استخدام فقط) من: SPIDER-SFO وSPIDER-SSO. كلا الخوارزمية معدل التقارب السريع. الجدير بالذكر بصفة خاصة هو أنه، SPIDER-SFO وSPIDER-SSO يمكن أن يكون ستوكاستيك تعقيد التدرج من حلول ونقطة مستقرة خطأ الدرجة الأولى إرضاء وتلبية نقطة مستقرا أخطاء الدرجة الثانية. وبالإضافة إلى ذلك، على سبيل التدرج محدود والاستمرارية تامار ولقاء العائلة وظائف والنظام SPIDER-SFO في الحصول على نقطة مستقرة وصلت تقريبا خوارزمية المربوطة أقل.

SPIDER-SFO

SPIDER-SSO

3. استنادا إلى البيانات التاريخية المرجح بشكل كبير في التعلم دفعات التقليد

مرجح بشكل كبير تقليد التعلم للدفعات البيانات التاريخية

الدراسة التي قامت بها تينسنت مستقلة AI مختبر، درس استخدام البيانات التاريخية فقط في الجزء الأكبر من عمق استراتيجيات التعلم. هذه الورقة، ونحن نستخدم الاعتبار الرئيسي فقط هو عمق البيانات التاريخية استراتيجيات التعلم. ويتمثل التحدي الرئيسي لهذه المشكلة هو أنه مع معظم تعزيز التعلم مشكلة مختلفة، لم يعد لدينا جهاز محاكاة بيئة للتعلم. لحل هذه المشكلة، واقترح الباحثون التقليد رتابة تعلم خوارزمية ميزة المرجح التعلم من البيانات التاريخية، ويمكن تطبيقها لمشكلة معقدة تقريب وظيفة غير الخطية والاختلاط مساحة العمل. هذه الطريقة لا تعتمد على البيانات المستخدمة لتوليد المعرفة من الاستراتيجيات السلوكية، ويمكن استخدامه لالبيانات التي تم إنشاؤها من تعلم السياسات غير معروف. تحت بعض الظروف، الخوارزمية (على الرغم بسيطة جدا) استراتيجية قد يثبت لتعزيز الأدنى، وتأثير في التجربة من الأساليب الأخرى، ومن المتوقع أن توفر معرفة أفضل لتقليد عبة معقدة AI. ويقدم ورقة أيضا فعالية الخوارزمية لعرض التجارب العددية التفصيلية المقدمة.

4. FIG يتعلم بسرعة أخذ العينات التكيف القائم

التكيف أخذ العينات نحو سريع الرسم البياني التمثيل التعلم

عنوان ورقة: الشبكي: //arxiv.org/abs/1809.05343

وقد أجريت الدراسة بشكل مستقل من قبل تينسنت AI مختبر، اقترح طريقة تصنيف العقدة مناسبة للشبكات الاجتماعية على نطاق واسع. ويمكن التعبير عن الشبكات الاجتماعية في شكل رسم الخرائط (الرسم البياني)، في حين أصبح الشكل شبكة العقدة التفاف الرسم البياني هام التمثيل أداة تعليمية. والشكل التفاف باستخدام الشبكة على خريطة واسعة النطاق وقتا هائلا والحمل مساحة، الذي يتكون أساسا من التوسع غير المحدود الناجم عن الجيران. في هذه الورقة، وصمم الباحثون طبقة التكيف بطرق أخذ العينات طبقة، ويمكن تسريع التفاف التدريب خريطة للشبكة. عن طريق بناء كل طبقة من الشبكة العصبية من أعلى إلى أسفل، العقدة أخذ العينات أقل استنادا إلى أعلى عقدة، قد يكون من النوع الذي أخذ عينات من الغدد الجار المشتركة من قبل العقدة الأصل مختلفة من كل طبقة ويسهل للحد من عدد من العقد لتجنب الإفراط في التوسع . الأهم من ذلك أن طريقة أخذ العينات الجديد المقترح يمكن أن تقلل بشكل واضح التباين أخذ العينات، فإنه يمكن تعزيز تدريب الأسلوب. يقترح الباحثون كذلك رواية والهيب التكلفة (القفز) طريقة اتصال يمكن استخدامها لتعزيز نشر المعلومات بين العقد البعيدة عن بعضها البعض. وأجرى الباحثون عددا من التجارب في العديد من قواعد البيانات العامة، أظهرت النتائج أن نهجنا هو فعال ويمكن أن تتقارب بسرعة.

سلسلة العائد المالي مع خسارة غير المتماثلة الخصائص الذيل الثقيلة من الاسعار المنخفضة الأبعاد بسيطة الانحدار quantile

شديد البخل Quantile انحدار المالية الأصول الذيل حيوية عبر متسلسل التعلم

الدراسة التي تينسنت AI مختبر بقيادة الولايات المتحدة، وجامعة سيتي في هونغ كونغ والجامعة الصينية في هونغ كونغ في التعاون. هذا ويعرض ورقة بسيطة، وانخفاض الأبعاد إطار quantile الانحدار لدراسة السلوك الديناميكي للذيل من الأصول المالية. طريقة بيانات مدفوعة، أي خسارة في الوزن نهايات ذيل عدم التماثل يصفون على نطاق واسع سلسلة زمنية المالية، ولكن أيضا ظروف جيدة فهم متفاوتة وظيفة quantile مميزة. وميزة هذه الطريقة تسلسل LSTM نموذج الشبكة العصبية مع البناء الجديد لتمثيل عائدات الظروف أسعار الأصول وظيفة quantile حدودي مجتمعة معا. الباحثون ما يصل الى 68 عاما (1950-2018) من البيانات التاريخية، والبحوث في الأسهم والسندات وأصول النقد الأجنبي من الفئات الثلاث من 14 نوعا من البرامج التي سمة هامة من سمات هذا الأسلوب هو أنه يمكن استخراج البيانات شبه حدودي قد تكون موجودة في تطور غير الخطية من وظيفة الظروف الخمس. هذه الآلية هو أمر حاسم لتلك ضبط يقود سيارة في حين حظات أعلى يمكن أن تصبح وتطور مستقل في معامل التقلب. ويبين المقارنة أن نموذج أداء التنبؤ عينة الخارجي الجديد المقترح هو أفضل من النماذج GARCH. في نفس الوقت هذه الطريقة ليس فقط لا يؤدي إلى عبر quantile، ولا حدودي كثافة الاحتمال طريقة ظيفة هو مشكلة سوء تشكلها. التطبيقات، التي يمكن استخدامها لتمويل السوق الثانوية (بما في ذلك الأسهم والعملات والسندات والسلع، الخ) التنبؤ خطر تقلب والذيل والتنبؤ، ويمكن أن تقوم به قيمة هامة في إدارة المخاطر في المؤسسات المالية.

6. الشبكات العصبية غير محلي، نموذج نشر غير محلي وغير محلي

الشبكات العصبية غير محلي، غير محلي الانتشار وغير محلي النمذجة

عنوان ورقة: الشبكي: //arxiv.org/abs/1806.00681

الدراسة بقيادة تينسنت AI مختبر، بالتعاون مع جامعة كولومبيا. في هذه الورقة، مصفوفة الباحثون من خلال شبكة من الوزن المناسب المدربين تدريبا جيدا التحليل الطيفي لاستكشاف لفهم طبيعة وتأثير منع انتشار شبكة غير المحلية، وبناء على هذه الورقة، وحدة نمطية غير محلية جديدة طريقة البناء. وهذه الوحدة الجديدة لا تعلم فقط التفاعلات غير محلي، ولكن أيضا على استقرار الطبيعة الديناميكية لدعم بنية غير محلي أعمق - حتى وحدات أكثر غير محلي يمكن أن تكون مكدسة على الاستفادة الكاملة من مزاياها. وبالإضافة إلى ذلك، تبنى الباحثون أيضا ويتم تحليل هذه الأساليب من وجهة نظر النمذجة أغراض العامة غير محلي، اقترح عدم الاتصال نموذج محلي آخر جديد شبكة غير محلي غير محلي نشر غير محلي عمليات القفز ماركوف، الخ معا. عملية التفاف المحلية وغير دورية مع وحدات مختلفة، يمكن أن تنفذها التفاعل تعتمد طويلة المدى بين كل زوج من موقف الفضاء ميزة تحسب مباشرة. آلة التعلم العديد من المشاكل العملية دراسة الصور أو الفيديو تصنيف، تلخيص النص وتحليل الأسواق المالية، والتي هي أهمية توجيه الهامة.

أحداث الفيديو كثيفة ملحوظ تحت إشراف 7. ضعيفة

ضعيف إشراف الكثيفة حدث السفلية في فيديو

الدراسة التي تينسنت AI مختبر وجامعة تسينغهوا، معهد ماساتشوستس للتكنولوجيا (MIT)، ومايكروسوفت للبحوث آسيا (MSRA)

التعاون. اقترحنا طريقة استخدام ضعيفة علامة الطريق الرقابة في أحداث الفيديو كثيفة، والتي يمكن أن تخفف من الحاجة إلى التدريب نموذج مكلفة البيانات يدويا الشرح. هذا الأسلوب لم يعد بحاجة إلى أن يحدث الفاصل الزمني لكل حدث لتدريب نموذج، ولكن على أساس المراسلات على افتراض أن كل فترة زمنية فقط لغة الوصف ولكل لغة لوصف يتوافق فقط لفترة زمنية. أحد الافتراضات المراسلات تأسست في المهام المفتوحة الحالية والمشهد الحقيقي. وبناء على هذا، والباحثين عن المشكلة الأصلية في زوج من مشكلة مزدوجة: وصف الحدث والبيانات لتحديد المواقع، واقترح الدورة الدموية لتدريب النموذج. الباحثون بإجراء عدد من التجارب، فقد بينت النتائج أن الطريقة يمكن أن تحل الحدث الفيديو كثيفة تميز كلا المهام والبيانات وتحديد المواقع.

نموذج القطار الجديد المقترح هيكل ومتصلة كما هو مبين أعلاه في FIG. يتكون نموذج لبيان وتحديد المواقع مولد وصف تكوينها. خلال التدريب، ويمكن استخدام النموذج لجميع أوصاف الفيديو والحدث. وتحديد المواقع البيان الأول استخدام وصف الحدث الفيديو وفيها شريحة الوقت للحصول على التنبؤ، ومن ثم يستخدم هذا الوصف مولد لتوليد وقت وصف شريحة بيان.

8. بناء على تكوين الكون القيد التعلم شبه إشراف

التعلم شبه أشرف مع القيود الانتروبيا محدد بشكل إلزامي

عنوان ورقة: الشبكي: //arxiv.org/abs/1804.09238

في دراسة قامت بها جامعة كارنيجي ميلون (CMU) بالتعاون مع تينسنت AI لاب، طريقة شبه يشرف تعلم قائمة التعريفي جديدة من القواعد يمكن تخصيص للتعلم شبه إشراف. وهذه الطريقة يمكن الجمع بين عدة استراتيجيات التعلم شبه أشرف، ويمكن الجمع بين بروتوكولات متعددة (الاتفاق) والقيود تنظيم الكون (تنظيم التدهور الحتمي) القيود. وبالإضافة إلى ذلك، يمكن أيضا أن هذه الطريقة يمكن استخدامها لمحاكاة نماذج مشتركة أخرى، مثل التدريب المشترك وطرق الكشف عن مجريات الأمور في المجال الجديد. بالإضافة إلى شبه يشرف تعلم طريقة الكشف عن مجريات الأمور من تميز واحدة، وأظهر الباحثون أيضا أن التكوين يمكن أن يكون الأمثل باستخدام النظرية الافتراضية أكثر الاستدلال معا. وقد اظهرت النتائج على تعدد مجموعات من البيانات أن هذه الطريقة أفضل من الطرق الأخرى ثابت، وفي مهمة أكثر صعوبة للحصول على النتائج استخراج العلاقة بين التيار أفضل.

وصف التعريفي للحكم التعلم شبه أشرف

9. عمق تقريبي للإزالة التفاف غير أعمى المعمم على أساس مرتبة متدنية

ديب غير الأكفاء إزالة التفاف عبر المعمم منخفضة الرتبة التقريب

في دراسة قامت بها منظمة العفو الدولية تينسنت مختبر، وأكاديمية العلوم للعمال بريد إلكتروني، جامعة نانجينغ وجامعة كاليفورنيا، ميرسيد الحرم الجامعي والتعاون الأخرى. في هذه الورقة، وطريقة أعمى إزالة التفاف العميق على أساس مرتبة متدنية ميزات pseudoinverse طمس النواة، يمكن التعامل مع مختلف طمس الصورة التي تسببها نواة طمس، وخاصة تأثير أفضل من بكسل المشبعة وجود عدم وضوح الصورة. لأول مرة، وعدد كبير من الباحثين عن نواة طمس المعمم مرتبة متدنية التحلل، ويتم تهيئة معلمات الشبكة باستخدام ناقلات قيمة الميزة عن التحلل، بحيث محاكاة pseudoinverse على شبكة الإنترنت أفضل نواة طمس. وعلاوة على ذلك، استنادا إلى المعمم مصفوفة التحلل مرتبة متدنية تقريب يمكن التمييز بشكل فعال خصائص الاختلاف مختلفة pseudoinverse طمس النواة، وبالتالي فإن الشبكة يمكن أن تساعد في استعادة صورة أفضل. الباحثون إجراء التجارب على عدد كبير من بكسل المشبعة الصورة غير واضحة، فقد بينت النتائج أن هذه الطريقة يمكن الحصول على نتائج أفضل صورة إزالة التفاف. ووفقا للتقارير، يمكن تطبيق الطريقة على الكاميرا، على متن الحصول على البيانات ورصد المعدات المعروفة استعادة الصورة في حالة مسار.

الجديد المقترح إزالة التفاف هندسة الشبكات، حيث المعلمات لتهيئة الطبقة الأولى والطبقة الثالثة كمية كبيرة طمس النواة (نواة طمس) مرشحات للانفصال من خلال رتبة منخفضة المعمم قرب (GLRA)، واستخدام لكل غامض M النووية يقدر الثابتة المعلمة الثانية من نواة الالتواء. أيضا ثلاث طبقات إضافية مكدسة الإلتواء لإزالة القطع الأثرية.

10. ما وراء الثاني نموذج الاحالة: ترقية خريطة مطابقة رسمية

مطابقة التعميم الرسم البياني خارج الدرجة الثانية تعيين نموذج

في دراسة قامت بها منظمة العفو الدولية تينسنت مختبر، جامعة جياوتونغ فى شانغهاى، جامعة ولاية أريزونا والتعاون بين الولايات المتحدة الآخرين. مباراة الشكل في العقود القليلة الماضية أصيب مذكرة مفاهيمية، وغالبا ما تكون المشكلة في شكل الاحالة إلى مشكلة من الدرجة الثانية. تظهر الباحثون هنا: من خلال طرح مجموعة من الوظائف ويشار إلى انفصال هنا، وضبط ما يقرب من المعلمات السيطرة يمكن أن يقترب في FIG مطابقة التدريجي المجال منفصلة على التوالي. الباحثون ودرس خصائص الأمثل العالمية نموذج تقريبي، وكذلك تصميم خوارزمية ممتدة في الذكور خصائص عقد / الإناث، استراتيجية مماثلة الذي كان أيضا يستخدم لولر الثانوي التقليدي على نموذج تعيين على نطاق واسع. من الناحية النظرية، أظهر الباحثون كذلك إمكانات كبيرة لإطار خوارزميات الرسم البياني مطابقة والتكنولوجيات الجديدة مصممة لجعل المقترحة. وأخيرا، شكل اثنين من وظائف للانفصال معينة، وقد ابتكر الباحثون خوارزمية ذات الصلة، والتحقق منها في مجموعة البيانات والكشف عنها.

11. كلمة التضمين والنمذجة على أساس موضوع التقطير التعلم اسرشتاين

المقطر اسرشتاين التعلم لبرنامج Word التضمين وموضوع النمذجة

عنوان ورقة: الشبكي: //arxiv.org/abs/1809.04705

الدراسة التي InfiniaML، وشركة وجامعة ديوك، أدت بالتعاون مع تينسنت AI مختبر. في هذه الورقة، اسرشتاين تعلم الأسلوب مع تقطير آلية لتحقيق كلمة التعلم مشتركة مع الموضوعات النص. وتستند هذه الطريقة على مواضيع مختلفة من الكلمات التي التوزيع بعد اسرشتاين غالبا ما يستند على كلمة جزءا لا يتجزأ من المسافة الإقليدية أعلاه. وهكذا، يستخدم هذا الأسلوب إطار موحد للتعلم نموذج كلمة موضوع المقابلة لتوزيع التوزيع الأمثل للانتقال بين الكلمات، وكلمة المقابلة نماذج المضمنة. عندما دراسة الموضوع النموذج، استخدم الباحثون نموذجا التقطير تمهيد الطرق مصفوفة المسافة، ولتحديث النموذج الأفضل موضوع يتعلق انتقال بين الحوسبة. توفر هذه الآلية التقطير هدى قوي للتحديث كلمة جزءا لا يتجزأ من القادم وتحسين التقارب من عملية التعلم. المرضى الذين يتم إدخالهم إلى المستشفى لسجلات الجراحة والأمراض باستخدام ICD الترميز، حقق الباحثون طريقة أفضل من نتائج أسلوب موجود في بناء ذات الصلة مرض الشبكة، والتنبؤ وفيات، وبرامج العلاج الموصى به التطبيقات.

التعلم المشترك للكلمات والموضوعات جزءا لا يتجزأ من النمذجة تقطير اسرشتاين تعلم (DWL) طريقة

12. استنادا إلى عمق تتبع التعلم كبيرة الترددية

تتبع عميقة عبر اليقظة Reciprocative التعلم

عنوان ورقة: الشبكي: //arxiv.org/abs/1810.03851

في دراسة قامت بها منظمة العفو الدولية تينسنت مختبر، جامعة بكين للبريد والاتصالات، جامعة أديلايد في أستراليا وجامعة كاليفورنيا، ميرسيد التعاون الحرم الجامعي. المستمدة من مفهوم علم الأعصاب لتعزيز الانتباه البصري البشري على المعلومات اليومية الجزء الأكثر حساسية في عناية فائقة. في السنوات الأخيرة، والكثير من الأبحاث يحاولون استغلال معلومات مهمة في نظم الرؤية الكمبيوتر. في هذه المهمة تتبع البصرية، وتتبع تغير الكائن الهدف يمثل تحديا للغاية. يمكن أن تركز FIG استجابة كبيرة على ويتميز الكائن تتبع الهدف في الاستقرار نطاق الوقت، فمن الممكن للتخفيف من الصعوبات التي تتبع البصرية. في الإطار القائم على الكشف تتبع التقليدية والتصنيف وأي تصميم كبير، مثل أن الاستخدام الرئيسي من وحدات إضافية لتوليد الوزن ميزة. هنا، وقد اقترح الباحثون الترددية تعلم خوارزمية الحفر كبير في عملية تدريب المصنف لتوليد استجابة كبيرة لاثنين من أجزاء من واجهة FIG العاملة والخلفي من الخوارزمية. في عملية التدريب، وذلك استجابة لولاية تنظيم FIG ملزمة خسارة تصنيف شبكة التدريب وظيفة تقليدية. في هذه الطريقة المصنف تدريب يمكن الالتفات للتغلب على ظهور تغيرات في خصائص الكائن الهدف. على مجموعات البيانات الكبيرة عدد كبير من التجارب تظهر أن أهمية الباحثين ممتاز اقترحت تتبع الأسلوب على أساس أداء الخوارزمية تتبع التيار الحالية.

ويبين الشكل لمحة عامة عن الترددية التعلم الخوارزمية الجديدة المقترحة. خوارزمية حساب لأول مرة إلى الأمام خلال عينات تدريب درجة تصنيف معين، ثم من خلال اتخاذ مشتق جزئية من عملية فرز نسبة إلى درجة من العينة للحصول على FIG استجابة ذات دلالة إحصائية. هذا الرد ثم بعد FIG كمصطلح تنظيم وتصنيف مجتمعة خسارة للتدريب المصنف. FIG اختبار المرحلة لا تولد استجابة، ولكن توقع موقف الهدف مباشرة عن طريق المصنف.

إطار التعلم 13. متعددة المهام على أساس التعلم L2MT

تعلم تعدد المهام

عنوان ورقة: الشبكي: //arxiv.org/abs/1805.07541

في دراسة أجرتها جامعة هونغ كونغ للعلوم والتكنولوجيا بالتعاون مع تينسنت لاستكمال AI مختبر، اقترح المعهد إطار للتعلم متعددة المهام (L2MT) يمكن أن تكتشف مشكلة تعدد المهام تلقائيا لأفضل تعدد المهام نموذج التعلم. ولتحقيق هذا الهدف، والميزة L2MT الكاملة للمتعددة المهام تجربة تعليمية التاريخ. كل تجربة تعليمية متعددة المهام هي ثلاثة أضعاف، بما في ذلك مشكلة متعددة المهام تتكون من مهام متعددة، ومتعددة المهام التعلم نموذج ونموذج اختبار نسبي معدل الخطأ في مسألة تعدد المهام. متعددة المهام تجربة تعليمية التاريخ كمجموعة التدريب، L2MT أول استخدام خريطة الطبقات الشبكة العصبية (layerwise الرسم البياني الشبكة العصبية) مشاكل في التعلم في كل متعددة المهام تتميز جميع المهام التمثيل. ثانيا، سوف L2MT تعلم التنبؤ وظيفة تقديرا لاختبار معدل الخطأ النسبي، وظيفة تقدير أساس تعدد المهام تمثيل ميزة وقضية نموذج التعلم متعددة المهام. وهكذا، ونظرا لمشكلة تعدد المهام الجديدة عن طريق التقليل من مهمة التقييم (أي ما يعادل تقليل نسبة الخطأ نسبي) قد تحدد نموذج تعدد المهام مناسبة. النتائج التجريبية على مجموعات البيانات القياسي تثبت فعالية L2MT.

ويوضح الشكل إطار L2MT، والإطار تتألف من مرحلتين. تدريب المرحلة هو أن نتعلم الدالة f تقدير (. )، استنادا إلى مجموعة التدريب البيانات ونموذج محددة متعددة المهام لتقريب وأخطاء القياس النسبي، مرحلة الاختبار عن طريق التقليل من الخطأ و demodulated (القرب مع تغيير 1f ( E ~، )) لمعرفة مصفوفة التغاير المهمة.

14. الشبكة العصبية يمكن قناة التمايز عمق التقليم

التمييز على علم قناة التقليم عن الشبكات العصبية العميقة

تم تحسين الدراسة التي قام بها مختبر جامعة جنوب الصين للتكنولوجيا وجامعة أديلايد التعاون AI تينسنت على طريقة قناة التقليم. التقليم هي قناة عمق وسيلة ضغط نموذج رئيسي. للطريقة التقليدية من التقليم إما عن طريق فرض قيود قليلة الصفر التدريب قناة، أو تقليل الخطأ بين بناؤها بعد ميزة ما قبل التدريب وميزة مضغوط. كل من السياسات أوجه القصور: الأول هو مكثفة حسابيا ومن الصعب أن تتلاقى، التي تعنى فقط مع الخطأ إعادة الإعمار وتجاهل القناة القوة التمييزية. للتغلب على هذه العيوب، وقد ابتكر الباحثون بسيطة ولكنها طريقة فعالة - قد التمايز قناة تقليم - لاختيار تلك القنوات التي تميز حقا القدرة. تحقيقا لهذه الغاية، عرض الباحثون خسائر إضافية لزيادة القوة التمييزية للطبقة الوسطى من الشبكة العصبية. بعد يختار ثم يتم تحديد أقوى قدرة قناة من كل طبقة، في حين تنظر أيضا في خسائر إضافية جديدة والخطأ إعادة الإعمار. وأخيرا، فإن الباحثين اقترح أيضا خوارزمية الجشع، فإنه يمكن استخدامها لاختيار قناة وتحسين المعلمة تكرارا. تظهر الباحثون بإجراء عدد كبير من النتائج التجريبية أن الطريقة فعالة. على سبيل المثال، في مجموعة البيانات ILSVRC-12، بنسبة 30 بعد مرور مبلغ مضغوط ResNet-50 كما حققت 0.39 أعلى من طريقة الأصلي من دقة التعرف.

قناة التمايز قد تقليم (DCP) التخطيطي

15. M-ووك: مونت كارلو شجرة بحث أسلوب التعلم من FIG تجول

M-ووك: تعلم المشي في الرسم البياني مع مونتي كارلو شجرة البحث

عنوان ورقة: الشبكي: //arxiv.org/abs/1802.04394

التعاون البحثي بين مايكروسوفت للبحوث وتينسنت AI مختبر الانتهاء، اقترح مونتي كارلو طريقة البحث لمعرفة شجرة وM-ووك للتفكير ورسم الخرائط المعرفة. في تطبيقات مثل قاعدة معرفية كاملة، نظرا لإدخال الاستعلام وعقدة المصدر، أن نتعلم كيف تصل إلى العقدة الهدف هي القضايا البحثية الهامة جدا في الشكل. يمكن أن تصاغ هذه المشكلة باعتبارها مشكلة التعلم عن طريق تعزيز نموذج انتقال الدولة المعروفة. للتغلب على مكافأة متفرق المشكلة، طور الباحثون M-Walk-- نوع واحد من وكيل يمكن السير في الشكل يتكون من دورة عميق الشبكة العصبية (RNN) ومونت كارلو شجرة البحث (MCTS). سوف RNN الدولة (أي شوط من خلال تاريخ مسار) يتم تعيين الترميز، والتي لسياسة، قيمة الدولة والدولة - تشغيل من قيمة Q. من أجل تدريب فعال باستخدام متفرق مكافأة الوكيل، المراكز الباحثون جنبا إلى جنب مع سياسة الشبكة العصبية معا، يمكنك توليد الحوافز لانتاج مسار أكثر إيجابية. Q عن طريق التعلم طريقة (والتي سيتم تعديلها من قبل تقاسم سياسة المعلمة RNN)، والشبكة العصبية يمكن أن تستخدم بطريقة هذه المسارات من استراتيجيات تحسين. تعزيز خوارزمية التعلم المقترحة من قبل الباحثين يمكن أن تنطبق مرارا وتكرارا هذه الاستراتيجية لتحسين الخطوات للحصول على نموذج التعلم كله. في اختبار الزمن، سوف MCTS لا يزال حتى واستراتيجية العصبية للتنبؤ عقدة الوجهة. تظهر الباحثين أجروا تجارب على عدة نتائج خريطة مسافة القياسي الذي M-المشي قادرة على تعلم أكثر من غيرها (تقوم أساسا على التدرج السياسة) أفضل استراتيجية تقوم على تدعيم التعلم. الأداء M-ووك متفوقة على مرجعية كاملة المعرفة التقليدية.

M-ووك العمارة العصبية

16. اقتران الأمثل جزءا لا يتجزأ من طريقة بييز التغاير

بايز جانب طريق تباين الأمثل تضمين

الدراسة، التي أجرتها جامعة إلينوي في أوربانا معهد جورجيا للتكنولوجيا - شامبين، تينسنت AI مختبر والتعاون أبحاث مايكروسوفت، التي شيدت ورقة فئة توزيع دعا الأمثل جزءا لا يتجزأ من (الأمثل التضمين)، ويمكن أن تساعد في تحقيق تقريب ممتاز القدرة والكفاءة الحسابية، مما يتيح الاختلاف التفكير في تعلم أداء نموذج الرسم البياني هو أفضل (وخاصة على مجموعات البيانات الكبيرة). هذا التضمين تحسين توزيع الطبقة ظيفة مرنة والاختلاف يمكن نموذجا تقترن المعلمات الأصلي معا، ونهاية لهذه الغاية يمكن تنفيذها عن طريق نموذج انتشار الخلفي تعلم FIG باستخدام توزيع التغاير. أيضا من الناحية النظرية أن يرتبط الباحثون مع تدفق التدرج (تدفق التدرج) معا، ويظهر أن الأسرة توزيع الضمنية هي مرنة للغاية بالمعنى المتطرفة. في الواقع، يمكن هذه التقنية تقلل إلى حد كبير فضاء البحث، وبالتالي تسريع كبير في عملية التعلم، واقترح أي اقتران هنا تباين النظرية الافتراضية (CVB). وتبين التجارب أن الأسلوب الجديد المقترح في مجموعة متنوعة من النماذج على FIG (المتغيرات الخفية لديه المستمر أو منفصلة) هي متفوقة على أفضل الطريقة السابقة. ويعتقد الباحثون أن تضمين الأمثل هو عبارة عن تقنية هامة للأغراض العامة، ومن المتوقع أيضا أن تستخدم في توليد نموذج ضد نماذج أخرى، والمواجهة في التدريب المستقبل.

خوارزمية اقتران تباين النظرية الافتراضية

17. تكرارية تقليل طريقة ثابتة خطأ عشوائي التجريبية التعقيد

مؤشر ستوكاستيك الطريقة البدائية المزدوج للتطبيقية المخاطر إلى الحد الأدنى مع O (1) لكل التكرار التعقيد

الدراسة، تينسنت AI مختبر، جامعة كاليفورنيا في ديفيز وجامعة روشستر في التعاون من خلال الجامعة الصينية في هونغ كونغ، والطريقة التي يمكن استخدامها لبسرعة حل مشكلة التقليل من الخطأ استنادا إلى تجربة النماذج الخطية المعممة. خصائص كل التكرار من طريقة ليست سوى O (1) كمية ثابتة من الحساب، بغض النظر عن أبعاد المشكلة وحجم البيانات. طور الباحثون أيضا وسيلة للحد من التباين في المتغير، في ظل ظروف قوية تستطيع أن تثبت أن لديها محدب خطي التقارب. واستخدم الباحثون فقدان اللوجستية وظيفة التجارب العددية لحل مشاكل التصنيف، فقد بينت النتائج أن معدل جديد التقارب الطريقة على مشاكل ارتفاع الأبعاد أفضل من SGD، سيفرحك، SAGA والخوارزميات الكلاسيكية الأخرى.

كل O التكرار عشوائية التكلفة الأصلية (1) - الطريقة المزدوجة (SPD1)

استخدام الحد من التباين في SPD1

توقع عشوائي تعظيم خوارزمية 18. تخفيض التباين

تعظيم التوقعات العشوائية مع الحد من التباين

عنوان ورقة: الشبكي: //ml.cs.tsinghua.edu.cn/~jianfei/semvr-nips2018.pdf

شارك أيضا دراسة كاملة من قبل جامعة تسينغهوا، تينسنت AI مختبر وجامعة أكسفورد التي تقودها. ورقة قدمت على أساس تخفيض التباين عشوائي من EM (SEM-VR) مؤشر ستوكاستيك التدرج الخوارزمية عن تراجع خوارزميات تخفيض التباين وحي. وقد أشارت الدراسات إلى أن SEM-VR دفعة EM ومعدل التقارب الهائل من نفسه، وإلا SEM-VR حجم خطوة ثابت، والتي يمكن أن تقلل من عبء التكيف المعلمة. وقارن الباحثون SEM-VR دفعة وEM، EM وغيرها من خوارزميات عشوائية على التمويه نموذج الخليط وPLSA، تظهر نتائج CONVERGES SEM-VR أسرع بكثير من خوارزميات أخرى. أسلوب التدريب عندما عالية الدقة يمكن أن تحسن بشكل كبير من سرعة تقارب الخوارزمية EM عشوائيا.

19. وهناك طريقة التواصل الأمثل التدرج متفرق يوزعها

التدرج Sparsification لتحسين الموزعة الاتصالات الموفرة لل

عنوان ورقة: الشبكي: //arxiv.org/abs/1710.09854

الدراسة، تينسنت AI مختبر في جامعة شيكاغو وجامعة روتشستر بالتعاون من جامعة ولاية بنسلفانيا، اقترح طريقة التي يمكن استخدامها لتحسين الاتصالات سرعة على نطاق واسع آلة توزيع نماذج التدريب والتعلم. الحديث تعلم الآلة على نطاق واسع في الاستخدام العام خوارزميات التحسين العشوائية في بيئة موزعة، وتكاليف الاتصالات انتشار التدرج هو واحد من عنق الزجاجة الرئيسي. من أجل خفض تكلفة الاتصالات، وقد اقترح الباحثون نظرية بناء على درجة من ترقق طريقة للحد من طول الرمز على أساس الأمثل محدب، واستخدام بعض بسيطة وخوارزمية تقريب سريعة للعثور على طريقة الأمثل ترقق فعالة لتوفير الضمان. وبالإضافة إلى ذلك، قام الباحثون أيضا L2 تنظيم لوجستية الانحدار، تم التحقق التحقق من صحة دعم الخوارزمية المقترحة حديثا على الأجهزة ناقلات الإلتواء ونماذج الشبكة العصبية ونماذج من الذكور غير محدبة.

20. مركز خوارزمية ضغط ل

اللامركزية يلتقي تكميم

عنوان ورقة: الشبكي: //arxiv.org/abs/1803.06443

الدراسة، بالتعاون مع ETH زيورخ AI مختبر تينسنت الذي قامت به جامعة روتشستر، اقترح اثنان تنطبق على اللامركزية وسيلة ضغط الشبكة (الاختلافات استقراء في ضغط وضغط). للحوسبة واسعة النطاق موازاة ذلك، تصميم الشبكات وضغط ونقل مركز المعلومات لتكون فعالة للغاية من أجل حل التأخير الشبكة. ومع ذلك، وبالتوازي مع مركز الحاسب الآلي في مختلف المعارض التحليل النظري مباشرة إلى مركز للشبكة بالتزامن مع خوارزمية ضغط سيؤدي إلى نتائج التدريب لا تتقارب. اثنين من وسيلة ضغط على حل هذه المشكلة الباحثين الخوارزمية المقترحة يمكن تحقيق نفس الكفاءة التشغيلية مع ضغط مركزية. الباحثون جربت أيضا مع اثنين من الخوارزميات، وأظهرت النتائج أنها أفضل بكثير من خوارزمية قضى شبكة مركزية فقط أو مضغوط فقط.

تنمية الطفولة المبكرة PSGD: ضغط استقراء لمركز موازية العشوائية خوارزمية التدرج النسب

DCD-PSGD: التفاضلية ضغط موازية لمركز العشوائية التدرج أصل خوارزمية

ذكرت لى فنغ شبكة AI تقنية مراجعة طبع