الأنفس جي تقرير جديد

المصدر: تويتر، رديت

عن: ون فاي

[استعراض فاز جي الجديدة بالتغريد إيان غودفلوو اليوم انه يشك في أنها آلية مراجعة النظراء أدت إلى تراجع والآن أوراق المؤتمر AI، مراجع متفاوتة الجودة هو السبب الرئيسي، يتم تحديد ورقة أبهى، أوراق جيدة حقا ولكن دفن. كآلية لاستعراض الأقران مزدوجة التعمية منذ الأوساط العلمية كانت دائما، كان يعاني من كارثة غير مسبوقة.

إذا اخترت السماح عالما فقط المجتمع العلمي معايير فخور، ويقدر عدد الناس يقولون "استعراض الأقران".

استعراض الأقران هو العملية التي معظم الصحف المجلات والمؤتمرات الدولية لتقديم الفحص. في كثير من الحالات، سوف محرري المجلات أو مؤتمر دعوة خبراء في مجال معين من الدراسة، لتقييم المادة، للمساعدة في تحديد ما إذا كان يستحق تقديم ورقة للنشر.

وعلى نطاق أوسع، لاستعراض الأقران هو تقييم النتائج من الخبراء والعلماء الأكاديميين المتخصصين في هذا المجال، بما في ذلك نشر الكتابات المنشورة والتعليقات، والجوائز، اللقب المهني، الاستشهادات، أوراق الهوية وهلم جرا.

المجتمع العلمي لاستعراض الأقران هي قادرة على "تصحيح الذاتي" "تطوير الذات" التقليد المجيد: جوهر نظام تقييم علمي لاستعراض الأقران مصممة لإزالة الأخطاء من أشكال مختلفة من الخداع والخطأ التجريبي أو الباحثين، ومنع وكشف خداع الذات التحيز.

ولكن اليوم جوجل الباحث، GAN مخترع وقد نشرت إيان غودفلوو سقسقة: إنه يشتبه في واقع الأمر، والآن هو مراجعة النظراء أسفرت تعلم الآلة في بعض ظاهرة غريبة!

على وجه الخصوص، بعض نتائج التعلم الآلي وأوراق المؤتمر لاستعراض الأقران من منظمة العفو الدولية، لم تفشل فقط للحفاظ على تقليد غرامة من المجتمع العلمي، ولكن تؤدي إلى بعض الأوراق بقعة تم نشرها، والرؤى في كثير من الأحيان بسبب انخفاض مستوى تقييم الناس بها، لم أفهم وكان الرفض أن يدفن.

الآن سوف نستعرض أعلى، هو حقا مشكلة كبيرة.

غودفلوو: أوراق المؤتمر لاستعراض الأقران AI اليوم هو انخفاض في مستوى الجاني!

وقال غودفلوو في سقسقة، والباحثين في كثير من الأحيان ترأس الاجتماع وحقل إدارة فريق بحثي صغير، وقال انه كثيرا ما نرى تعليقات المراجعة الكثير من الناس (بما في ذلك فريقه، بما في ذلك) العمل.

للدراسات التجريبية، ومعظم (الرفض) الرأي ليست "نظرية" ولكن المراجعين لم يذهب لمشكلة محددة لهذه النظرية، ولكن سوف أنها سبب من السهل وصف --Goodfellow الرفض، "انها تهب على الورق، لا يرى صيغة بارد" جيدة رفض للخروج منه، والسبب؟ الكتابة "عدم وجود نظرية" هو مثل.

ترتيب مساهم في التعامل مع مثل هذه المراجعة لذلك، واحدة من أبسط الطرق هو الانضمام إلى العديد من الأسباب والصيغ الرياضية غير مجدية في ورقة. المراجعين عموما لا تعتبر هذه الصيغ لا طائل منه، على العكس من ذلك، للقيام بذلك من خلال عقولهم. "رميت مرارا ورأى يشعر بارد من صيغة أو اسم غير معروف نظرية لى من" معايير الاختبار.

وبالمثل، أشار إلى أن غودفلوو لأولئك الذين يقترحون طريقة جديدة لتحقيق أداء أفضل من الورق، والناس يميلون إلى قراءة استعراض، ومن ثم الرفض على أساس أن ورقة لا يفسر الأداء لماذا هذه الطريقة أفضل . عندما يكون محتوى ورقة وأوضح كل من يقول لا تطير كثيرا، أو ببساطة ليست مدعومة بالأدلة، استعرض بعض الناس لينة القلب سيسمح لهم بالمرور.

بالإضافة إلى ذلك، رأى المراجعين من خلال الملاحظة التجريبية لفهم مبدأ عمل نظام ورقة، في كثير من الأحيان ردود الفعل "لا خوارزمية جديدة". هذه المرة كيف نفعل؟ رمي طريقة جديدة للذهاب على خط يرددون، سواء كانت غير مترابطة معها.

المراجعين القيام عموما ليست مثل الأوراق العلمية البحتة (أوراق العلم)، أن الدراسة النظرية كيف المساهمين؟ من السهل التعامل معها، رمزيا إضافة أساليب هندسية جديدة تسير على الخط.

وأشار غودفلوو خارج، وهناك أيضا يعتمد الفرد على قوة من الأوراق العلمية الحصول على درجات عالية، ولكن عادة إلا بعد أن رفضت مرارا وتكرارا مشروع التقييم بما فيه الكفاية محظوظة ليجد الناس الذين يمكن أن نفهم حقا.

باختصار، قال غودفلوو: "آلة التعلم ظاهرة غريبة اليوم، هناك عدد قليل قد لا يكون سبب، لاستعراض الأقران ولكن طلب المراجعون للرياضيات إضافية (المعادلة)، وزيادة تفسير زائف والأصالة كاذبة، وأنا أصبحت شائعة . "

وأشار إلى أن غودفلوو، بوصفه آلية مراجعة النظراء هو نتيجة لمعايير التقييم من الاختبار العلمي للوقت، ولكن تنفيذ محددة لا يزال حذرا.

كانت خطط التنفيذ الوطنية 2018 النتائج الأولية بها، والبكاء في كل مكان: المراجعين ليس محترف!

ذكر غودفلوو "آلة التعلم ظاهرة غريبة" كان في الواقع نقاش ICML عام 2018. أستاذ مساعد جامعة كارنيجي ميلون زاكاري C.Lipton يدا ستانفورد الباحث يعقوب شتاينهاردت، كتب "تعلم آلة اتجاه مثير للقلق" (مثيرة للقلق الاتجاهات في آلة التعلم للمنح الدراسية)، أدى إلى مناقشات ساخنة.

ليبتون وشتاينهاردت في المادة اشار الى ان هناك العديد من المشاكل الرئيسية في آلة التعلم ورقة اليوم:

ونحن لا يمكن التمييز بين المضاربة موضوعية وتفصيلا.

غير قادر على تحديد سبب لتحقيق نتائج أفضل، على سبيل المثال، عندما تكون في الواقع، بسبب المعلمات فائقة صقل للحصول على نتائج جيدة، لكنه شدد على أن التغييرات غير الضرورية هندسة الشبكات العصبية.

تراكم الصيغ الرياضية: المصطلحات الرياضية مربكة دون توضيح، على سبيل المثال، والخلط بين مفهوم التقنية وغير التقنية.

سوء استخدام اللغة، على سبيل المثال، وذلك لمدة الفن المنطوقة، أو الاستخدام المفرط للشروط الفنية المعمول بها.

في ضوء ذلك، فليس من المستغرب غودفلوو شك، هو اليوم، مما أدى إلى منظمة العفو الدولية والتعلم الآلي مستويات أوراق المؤتمر لاستعراض الأقران الخريف!

بعد رؤية تويت غودفلوو، وافقت ليبتون. فأجاب تقول تويت، في الواقع، الآن إسقاط المستوى لاستعراض الأقران، وما نتج عن ذلك المساهم العقل الملتوية، هي واحدة من الأسباب التي تسبب في آلة التعلم الظواهر الغريبة.

في الواقع، فقط بضعة أيام قبل NIPS 2018 إعلان النتائج الأولية، ودمرت الشبكات الاجتماعية. شكاوى حول نتائج التقييم، إلى حد كبير وأشار إلى أن غودفلوو: لا توجد صيغة رياضية، نتيجة لعدم وجود تفسير ......

من بينها، أكثر مشكلة خطيرة والمراجعين ربما لا المهنية نفسها، لم يقرأ ورقة!

معهد CAS الحاسبات من المعلم الدكتوراه الجديد يقول جي وون، مجموعة خطط التنفيذ الوطنية 2018 ورقة قدمتها، وردود الفعل ليست سيئة للغاية، 6،6،8 (6 = هامشية تقبل، 8 = تقبل).

ومن بين هؤلاء، الذين يعتقدون أن الاستعراض القبول أو قراءة حقا الأوراق، التي قطعناها على أنفسنا الكثير من الأسئلة محددة مستهدفة والتعليقات. اثنين آخرين رفضوا اعتبار أن حصل قد مراجعة فقط يعطي ردود فعل بسيط جدا، ويا للسخرية، هو بالضبط واحدة من الأسباب هو "لا يوجد سبب لتفسير النتائج."

وقال المعلم الدكتوراه،: "من الواضح أن ورقات مراجعة اثنين لا تبدو أو هو، أو هي لم تكن مألوفة مع هذا المجال".

وأضاف "أقول للطلاب، نقض جيدة، لا يزال هناك أمل."

الارتفاع الكبير في عدد من الصحف، وسيتم استعراض ICML، خطط التنفيذ الوطنية وغيرها من أعلى في ورطة

NIPS 2017، مايكروسوفت للبحوث آسيا التعادل فريق الروك في الصحف الأربعة. تشي يوان الجديد في مقابلة مع الدكتور التعادل الصخرة هو حاليا نائب رئيس مايكروسوفت للبحوث آسيا، وهذا الأخير أشار أيضا إلى أنه في السنوات الأخيرة عدد AI وآلة التعلم أوراق المؤتمر الزيادة هو شيء جيد، شيء سيء.

وغودفلوو، نفس الحقل تعلم الآلة الدكتور التعادل الصخور سيتصدر رئيس يقول النظامي، لأنه من الصعب أن تجد المراجعين المؤهلين ما يكفي من الصرامة في وقت قصير، ومحدودية سلطة رئيس المراجعين / حقل من الوقت والجهد، ويمكن فقط نرى الكثير من الأوراق، ويمكن للبقية تجد سوى في بعض الأحيان مراجعة قليلا، وهؤلاء المراجعين ربما بسبب مستوى محدود، لا يمكن أن يكون على بينة من أهمية الابتكار وأوراق ممتازة والرفض المباشر.

من ناحية أخرى، تلك التعليقات تميل إلى أن تكون بعض من التعبئة والتغليف هي جميلة جدا نتيجة، جميلة جدا، ولكن في مجال التنمية ليست كذلك جذب الكثير لدور ورقة، حتى يستأصل الآن مستوى غير المتكافئ للأطروحة الشاملة.

ومع ذلك، فإن الانخفاض في الجودة الشاملة من ورقة ليست ببساطة بسبب الارتفاع الكبير في عدد من الصحف في السنوات الأخيرة، مما أدى إلى المراجعين جودة أقل.

لم NIPS 2014 تجربة، سوف تساهم بنسبة 10 من السنة (أي ما مجموعه 166 ورقة) في وقت واحد إلى اثنين مختلفة تقييمها من قبل لجنة، وتتكون كل لجنة من نصف أعضاء اللجنة المنظمة. وكانت نتائج التقييم مفاجئة: اثنان المقررة من قبل لجنة من 42 ورقة (حوالي 25) منهم. منذ تعتبر لجنة وتمت السيطرة على معدل قبول اثنين من الورق بنحو 22.5، ولجنة التعاقد من 21 ورقة تكون اللجنة المنظمة من الرفض، في حين قبلت اللجنة المنظمة ان 22 ورقات رفض اللجنة المنظمة لمشروع!

كانت تلك واحدة من أوراق جنة التقييم المقبولة، منها ما يقرب من 57 ستكون آخر الرفض جنة المراجعة. وبهذه الطريقة، من الناحية النظرية، إذا إعادة المراجعة، NIPS2014!

فوق تبين التجارب أنه عندما معدل العمالة منخفضة، وتركزت جودة العشوائية من قبول ورقة سوف تتعزز بشكل كبير. على سبيل المثال، في المثال أعلاه، يجب أن يكون قد استأجرت حوالي 7.5، وأكثر من 50 من مشروع المادة رفضت بالإيجاب، ما إذا كان بقية المتوسطة 47 من ورقة قبلت هناك عشوائي.

في المقابل، يستأصل 2014 مساهمة أبعد ما تكون خطط التنفيذ الوطنية 2018 وأكثر من ذلك المشاكل المذكورة أعلاه المعلقين، على الأقل ليست خطيرة جدا.

الكتاب من الأوراق المقبولة عن ذلك، في حد ذاته هو عشوائي.

كما أيضا أرخايف، كما خسر أرخايف: أوراق المؤتمر AI كيف مستقبل المراجعة؟

في الوقت الراهن، والمجلات والمؤتمرات تأخذ طريقة مختلفة لاستعراض الأقران، التعمية واحد، مزدوجة التعمية، ونشرت بعد مراجعة النظراء العام وغيرها من الوسائل لاستعراض الأقران. في أي وضع، واتخاذ الغرض الرئيسي من مراجعة النظراء للتحقق من النتائج التي نشرت للتأكد من أن العمل له تأثير عالمي.

وقد اعتمدت ACL آلية استعراض مزدوجة التعمية، وأحكام الباحثين في غضون فترة معينة لا يمكن تحميلها على ورقة أرخايف، سبب كبير هو أن كممثل للمكتبة ورقة لورقة أرخايف تتداخل مع استعراض الأقران، ولا سيما، مراجعة مزدوجة التعمية .

قد CVPR 2019 رئيس البرنامج، كبير الباحثين في مايكروسوفت للبحوث Huagang بو شي قال في مقابلة ان جي وون الجديد، أرخايف على الرغم من أنها هي مكتبة استعرضت الورقة غير الند، ولكن نشاطها بحيث الآن معظم الباحثين يعتبرون أنها المتابعة العادية مصدر للمعلومات.

ومع ذلك، رئيسا لهيئة تحرير عدد من المؤتمرات الأكاديمية والمجلات الأكاديمية وأكثر من هذا، شي هوا Gangbo تسارع التبادل الأكاديمي في نفس الوقت بالتأكيد أرخايف، وأشار بصراحة إلى أن "أرخايف جعل مزدوج مؤتمر مراجعة أعمى من غير موجودة"، وأرخايف نوعية الورق أيضا "لا بأس به مختلطة".

ولكن الآن، يستأصل مزدوجة التعمية مراجعة مشاكل يتعرض أيضا . كانت هناك دعوة، فمن المستحسن أن "تقييم الطلاب" للشعب على المعلقين - إخفاقها في دعوة طلاب الدكتوراه والطلاب الجامعيين حتى، مضيفا ليس كما صراحة "تقييم الطلاب"، لتمكين الطلاب على المعلقين قراءة الورق، ثم أستاذ وغيرها من التعليقات مشارك كبير من المعلومات الإضافية المتاحة للتقييم النهائي، والتي يمكن أن تكون متفاوتة الجودة مراجع للخروج من الكارثة الحالية إلى حد كبير.

عقدت خمس سنوات فقط سيعرف باسم ICLR "سيتصدر عمق التعلم"، أول من اعتماد آلية تقييم مراجعة المفتوحة الأوراق ومراجعة والطعن من جميع الجمهور، وربما أيضا حل.

رأيك؟

المواد المرجعية

1، غودفلوو تويتر: الشبكي: //threadreaderapp.com/thread/1023606428966080513.html

2، مناقشة رديت ودعا الطلاب للانضمام المراجعين: الشبكي: //www.reddit.com/r/MachineLearning/comments/92cx7p/dstrongly_recommend_to_add_student_reviewer_to_ml/

3، مناقشة رديت، يستأصل 2018 النتائج الأولية الشكوى: الشبكي: //www.reddit.com/r/MachineLearning/comments/924lkp/r_nips_2018_for_those_of_you_that_got_some_harsh/

فاز جي الجديد AI WORLD 2018 تذاكر الجمعية العامة] [الطائر المبكر للبيع!

سيتم عقد جديد جي وون 20 سبتمبر AI WORLD 2018 مؤتمر في مركز المؤتمرات الوطني ببكين، دعا تعلم الآلة العراب، مع التركيز على أستاذ آلة الاستخبارات في جامعة كارنيجي ميلون توم ميتشل، Maike سي نمر مرقس، تشو تشى هوا، وتشنغ تاو كبير، تشن Yiran منظمة العفو الدولية وقادة آخرين ومصير البشرية.

موقع الجمعية العامة الرسمي:

الآن وحتى 19 أغسطس، جي الأنفس الجديد رقم طبعة محدودة من تذاكر وقت مبكر الطيور اتصال وثيق مع الشركة الرائدة عالميا في منظمة العفو الدولية، والذكاء الاصطناعي، شاهد الصناعة العالمية على قدم وساق.

• النشطة تذاكر الصف تصل:

• تذكرة خط نشط رمز ثنائي الأبعاد: