لى فنغ شبكة AI تقنية مراجعة من قبل: طالبين في جامعة ستانفورد هابيل L Peirson V وميلتم Tolunay اعربوا عن CS224n أطروحة التخرج - ولدت من عمق الشبكة العصبية حزمة التعبير (تقرأ الأيمن). محتويات الرئيسية للالورقة هو توليد التعليمات المرتبطة بها (Tucao) وفقا لمحتوى الصورة. قد لا يكون ورقة ورقة بكل جدية أخرى، ولكن أيضا أفكار غريبة تسويتها، والمقالات، ولقد تم نشر التعليمات البرمجية. لى فنغ شبكة AI تقنية الاستعراض كذلك شرح مقتضب لمضمون ورقة.
ملخص
هابيل وميلتم طالبين تطوير نوع جديد من نظام توليد حزمة التعبير يمكن أن تعطي الصور تلقائيا إلى الصورة مع النص المطابق (التعبير). وبالإضافة إلى ذلك، يمكن أيضا أن تطبق النظام إلى علامات المعرفة من قبل المستخدم، مما يسمح للمستخدمين اضغط على الصورة ينقسم من فئة لأبسط (حزمة التعبير). الكتلة النظام هو استخدام شبكة التأسيس-V3 المدربين قبل يولد صورة مضمنة، ثم تمريرها لتوليد نموذج LSTM العميق للاهتمام على أساس تعليق أخير، واستلهم ممارسة برفع ونموذج تل الشهيرة، فهي أيضا معدلة بشكل طفيف بحث خوارزمية لضمان التنوع مع كلمة (عدو الجنائي الذباب شقيق + مع الكلمات). أنها تخلط بين استخدام التقييم وتقييم البشر لتقييم نموذجهم، مؤشر التقييم هو حزمة أساسا ذات شقين تعبير عن نوعية البناء، وثانيا، ما إذا كانت حقيقية.
مقدمة موجزة
كل ثقافة أن التعبير عن حزمة شعبية يمثل أسلوب مفهوم أو السلوك (Tucao)، وهي مصممة عادة للتعبير عن ظاهرة معينة والموضوعات والمعاني (شخص اجتماعي؟).
حزمة التعبير في كل مكان، في اللغة والاسلوب المتغيرة باستمرار (الأحمر عبر شبكة الغاز). حزمة التعبير تشكيلة واسعة من مصادر الإلهام، ولكن أيضا في شكل تطور مستمر. كتبت فقط استخدام حزمة التعبير الثقافية (ولا سيما ثقافة فرعية) الموضوع إلى متوسطة انتشار النكتة. ومع ذلك، حزمة التعبير أن تستخدم أيضا لتعزيز المثل العليا السياسية :) انتشار التعاطف مع الأقلية لتوزيع الصوت. حزمة التعبير هي الوسائل الخاصة هذا الجيل من الاتصالات، ولكن أيضا الشكل الحقيقي لهذا الجيل. AI الآن النامية تحديات جديدة بسرعة، والتي تشتد الحاجة إليها. حزمة التعبير عن ذات أهمية كبيرة تحتاج أيضا قدرة قوية لفهم، ولذلك حدد العنصر (بكل جدية).
أنجزت هذه المهمة تأثير فقط على الخريطة، وهذا هو، إلى الصورة مع الكلمات. هذا النهج يبسط إلى حد كبير مشكلة وصعوبة جمع البيانات (1 يا يا ت 1). هذه الورقة هي الأكثر مهمة هامة لانتاج مرتبطة إلى حد كبير مع الصورة من الفكاهة مع الكلمات، يمكن أن تعابير الوجه يكون نوعا من حزمة القالب. أنها تستخدم لتعليق الصورة نظام الترميز الحالي، وهي المرحلة الأولى من الصور CNN جزءا لا يتجزأ، ثم استخدام LSTM-RNN لتوليد النص. وقاموا أيضا باختبار نماذج LSTM المختلفة وتقييم أدائها.
توليد حزمة عاطفة التقييم التلقائي للجودة أمر صعب. الحيرة لأنها تستخدم المؤشرات لتقييم وضبط نماذجها، ودرجة من الارتباك مع BLEU ترتبط إلى حد كبير (الجاهز بلغتين التقييم) العشرات. ويتم التقييم الكمي من خلال اختبار الإنسان. تحتاج اختبار للتمييز لم يتم إنشاء حزمة المشاعر الإنسانية، أو تقييم مدى فرحة حزمة التعبير، بعد كل شيء، والروح من حزمة التعبير المثير للاهتمام.
خلفية والعمل المتصل بها
الأول، نموذج الشرح الصورة
صورة توضيحية للنموذج: "مشاهدة وأخبر العصبي مولد صورة توضيحية" (https://arxiv.org/abs/1411.4555) من هذه المادة لتعريفهم مواجهة الفخذين نموذج الجيل حزمة و. في السنوات الأخيرة، والتحسينات في نموذج تحسنت كثيرا خلال استخدام آليات LSTM والاهتمام في اتجاهين. ولكن هذه ليست هي النموذج الأساسي ل "تعليق روح الدعابة". محاولة StyleNet نجاح أيضا محدودة فقط، ولكن توفر هذه النماذج الذخيرة لصاحب المشروع.
اثنين، RNN لنمذجة اللغة
حققت RNN نموذج ومشتقاته مؤخرا على أفضل النتائج في المهام NLP على نمذجة اللغة والترجمة الآلية. LSTM التي هي مؤثرة بشكل خاص، لأنها تستخدم "النابضة آلية" لبيانات الذاكرة فترة طويلة. وحدة اثنين LSTM يستخدمها المؤلف نتيجة لهذه العملية على أساس الصيغة التالية:
حيث f هو باب النسيان، أنا هو بوابة المدخلات، س هو بوابة الإخراج، m هو الناتج من الذاكرة، W هو مصفوفة التدريب. يتم تنفيذ التنبؤ كلمة من المفردات الناتج احتمال طبقات توزيع softmax كل كلمة.
الثالث، ناقلات قفاز تدريب قبل
استخدام ناقلات جزءا لا يتجزأ من لتمثيل الكلمات في العديد من المهام NLP هي الدلالات الهامة وسائل التقاط التشابه. هم ناقلات جزءا لا يتجزأ المستخدمة في المشروع من "قفاز: ناقلات العالمي للتمثيل كلمة" ( من هذه المادة.
أربعة، وآلية RNN الاهتمام
في النمذجة لغة، وتوليد النص، والترجمة الآلية وغيرها من المهام NLP باستمرار، وآلية الانتباه إلى حل مشكلة محددة التكيف طول متجه ليست سلسلة طويلة. واضعي النموذج هو البديل باستخدام نموذج الاهتمام لونغ وآخرون (https://arxiv.org/abs/1508.04025).
أساليب محددة
أولا، قاعدة البيانات
مجموعة البيانات الخاصة يحتوي على 400،000 الصور وكتابة خاصة بهم كود بايثون من تسلق القادمة. قبل التدريب الرسمي، المؤلف من تجهيزها البيانات، يتم تخفيض الملاحظات من كل كلمة لتتناسب مع شكل قفاز، تتم معالجة علامات الترقيم أيضا تمريرة.
الثاني، فإن النموذج البديل
التشفير: دور التشفير إلى وحدة فك الترميز هو سبب الوجود. اثنين من الطلاب القيام المشروع المتغيرات ثلاثة نموذج (جيد جدا)، يتم تجاهل العلامة الأولى، والثانية مع التسمية، والثالثة في الأساس الثاني أضاف أيضا آلية الاهتمام.
فك: فك LSTM بواسطة شبكة في اتجاه واحد لتشغيل الشبكة وفقا للمعادلة المذكورة أعلاه. كل وحدة LSTM إعادة استخدام متغيرات النمط. توصيل معنى وجوده مع وعاء التشفير فك، أول اثنين من المتغيرات الثلاثة من نفس فك يمكن حلها، بعد البلاغ لم يذكر كيفية حلها.
المنطق والحزم البحث: وجد الباحثون أن خوارزمية الاستدلال استنادا إلى معايير البحث شعاع في تطبيق حاسمة مع ذلك، قرر استخدام هذه الخوارزمية لتوليد تنوع التعبير من أجل ضمان الحزمة، وأضافوا أيضا في خوارزمية وظيفة من درجة الحرارة.
تجربة
أول والتدريب
مستقرة جدا (وليس عدد من العمليات).
الثانية، ونتائج التقييم
قد يكون أيضا (اه، تم حذف أكثر عملية).
نأتي إلى تقدير بعض منه التعبير ولدت
ملخص
وتصف هذه الورقة كيفية استخدام نموذج الشبكة العصبية للذهاب مع الكلمة إلى الصورة لتوليد حزمة التعبير. ميلتم هابيل واثنين من الطلاب وضعت عددا من نموذج المتغيرات، المعلمة وبلا علامات لديهم وسيلة للتعامل مع (شاملة)، ولكن كما يوفر LSTM نموذج ضبطها بشكل جيد، سواء للقيام بمساهمة صغيرة قليلا لغة النمذجة (متواضعة). أظهرت النتائج النهائية للفحوصات التي حزمة الجيل التعبير وإنتاج حزمة التعبير الإنسان لا يمكن أن تميز بسهولة بين (أعتقد).
اثنين من الطلاب يعتقدون أن التحدي الأكبر لهذا المشروع وغيرها من المهام النمذجة لغة مماثل فهم جحر مختلف الشعوب والثقافات. وسوف نواصل العمل في المستقبل. هناك سؤال أخير واحد، ومجموعة البيانات هناك تحيز والتمييز العنصري والمساواة بين الجنسين، وبعد عمل بعد كما أنها تولي اهتماما لحل هذه المشكلة.
وهذه كلها جمعت محتوى شبكة لى فنغ
عنوان ورقة: الشبكي: //arxiv.org/abs/1806.04510
