AIS (ACL، IJCAI، مكتب المفتش العام) 2018

الدورة 5: آلة التعلم والتطبيقات

1 الجامعة SHENDA تشونغ للعلوم والتكنولوجيا في الصين

نهج التعلم المشتركة لتقييم مقابلة ذكي وظيفة

أول نظرة على لدينا الحافز، التوظيف في المقابلات باعتبارها جزءا هاما. وتلقى المزيد والمزيد من الاهتمام. ومع ذلك، فإن عملية إجراء المقابلات التقليدية، هناك بعض السلبيات التي لا مفر منها. على سبيل المثال، إجراء مقابلات مع قرار المقابلة يعتمد بشكل رئيسي على الحكم الشخصي، فإن المقابلة ستكون حتما تفضيل شخصي والخبرة والمواهب النفوذ، قدر معين من التحيز، وخاصة لبعض الممارسين في وقت مبكر، إلا أن المقابلة لا خبرة. بالنسبة لبعض المحاور محنك، يمكن أن تجربتهم بالكاد تكون موروثة المقابلة الأولية للتعلم. ثانيا، على الرغم من الآن بعض الشركات قد تراكمت كميات كبيرة من مقابلة عمل البيانات، ولكن المقابلة تعزيز تأثير من وجهة نظر العمل استخراج البيانات صغيرة جدا. على وجه الخصوص، لاستكشاف تجربة المقابلة ممتازة.

تحقيقا لهذه الغاية، ونحن نهدف من هذا العمل هو دراسة في مقابلة مسجلة من قبل عدد كبير من المقابلة ممتازة للمشاركة في مقابلة لاستكشاف العلاقة المتأصلة بين عدة أنواع من النص. انهم "الوصف الوظيفي، السيرة الذاتية والمقابلة بين مشاركات" المقابلة ممتازة للعثور على التركيز الرئيسي في المقابلة، لمواصلة مساعدة مقابلة وهلم جرا. الذاتية التحسين، محاباة من أسئلة المقابلة التقليدية.

ولكن في هذه العملية، كما وجدنا عددا من الظواهر أو تجنيد التحديات التي يحتاجون إلى معاملة خاصة. أولا، المقابلة غالبا ما تقوم على استئناف المرشح لتصميم حديث، غالبا ما تؤدي إلى وجود علاقة قوية بين التعليقات الذاتية والمقابلة. ثانيا، بين الأوصاف الذاتية والعمل أيضا وجود علاقة قوية، ولكن الفرق هو أن الوصف الوظيفي العام هو بسيط نسبيا، واستئناف أكثر تحديدا، والعديد من التجارب المختلفة من الشخص نفسه قد طلب للحصول على وظيفة، لذلك، تنوع من السيرة الذاتية الوصف الوظيفي إلى أن تكون صغيرة. وأخيرا، لاحظنا أيضا بتميز كبير بين فئة التكنولوجيا ومقابلة مقابلة شاملة، منحازة لصالح بعثة فنية، والتركيز على دراسة العلوم الإنسانية. لدينا في أن يعامل بشكل مختلف.

من أجل حل ثلاثة تحديات أعلاه. نحن عرضنا النموذج المشترك نموذج التعلم في مقابلة تقييم (JLMIA). ويستند نموذجنا على نموذج LDA موضوع لتوسيع الترويج. والحق هو المقابل يبين الشكل الاحتمالات، ونحن نعتقد أن المقابلة هي خليط من جميع أنواع النص من موضوعات متعددة، وصورة للحظة العلاقة بين التقييم والسيرة الذاتية، وقال انه يشارك موضوع بين لنا اثنين توزيع thetaA القادمة، نفترض أيضا أن الوصف الوظيفي الموضوع thetaA توزيع thetaJ ولدت لتوصيف العلاقة بين الذاتية والعمل، من أجل مزيد من تميز في deversity مختلفة بين توصيف الوظائف والسير الذاتية، ونحن نفترض أن ثلاثة أنواع من الوثائق الموضوعات منها مختلفة. بعد ذلك، من أجل التمييز بين التكنولوجيا ومقابلة شاملة، ونحن نستخدم مجموعة مختلفة من الموضوعات لإجراء مقابلات معهم من أنواع مختلفة من النص. وأخيرا، من أجل حل نموذج دينا، ونحن تصميم EM الخوارزمية. إذا كنت مهتما بمزيد من التفصيل نموذج بالنسبة لنا، يمكنك قراءة مقالتنا.

بعد ذلك، قمنا بتصميم اثنين من مقابلة الطلب المساعدة، هو واحد من الناس مباراة بعد، ونظرا زوج من توصيف الوظائف والسير الذاتية، ونحن نريد لقياس درجة مباراة بين الاثنين. أولا، يمكننا أن نستنتج أن نموذج اثنين من النص المتعلقة بكل من التوزيع كما يتميز ناقل منها، حتى نتمكن من استخدام أساليب مختلفة لقياس درجة مباراة، على سبيل المثال، تشابه جيب التمام بين ناقلات، وبعد المسافة KL كما مطابقة أو الربط من ناقلات كسمة، إضافة تسمية أو لم يعترف، وأساليب إشراف المستخدمة لتدريب المصنف على التنبؤ احتمال القبول. اختبرنا على تأثير حقيقي في البيانات حوارنا، الأساس هناك LDA كيس من كلمة، وينبغي أن يكون لدينا نموذج خط الأساس أفضل بكثير على عدد من المقاييس، يمكننا أن نقول أننا وجدنا نموذجا بين الذاتية والوصف الوظيفي أهميتها.

من المستحسن تطبيق آخر سؤال في مقابلة، لنفترض أن لدينا مجموعة من أسئلة المقابلة، نظرا استعلام نريد أن يوصي مجموعة فرعية من الأسئلة المتعلقة X، مجموعة فرعية من X من جهة هذه القضية لتكون مرتبطة مع الاستعلام، من ناحية أخرى، تعيين تغطي مشكلة المعرفة بقدر الإمكان، يجب أن تكون هناك اختلافات بين بعضها البعض. نستنتج بأن القضية كموضوع للاستعراضات مقابلة التوصيف. مع الأخذ بعين الاعتبار مجموعة من القضايا أهمية وتنوع وظيفة التصميم الأمثل، F. مشكلة تعيين F الحد الأقصى للوقت الحيازة باعتبارها الحل الأمثل. ونحن نركز أيضا على اختبار النهج الذي نتبعه في أسئلة المقابلة الحقيقية.

نقترح ثلاثة التقييم، والتنوع، ويوصى الصلة الصلة الشخص الجودة القول كم هناك أسئلة عشرة المتعلقة الاستعلام، والتنوع هو أن نقول أن هذه المشاكل ترتبط كم يشاركون في المعرفة المختلفة، هو شخص آخر الجودة القضايا التي تنطوي على مقابلة شاملة. مؤشرات التقييم الثلاثة، لدينا نموذج الموصى الأسئلة الصلة التنوع مرتفعة، مشيرا إلى أنه لم يتم المشكلة متعلقة الاستعلام الموصى بها وأكثر تغطية نقاط المعرفة. أوصى ثانيا لأسئلة المقابلة شاملة تنطوي على مسائل الشخص الجودة من مقابلة التقنية هي أعلى، وهو ما يتسق مع واقع. الخوارزمية مطابقة تستند إلى الأحرف BM25 النتائج السيئة نسبيا، فإنه قد يكون من الصعب استكشاف بسبب المحتملة نتيجة الاستعلام معرفتها. وبشكل أكثر تحديدا، وتبين لنا مثال في ورقة، مزيدا من التفسير البصري نتائجنا. إذا كنت مهتما يمكنك قراءة مقالتنا.

وهذا ما نعمل الأمل المقابلات الذكية في تحسين جودة التقييم مقابلة التأثير على حياة الناس الذين تبرز في توظيف مناسبة. شكرا لك.

2 Maoyu تشاو، جامعة بكين للبريد والاتصالات السلكية و اللاسلكية

تظهر وأخبر المزيد: موضوع المنحى متعدد الجملة صورة السفلية

ونحن ننظر في مهمة السفلية صورة، لوصف صورة نص ولدت، تصنيف الصور معها في أماكن مختلفة يمكن وصفها في صورة مع الجملة، ويستخدم على نطاق واسع في العديد من المجالات، مثل تعليم الأطفال الصغار، والملاحة أعمى، وأدلة التلقائي. هذا هو التطبيق الجيد، والآن جولة نظام الدليل، بدأنا فجأة إلى الحديث إلى مكان، وأنا لا أعرف ما أقول، مع نظارات الواقع الافتراضي، والانحياز، وسوف شرح مضمون بالنسبة لك.

الوسائط المتعددة التفاعلية، فضلا عن أننا يمكن أن تولد تلقائيا عددا من التقارير للصورة التصوير الطبي، أن لديها تطبيق واسع جدا. يتم إنشاء الدافع لدينا عادة وصف صورة يصف جملة واحدة كصورة.

لدينا أول الفكر هو أن LDA النموذج، وأول هذه الأحكام الخوض في نموذج LDA، يمكنك الحصول على بعض المعلمات، بما في ذلك موضوع الحكم، ويمكن أن تكون علامة على كلمات موضوع الحكم على الجزء العلوي من الصورة. يمكننا أيضا تصور موضوعنا. الموضوع الأول، واصفا بعض عناصر المطبخ، والموضوع الثاني، عن اللون، والثالث، ودعا الرابع، وهو يقرأ في الصحف.

مساهمتنا هي أن يقترح نموذجا موضوع المنحى، مع وصف كامل لأحكام الصورة. نقترح دمج وحدة الباب، وموضوع في الداخل، وما نتج عن ذلك الحكم موضوع ثابت. ونحن أيضا جمل مجموعة الرقمية والفقرات المحددة وفعلت الكثير من التجارب لإثبات أن نموذجنا على موضوع التماسك والاتساق وصف صالح.

الأول هو وصف رسمي لنموذج، تقليديا، على وصف الصورة الهدف هو صورة لتحقيق أقصى قدر من احتمال صدور حكم معين. لدينا نموذج، من أجل فهم تأكيدات مختلفة، أدرجت المتغيرات الموضوعية. في حالة وجود صورة معينة، يمكن وضع الجملة و صورة توزيع مشتركة في مشروعين، الأول منها هو نموذج اللغة موضوع المنحى، يتوافق نموذجنا للناتج واحد، في حين أن فترة ولاية ثانية هو موضوع المصنف، هذا النموذج يتوافق مع الانتاج الثاني.

ويشمل السعر لدينا اثنين، واحد هو تكلفة تدريب نموذج اللغة، والثاني هو تكلفة تدريب المصنف.

لدينا المدخلات يتكون من اثنين، أولا، تم تدريب LDA، هناك وقت LCM الأول سندخل صورة، في اللحظة التالية سنقوم الجملة الإدخال.

الوحدة الأولى هي وحدة LSTM، وسوف تحصل على اثنين قال تمثيل صورة واحدة، هي H0 الإخراج، وحزب التحرير سياق التمثيل، ر 0 أكبر من وقت الإخراج.

كما أن لدينا الانصهار وحدة الباب، والحصول على ثلاثة التمثيل، يشير سياق واحد، هناك تمثيل للصورة، هناك موضوع وتكامل بسيط جدا، أولا بضرب المواضيع والصور، ومن ثم ومن ثم تقسم إلى أشارت سياق نموذج التوزيع الاحتمالي للغة الانتاج.

نموذجنا ليس وصفا فقرة من التصميم، ولكن في الفقرة بيانات يمكن الحصول على أداء أفضل.

وبالنظر إلى موضوع، والتي سوف NIC توليد جزء كبير من الوصف، ونموذجنا تنتج صورا مع التفاصيل ذات الصلة بالموضوع، والتي هي ميزة نموذجنا.

وصفنا نفس المشهد، مثل بناء عندما يكون هناك سوف يمكن وصفها جانب مختلف، وهي النتائج النوعية.

3 جامعة والبنزين من الأكاديمية الصينية للعلوم

TDNN: A مرحلتين ديب الشبكة العصبية للمطالبة مستقلة مقال التهديف الآلي

مقال التلقائي التهديف، في إشارة إلى التعلم الآلي، والكتابة التلقائية للعب لمدة دقيقة، على أمل أن تقلل من تكلفة اليدوي التهديف، بدأت الولايات المتحدة لتقديم درجة AES في GRE، الخ داخل الجهاز في عام 2005.

القائمة طريقة مقال التهديف، تنقسم إلى فئتين، واحدة نموذج الموضوع، لكل مقال لوضع نقاط البيانات، نموذج التدريب، ومن ثم التنبؤ بها. ثانيا، موضوع عشرات مقالة منفصلة، ودرجات لها امتحان وهمية، أو مقالة مكتوبة، ولكن لا توجد بيانات التدريب، إلا أن البيانات التاريخية الماضية، هناك نموذج يستند إلى البيانات التاريخية الماضية لجعل بسرعة نقطة.

معظم الطرق التقليدية ذات صلة للنموذج الموضوع، كانت النتائج جيدة جدا، وتظهر النتائج حتى الاتساق بينها وبين الشخص الذي هو أعلى من ذلك. لكن موضوع مقال مستقل يسجل نسبيا، ليس بهذه البساطة.

لمعالجة هذه المشكلة، نقترح خوارزمية تقوم على دفع التوالي التعلم نقل من مرحلتين على وظيفة.

المرحلة الأولى، والموضوعات للمرحلة مستقلة، قمنا بتدريب نموذج تسجيل بسيط، وهو موضوع نموذج منفصل، هو موضوع استخدام الميزات الفردية. مع هذا السؤال كنموذج للتنبؤ بنتيجة هدف. هذا التقييم لا تطير، ولكن بصفة عامة مع هذه النتيجة قد يعرفون ما هو أفضل مقال، الذي هو أسوأ.

يستخدم المرحلة الثانية من تدريب نموذج الشبكة العصبية للتنبؤ بنتيجة هدف لمختارات مقال. عمق الشبكة العصبية ثلاثة أجزاء المدخلات، والجزء الأول، شبكة الدلالي، التي يتم تدريب تضمين هذا المدخل، هو المسمى الجزء الثاني POS المدخلات، ويتميز الجزء الثالث باعتباره جملة الإدخال. نأمل أن استخدام ثلاثة مدخلات مختلفة، على التوالي، للحصول على المعلومات الدلالي من الكتابة والنحو وتركيب الجملة. A الأنسجة وكذلك الفقرة، منظمة النحوية، وعلاقاتهم لالتقاط النتيجة الكتابة، بعد أن أشارت ثلاث طبقات من تكوين توليد LSTM التي تقسم معا، قبل الإدخال إلى شبكة التوزيع، للحصول على النتيجة النهائية.

النموذج المقترح، وهذه الثلاثة إدخال نموذج مختلف، وأفضل أداء خط الأساس مقارنة مقال على كل الطرق، باستثناء الأسئلة المسالك مقال السابعة، تحسنت العديد من مقال آخر إلى حد ما. ثمانية مقال، في المتوسط، فوق خط الأساس، الميزات التالية هي طرق الإدخال المختلفة. وجدنا أن الطريقة المقترحة، في المتوسط، يمكن أن يكون على درجة معينة من التحسن في المؤشرات الثلاثة، وأفضل مزيج من الميزات والتضمين في بناء جملة المدخلات بالإضافة إلى العلامة.

وبالإضافة إلى ذلك، بمناسبة انتهاء معلوماتها صحة، على الرغم من أنها وضعت نهاية النتيجة ليست دقيقة، والغاية هي أعلى من سلبية ذيل مثال، في حين أن الحالات ذيل سلبي الأمثلة الإيجابية أقل من الذيل، وهناك أكثر من 80 ضمان دقة موثوقية التدريب.

وخلاصة القول، وتقترح هذه الورقة نقل على مرحلتين التعلم نموذج الشبكة العصبية على أساس، على أمل أن يحل محل مهمة منفصلة مقال التهديف، وأظهرت النتائج فعالية الأسلوب، هناك الختام، ملامح النحوية، أثبتت مقال التهديف مفيدة الميزة.

أربعة أسابيع من جفاف رونغ جامعة بكين لل

متباينة اليقظة التمثيل التعلم للتصنيف الجملة

الآن العديد من الجمل في نموذج التصنيف، ومعظم الجوانب الهامة يتعلم الحكم في هذه المرحلة يمثل عمق النموذج القائم على التعلم، وسوف نستخدم نموذج لآلية من الاهتمام، وهذا الاهتمام لتحسين آلية الجملة بأكملها العلوم والتكنولوجيا، فضلا عن اتساق أداء نموذج تصنيف عونا كبيرا.

كملخص، الذي الأعمال ذات الصلة، والتي انتباه الفرد بين ناقلات توجيه تستخدم في كثير من الأحيان يعني متجه حكم قضائي، أو التهيئة. هذا نموذج مجلد واحد أعلاه يمكن أن تتطور آليات متعددة هوب، هذه الآلية هي تغيير كبير في هوب واحد الأصلي تشعر بالقلق إزاء الحكم مرة واحدة، سيتم تحديث هذه هوب متعددة في الجملة السابقة القلق الوزن، ونتطلع إلى مرة واحدة في المباراة النهائية يمكننا أن تدفع الانتباه إلى جزء أكثر أهمية من العقوبة.

على أساس الأداء نموذج هوب واحد على بعض الجمل أكثر تعقيدا، الجمل أو الأداء طويل لا سيما جيدة. الأداء العام متفوقة على نموذج هوب واحد، بشكل عام، ويستخدم على حصة كاملة من حيث القيمة، وهي آلية الانتباه متعدد هوب، ويستخدم على وزن موحد. وبالإضافة إلى ذلك، وجدنا أن هذا هو وسيلة للإشراف دائما تصنيف المعلومات ووضع العلامات، لا يوفر معلومات عن أشرف البعض في الوسط في نهاية المطاف.

هنا هو السؤال وجدنا أن هذا النموذج من عدة هوب، وعادة في الاهتمام الأول هو مهم جدا. على سبيل المثال، لأول مرة الانتباه إلى المكان الخطأ، في الأساس يعود أبعد وأبعد في الطريق الخطأ. أملنا هو أن كيف يمكن نقلها إلى المكان الصحيح أول مرة انتباه الخطأ.

دافع واحد من نموذجنا هو العثور على طريقة لوضع هذا الخطأ عندما تحول الاهتمام إلى اليمين فوق هوب واحد، توقعات معينة. لدينا الدافع هو الوقت المناسب لإعطاء إشارة مثيرة للقلق، مثل هذه الاشارات إرسال رسالة، تعبير عن ذلك هو جيد أو سوء الأداء أمام الاهتمام، إذا كانت أخطاء التصنيف، وأننا يجب أن يقال كيفية ضبط الجزء الخلفي من هوب.

على أساليب التدريب، وإذا قلنا مباشرة إلى اثنين من الخسارة معا، في الواقع، لا فرق. أضفنا عامل تنظم في فقدان GR أعلاه، عند حدوث خطأ، والقلق ليس منطقة جيدة خاصة عندما قادرة على نقل اهتمامها.

ما يستخدم نحن منظم وظيفة التوزيع، وهذا يعني أن C1 في حق قيمة احتمال التنبؤ التسمية، إذا كانت هذه القيمة هي صغيرة نسبيا، والتي نطق سوف تكون كبيرة نسبيا. فقدان التركيز على تحسين L2 أعلاه. هذه إشارة العرض، وأداء كيف يتم تمرير هذا إشارة إلى C2.

وأخيرا، الممي الخسارة، وهذه الخسارة رصد المعلومات الخاصة به من C1 و C2 تصنيف الخسائر، وذلك باستخدام وظيفة.

لقد وجدنا في المختبر، إذا C1 وتعلم تأثير كبير خاصة على C2، إذا تم إعطاء C1 دائما التوزيع الاحتمالي حادة جدا، أو متوسط جدا التوزيع الاحتمالي، سوف تؤثر على C2 التعلم. نحن الانتاج توقعات C1 للقيام الضرب، حافظت عليه كلمة أن بعض العلامات الصحيحة، ليس هناك قيم منخفضة بشكل خاص على تسميات أخرى. وأخيرا، وضعنا ثلاثة الأمثل موحدة معا.

في مستوى النموذج، ونحن أساسا اقتراح نموذج متباينة. في مستوى حل المشكلة، نقترح نقل عرض إشارة من هذا الاهتمام، يمكن الانتباه التحيز حل المشكلة بفعالية. وبالإضافة إلى ذلك، قدمنا البصرية، راجع نموذج يمكن استخراج ميزات أكثر تعبيرا، وتحسين أداء التحلل، وشكرا لكم.

5 معهد ليو YIJIA هاربين للتكنولوجيا

تقطير المعرفة من أجل التنبؤ الهيكلية المبنية على عمليات البحث

التنبؤ بنية اللغة الطبيعية هي اللغة الطبيعية معين في هيكل التي يمكن أن تكون شجرة أو رسم بياني يقارن التحليل النحوي نموذجي، وهذه هي ترجمة هيكل التنبؤ. يمكن أن تكون على غرار مشكلة التنبؤ هيكل باعتبارها مشكلة البحث، وتكون قادرة على تنظيم عملية النظر في استخدام عملية بحث للوصول إلى عمل الدولة الجديدة، من خلال تشغيل مستمر، والوصول إلى الوضع النهائي لعملية البحث هذه.

وغالبا ما يتطلب بنية التنبؤ وظيفة التهديف القائمة على البحث، في حالة، على درجة العمل هو كم، ما دامت الانتخابات إلى أعلى درجة من العمل استمرت في النزول على ذلك.

تعلم وظيفة التهديف هو من خلال بناء استراتيجية السياسة المرجعية التي يخبرنا في حالة معروفة عن بعد الهيكل، وينبغي أن يكون العمل الصحيح ما هو، من خلال هذه السياسة إشارة مواصلة تشغيل في بيانات التدريب، حصل على حق الدولة والعمل الصحيح. بعد قيام دولة للحصول على هذا العمل الصحيح والسليم، وتدريب الممي، يمكنك الحصول على وظيفة التهديف.

ولكن عملية التدريب هناك قضيتين رئيسيتين، هما عملية التدريب، والتناقض التدريب البيانات من وجودها. ثانيا، التدريب هو اختبار متناسقة، عملية الاختبار قد يدخل حالة خطأ.

حلول لمشكلة الأولى هي استخدام نهج متكامل للتعلم.

المسألة الثانية بالنسبة لمعظم حل نموذجي هو استكشاف الآليات التي استعملت في عملية التدريب.

وبالنظر إلى ما سبق نقطتين، قررنا استخدام وسائل المعرفة المقطر يتم حل هاتين المسألتين التخلص منها.

ندرب نماذج M مع طرق التخلص مختلفة، مع متوسط الانتاج والإخراج نموذج آخر. يمكنك مباشرة من إخراج النموذج، والمعرفة المقطر على ذلك. لأن النموذج تم استكشاف الفضاء، وحصلنا على الكثير من حالة البحث، مع العلم عن حالة أهداف التعلم المقطر للتعلم، لاستكشاف الآلية التي يتم تقديمها في عملية تصحيح المعرفة في أي مدرسة حكومية لبعض من نموذج المعلومات.

نحن خوارزمية مكتوب في إطار موحد، وسياسة من المدرسة المرجعية، ولكن أيضا من أخذ العينات مدرسة السياسة، جزأين من البيانات التي تم الحصول عليها هي متعامدة تماما، تاليا يمكن دمجها معا لزيادة تحسين أداء نموذجنا.

من حيث تجاربنا في مجموعتين من البيانات القياسية، التجربة مع بيانات صغير، نتائج التفتيش في تحسين بنسبة 1.3 نقطة نتيجة صغير NMT البيانات رفع 2.6 نقطة. تشير البيانات إلى أن النموذج الحالي هو أفضل من أداء غيرها من أداء التنبؤ الهيكل القائم على البحث.

لدينا نموذج يمكن أن يتعلم بشكل أفضل في ولاية تحتوي على أخطاء، يمكن أن تتعلم من تقطير فقدان المعرفة، وأكثر استقرارا من خط الحدود الشمالي التقليدي.

أكبر تسليط الضوء على عملنا لا حاجة لتغيير أي نموذج ولا يضيف أية بيانات أو في حالة معرفة مصطنعة، وتحسين دقة تحليل من 1.3 نقطة، وعلى نموذج صغير من معدل دقة الترجمة الآلية ارتفع 2.6 نقطة.

6 Luobing فنغ من جامعة بكين

الزواج حتى التعبير العادية مع الشبكات العصبية: دراسة حالة للتفاهم اللغة التي يتحدث بها

مهمتنا هي التعبير الصحيح عن طريق استخدام المعرفة في المساعدات لتدريب الشبكة العصبية، وبالتالي سيقلل تدفق البيانات في وقت قصير جدا، ولكن أيضا تدريب على نموذج أفضل.

عندما كنا آلة التعلم الطبقة الشبكة العصبية من الاستخدام الفعلي، وغالبا ما تحتاج إلى أن تكون جنبا إلى جنب مع تطبيق سيناريوهات محددة. ومرة واحدة محددة إلى انهيار المشهد، يمكننا الاستفادة من البيانات غالبا ما تكون محدودة للغاية. نظام حوار والعمل هو مثال نموذجي. أين يكمن صعوبة في كيفية الحصول على نظام موثوق للغة المنطوقة فهم حالة في مجال المشاريع الصغيرة البيانات.

وينقسم فهم اللغة المنطوقة في مهمتين الفرعية. والمقصود واحد لتحديد وأي تحديد المستخدم من قال نية تعليمات المقابلة (تصنيف الجملة)؛ فتحة الثانية حلها، أي الغرض منه هو العثور على فتحة المرتبطة بها (المسمى تسلسل) في تعليمات المستخدم.

في القطاع الصناعي، وعدم وجود بيانات، ونحن عادة يدويا كتابة سلسلة من القواعد التعبير العادية لبناء نظام من القواعد. على الرغم من أن لا يتطلب هذا الأسلوب البيانات تدريب، ولكن القدرة تعميم لها سيئة للغاية. وتبعا لذلك، لأن النموذج العصبي أساس شبكة تعمل في الفضاء ناقلات، فقد عموما التعادل جيدة القدرة على التعميم. لبناء نظام أكثر موثوقية في ظل هذه الظروف لذلك، إذا كنا يمكن أن يكون التعبير العادي والشبكات العصبية، مما أدى إلى القليل جدا من البيانات؟

نحن ننظر إلى أي أجزاء من التعبير العادي مفيدة للشبكات العصبية.

أولا، التعبير الانتاج المنتظم مفيد بالتأكيد. للقيام بمهام تصنيف تهدف إلى تحديد العقوبة على مثل هذه، والتعبير العادية هو عادة إخراج البطاقات على مستوى الحكم، وذلك لفتحة حل هذه تسلسل المهام وضع العلامات، والتعبير العادي عادة إخراج البطاقات على مستوى الكلمة. وبالتالي، من جهة، ونحن تسمية التعبير العادي يمكن أن أنتج لممثل تكميم، وكمدخل المساعد للشبكة العصبية، ومن ناحية أخرى، يمكننا أيضا تشكيل الوزن خطية مماثلة، العادية العلامة التعبير الأعصاب الناتج إخراج الشبكة في الطريقة التي يمكن تعلمها ملزمة.

ثانيا، وجدنا أن التعبير العادي نفسه قال لنا بالفعل ما فكرة تصنيف كلمة يستند نعم. ولذلك، فإن المقابلة، ونحن نأمل أيضا أن الشبكة العصبية عند اتخاذ تصنيف ويساورها القلق أيضا حول كلمة فكرة. التركيز على كلمات معينة في الجملة هو بالضبط ما يفعله الشبكة العصبية وحدة الاهتمام. لذلك، استخدام آخر من التعابير العادية هو أن نتمكن من استخدام العادية القرائن تعبيرات كلمة لتوجيه وتدريب وحدات من الاهتمام.

في نفس الوقت، كما وجدنا أنه من الناحية العملية، سوف نستخدم التعابير العادية إيجابية، ترى أنها متسقة مع نمطها العينات يجب وضع علامة كطبقة، أيضا استخدام التعابير العادية إلى سلبية، فإنها ترى يتفق مع نمطها من لا ينبغي أن تكون وضعت عينات كطبقة. لذلك، وضعنا قدما في المقابلة الإيجابية والسلبية الاهتمام الاهتمام. من بينها، والاهتمام سلبية داخل العينة الكلمات التي تخبرنا أن هذه العينة لا تقع ضمن هذه الفئة، في المقابل انتباه الاهتمام الإيجابي ل. سنكون الاهتمام الإيجابي لدرجة من الدرجة ك وطرح الاهتمام السلبي ليسجل الدرجة الأولى ك، ك من الدرجة الحصول على التهديف النهائي.

وتجرى التجارب للخروج على ATIS رحلة مجموعات البيانات والمعلومات. أولا، أجرينا تجارب الدراسة عينة صغيرة. في هذا الإطار، لدينا من خلال طريقة أخذ العينات العشوائية، بحيث تتضمن كل فئة عينات التدريب 5، 10 أو 20 فقط.

في مهمة الاعتراف عازمة، لدينا ثلاث طرق بالنسبة لقاعدة نماذج LSTM اتجاهين تحسنت بشكل ملحوظ. من بينها، واستخدام تعبيرات الاهتمام الرقابة منتظم من الطرق لتحسين أكثر، سوف تكون قادرة على زيادة 8 --15 من الدقة. في مهمة التحليلية فتحة، وجدنا أن الناتج ميزة التعبيرات العادية طريقة إدخال يعمل أفضل، سوف تكون قادرة على زيادة 5 F1 الكلي. وفي الوقت نفسه، نهجنا هو أكثر بكثير من مجرد مطابقة التعبير العادية. عند استخدام ATIS المبلغ الكامل للمجموعة التدريب، ونحن الجمع بين طريقة التعابير العادية يمكن أن يحقق ما زال تحسينات مهمة على فتحة تهدف إلى تحديد وحل F1 الاقتصاد الكلي.

وأخيرا، قمنا بتحليل الفرق بين عبارات بسيطة ومعقدة تصحيح العبارات الصحيحة. وجدنا أن التعابير العادية معقدة بشكل عام من التعابير العادية البسيطة على نتائج أفضل. ومع ذلك، فقد تم استخدام تعبير عادي بسيط جدا قادرة على تحقيق تحسن كبير جدا. لذلك، عندما نمارس، يمكنك أن تبدأ مع بدأ تعبير بسيط لتصحيح، ثم في حالة من تكلفة السماح، ومن ثم تزيد تدريجيا من تعقيد التعبير الصحيح.

7 ني معهد ياو بكين للتكنولوجيا

كاجان: تمشيا التدريب الخصومة المحسن GANS

جيل ضد تطبيقات شبكة الجيل وكذلك في العديد من المجالات من الصورة. ببساطة، يولد شبكة المواجهة هي لجعل الصورة الناتجة ومحاولة التمييز بين الصورة الحقيقية، بقدر الإمكان بحيث مولد يولد تبدو الصورة حقيقية جدا.

في الواقع، هذه الشبكة المواجهة اثنين من المشاكل. أولا، فإنه يتطلب وظيفة تحسين الفضاء، ولكن وكما هو موضح الشبكة العصبية في العملية الفعلية، إلى أقصى حد الفضاء المعلمة محدودة في الداخل. آخر، تختفي الانحدار. عندما التمييز قوي جدا عندما المولد وتعلم أي شيء تقريبا، وسوف يؤدي إلى تحطم عدم الاستقرار والتدريب واسطة.

طرق للتغلب على المواجهة التعلم في الفضاء المعلمة المحدود، فضلا عن قضية اختفاء التدرج ينقسم إلى فئتين القائمة، وخفف واحد لا يستخدم التدرج ظيفة للتغلب على يختفي المشكلة، والثاني هو لايجاد حل لها في التحسين الفضاء المعلمة محدودة ، مولد المقابلة لعدد وافر من المصنفات، مثل هذا التدريب يمكن أن يكون أفضل.

في الحل، ونضيف إلى الانقطاع عن الدراسة في الممي داخل الشبكة. وهكذا لكل ناتج المقابلة لشبكة أخذ العينات لتجهيز العينات معين، فمن الممكن لبناء عدد من المصنفات.

فمن لديه ميزة أنه، أولا، وعلى مقربة من لانهائية المعلمة الأمثل الفضاء، المعلمة الثانية لانفجار تجنب، الثلث، لتجنب الإفراط في تركيب، حتى أن عملية اللعبة يمكن ان يفلت مثل هذه المعضلة، مولد أي شبه فهو يجمع بين بيانات التدريب.

وبصرف النظر عن بناء المصنفات متعددة، كما بنيت عملية متسقة من التدريب على القتال. صحيح أساسا إلى أقصى حد ممكن أداء نفس العينة وقياس الاتساق مع الفرق بين الشبكات المختلفة لتحديد إخراج عينات حقيقية تمثل بقدر ما يتفق ممكن بهدف أكثر ملاءمة لبيانات حقيقية. ومن بيانات غير متناسقة ولدت قدر الإمكان، هو نقطة البداية لدينا للحصول على صورة مع الكثير من الميزات كاذبة، فإنه لديه الكثير من الميزات كاذبة، ولكن شبكة لمعرفة خصائص مختلفة، ومختلف الشبكات مثل هذه الاختلافات كبيرة بقدر الإمكان.

عندما تدريب مولد، وسوف نبذل عينات ولدت الذهاب نحو الممي يعتقدون نفس الاتجاه.

التكرار في بعض الأحيان تدريب وتدريب مولد الممي خلال الممي التدريب يمكن ان تتكرر، واحدة تكرار المولد، وهذا سوف يؤدي إلى الاتساق وسيتم تعويض بعض، من أجل جعلها توليد البيانات تناسق البيانات والحقيقية ويحتفظ الاتساق داخل نطاق معين، ونحن نستخدم وظيفة لموازنة ذلك.

تجاربنا تتفق مع عملية التدريب على القتال وأضافت اثنين داخل خط الأساس، ووضعها على المهمة الجيل الصورة. ارتفع أدائنا على CIFAR 10 درجة إنشائها 9.17، على STL-10 كانت 10.02، الجيل الأخير من صورة واقعية تبحث. وفي الوقت نفسه لدينا نموذج عملية التدريب هو أيضا أكثر استقرارا. في الصورة على المهمة تصنيف شبه إشراف، وحققنا نتيجة تنافسية، ونحن توليد صورة أكثر تنوعا، ويمكن التخفيف من مشكلة وضع الشبكة من الانهيار.

وخلص، ونحن نستخدم طريقة التسرب لبناء عدد لا حصر له الممي تقريبا، نقترح نفس التدريب على القتال، لدينا تجربة حققت نتائج متقدمة، قمنا بزيادة استقرار وضع التدريب وتخفيف الحادث.

(8) ومعهد سي هاو حساب

الحد من التباين في التدرج اللصوص خوارزمية باستخدام تناقضي Variates الطريقة

هذه هي وظيفة ليكون الأمثل للأسلوب التدرج السياسة على مشكلة دوبي. طريقة التدرج السياسة باستخدام طريقة مونتي كارلو لتقدير التباين عندما يكون هناك تدرج كبير عن طريق إدخال المزدوجة طريقة المتغيرات التي سيتم تخفيضها.

أولا، بعض المعلومات الأساسية. دوبي يصف واحدة من هذه المسألة: لدينا للعب المزيد من ماكينات القمار الذراع، ومكافأة كل ذراع الحصول تخضع لتوزيعات مختلفة من المجهول والتوقعات ليست هي نفسها، في عدد معين من المباريات، ويمكن معرفة أي تسليح انخفاض مكافأة التوقع هو أعظم. طريقة التدرج السياسة هو وسيلة هامة لحل هذه المشكلة. لكل ذراع تعيين قيمة أولية 0 لتفضيل، وتفضيل الحصول على التوزيع الاحتمالي بعد SoftMax، وهذا هو، لعبنا لعبة استراتيجية بأننا احتمال اختيار من كل سلاح. في هذا التوزيع الاحتمالي نتمكن من سرد العائد المتوقع من تعبير، مع تفضيله لذراع المشتقات الجزئية، وتفضيلات الأمثل من خلال طريقة تكرارية من صعود التدرج، للحصول على لعبة استراتيجية جيدة، وتفضيل الأخير هو أكبر المكاسب EM تسليح.

ولكن في عملية حل، ونحن لا نعرف كل ذراع من توقعات الأرباح، لذلك لا أستطيع الحصول على التدرج دقيقة. وذلك باستخدام سياسة طريقة التدرج طريقة مونت كارلو لتقديراتها غير متحيز، ولكن يقدر أن هناك تباين كبير. وهذا التباين الواضح على حل الكفاءة أو ما إذا كان هو نتيجة لدينا ارتفاع أسلوب التدرج تسببت لها تأثير كبير، لذلك نحن نأمل للحد من التباين.

للتعرف على طريقة مونت كارلو، في الواقع، فقد كان استراتيجيات الحد من التباين أكثر نضجا، مثل طريقة متغير السيطرة، مزدوج طريقة متغير. على غرار السيطرة على المتغيرات مستمدة من الخط الخلفي مع تعزيز استراتيجيات التعلم تستخدم أسلوب التدرج، وسنقدم لدينا دوبي نهج الحصول على طريقة حتى متغير.

نحن هنا المدرجة التقدير المباشر الأول من أسلوب التدرج والتعبير يمكن أن ينظر إليها في المقارنة بين المعلمة بعد الأيسر المزدوج المتغير طريقة الإعداد سوف يكون ثابتا، أي أن حق التعبير عن أسلوبنا يمكن الحصول عليها. نهجنا هو لإضافة ثلاثة أجزاء، وثانيا، ثلاثة أجزاء ترتبط عكسيا، ويرتبط أكبر صعوبة عكسيا مع إنشاء وظيفة المعقدة التي يحتاجها لبناء روتيني.

كيفية تنظيم ذلك؟ وكمثال على ذلك، هناك أربعة أذرع دوبي، كل ذراع من التدرج الصنبور الحصول عليها سطر واحد، يمكن أن تشكل مثل هذا هيكل المصفوفة من أجل تسهيل دالة رتيبة، ونحن نستخدم لحل طريقة الصعود تنسيق، فمن المفترض أننا الآن حدد الذراع الثاني، ونحن الآن بحاجة فقط إلى التركيز على الصف الثاني من المصفوفة، إذا كان يمكنك فرز قيم هذا العمود يمكن أن تجعل قيمة التدرج الحقيقية تساوي الجانب الأيمن من التكامل وظيفة دالة متعددة التعريف على 0-1، ومنذ هذه هي وظيفة رتيب، فإنه يمكن إدخالها بسهولة في طريقة المتغير المزدوج. ومع ذلك، توقعات الأرباح في كل ذراع من المعادلة غير معروف، كيف نريد لترتيب هذا الأمر؟ في هذه القضية ونحن نعتقد أن قيمة تفضيل كل ذراع نستخدمها في التدريب بعد عدد معين من العلاقات في الحجم والأرباح توقعات تتفق، لذلك نحن نفضل استخدام المباشر من الحجم من نوع للحصول على وظيفة تقريبية عن الحق، الذي العملية برمتها هو نهجنا.

هذا هو بلدي التجربة، التي أجريت على 20 في كل ذراع وذراع الانصياع برنولي دوبي التوزيع، وهذا الرقم في العروض الوسطى احتمال وأخيرا وجدت الشكل الأمثل، بالاعتماد على البرامج الصحيحة المبلغ المقدر حالة التباين.

عموما هو عليه. وأخيرا، وتشمل تقديرات غير متحيزة هناك بعض الانخفاض تباين ثبت أن هناك بيانا مفصلا التي الورقة، ونحن مهتمون يمكن أن ننظر.

9 معهد فنغ يو الحاسبات

من اختيار طماع إلى استكشافية-اتخاذ القرار: متنوع الترتيب مع السياسات قيمة الشبكات

مهمتنا هي حل المشاكل اختيار الجشع أوبتيما المحلية تسبب في متنوعة في الترتيب.

عندما يتم التعبير عن المعلومات في الاستعلام الاستعلام لدينا يحتوي على مجموعة واسعة من نتائج البحث للمستخدمين نريد أن نرى هو القدرة لتشمل مجموعة واسعة من المعلومات. متنوع ذلك الهدف الترتيب لهذه المهمة هو نتيجة بحث يمكن أن تحتوي على العديد من المواضيع كما الفرعية.

الطريقة الحالية، متنوع ترتيب هذه العملية على غرار كتسلسل من عملية اختيار وثيقة لتقييم أساسا يتكون من جانبين، واحد هو جوانب التشابه، واحد هو التنوع وأخيرا، فإن العاملان كما شامل، ل حدد المستند. هذه العملية، سيتم اعتبرتها خطوة واحدة الذي يوثق موقف الحالي المحدد في كل خطوة أفضل وقت، لا تعتبر عملية ثيقة طلب المتابعة هي إطار اختيار الجشع.

الحل الأمثل المحلي هذا الخيار سوف تشكل إطار هذه المشكلة. أبسط حل هو البحث وثائق طلب لاحقة قد فرز العملية، ولكن بسبب مشكلة لدينا هو عملية اختيار تسلسل الفرعية، بل هو سؤال صعب غير متعدد الحدود، إذا كان كل من البحث واقعي جدا، ولذا فإننا نأمل أن استخدام بعض أقل قدر ممكن في البحث على حل هذه المشكلة. هنا هو الطريقة التي نستخدمها MCTS، يمكنك البحث من خلال عدد من الاستراتيجيات لتوجيه شجرة البحث، في محاولة للبحث مع أقل تردد لتحقيق حل أفضل نسبيا. لدينا استراتيجية البحث بشكل رئيسي من خلال تحليل شبكة قيمة سياستنا. في الداخل، سياستنا هي أساسا للسيطرة على عرض من البحث، قيمة لدينا هي في المقام الأول بحثا عن السيطرة العمق.

العملية هي نموذج لعملية محددة وعلى غرار تصنيف متنوعة كعملية MDP، الدولة بين عملية MDP يتم فرز بالفعل مشكلة والوثائق. عملنا هو بعد انتخاب كل وثيقة. في حالة حيث نقل هو أنه بعد اختيار وثيقة، وضعنا هذه الوثيقة على قائمة تم فرزها. نحن ضمانا هناك أربع وحدات رئيسية، دولة واحدة ترميز وحدة، وكذلك وحدات السياسات، وحدة قيمة، وأخيرا المراكز وحدة البحث.

أول لاقول لكم عن وحدة الترميز، نحن نستخدم LSTM النموذج، سوف نقوم استفسار باسم LSTM الدولة الأولي من الوثائق لدينا هي بالتتابع مساهمة في وحدة LSTM، فإنه سيعود إلى حالته النهائية، فإننا سوف يتم تشفيرها دولة النهائية ناقلات كدولة الحالية للMDP. بعد ذلك، استنادا إلى الوضع الحالي، وحدة السياسات التي يمكن أن تعطى الوثيقة أفضل، وحدة القيمة هي أساسا تقييم الحالة الراهنة من الأرباح اللاحقة، التي تقوم على الحالة الراهنة، يتم فرز القائمة إذا الانتهاء لاحقا من العودة النهائية هو ما، لا تقدير. وأخيرا، MCTS حدة البحث، الذي يستند أساسا استراتيجيات التوجيه السياسي والبحث القيمة، إجراء البحث، النوع قادرة على تنفيذ موقع لاحق من الاستكشاف، يمكنك الحصول على استراتيجية بحث أفضل.

وأخيرا، يتم التحقق من نموذجنا على مجموعات البيانات TREC، المنهج المقارن، بما في ذلك عمق أساليب التعلم والأساليب التقليدية، وأخيرا النتائج التجريبية وتحسنت بشكل ملحوظ. ونحن أيضا على يتم استكشاف دور البحث MCTS خلال التدريب واختبار عملية، والسياسة المراكز نتائج البحث لدينا من البحث لم يتحسن بشكل ملحوظ.