المصدر: نيو جي وون

مقالة مصادر متعددة ، أوصت المجموعة.

هذه المقالة بتجميع قائمة من أحدث المواد وقوائم الموارد البرمجة اللغوية العصبية، لمواكبة أحدث الأبحاث العلمية، مجموعة أساسية.

NLP التي تشهد نموا سريعا، والدخول في حفرة التي كانت تقرأ أوراق لمواكبة أحدث الاتجاهات في مجال بسرعة الحديثة من البرمجة اللغوية العصبية؟ فريق HuggingFace أصدرت مؤخرا قائمة من المواد والموارد إلى هذه القائمة، تليها الأبحاث المتطورة، مجموعة أساسية.

خلفية إلكتروني خاص الرد "NLP34" الحصول على 34 ورقة وصلة التحميل

في العامين الماضيين، والتقدم NLP على مجموعة متنوعة من المهام والتطبيقات المختلفة بسرعة كبيرة. ومن المقرر أن بناء النموذج الكلاسيكي تحولت أنظمة NLP لتحقيق هذه الإنجازات: لفترة طويلة، وقد تم تدريب الباحثين على استخدام كلمة (مثل word2vec أو قفاز) لتهيئة الشبكة العصبية، ومن ثم استخدام مهمة محددة جزءا لا يتجزأ من قبل العمارة التي يستخدم مجموعة بيانات واحدة للإشراف على أسلوب التدريب.

في الآونة الأخيرة، وقد أظهرت بعض الدراسات أن نتمكن من استخدام غير خاضعة للرقابة (أو الإشراف الذاتي) إشارة، مثل النمذجة لغة، هرمية التعلم سياق التمثيل على مجموعات البيانات على نطاق على شبكة الإنترنت، وتحويلها إلى المهام المصب مثل ما قبل التدريب (التعلم نقل) . إثارة هو أن هذا التغيير أدى التقدم الكبير في مجال التطبيقات المصب، من أسئلة اللغة الطبيعية للإجابة على المنطق عن طريق تحليل ......

"ماذا يمكنني أن قراءة ورقة لمواكبة أحدث اتجاهات NLP الحديثة؟"

وقبل أسابيع قليلة، واحد من أصدقائي قررت لدخول NLP حفرة. لديه تعلم الآلة الخلفية والتعلم العميق، حتى انه طلب مني بصدق: "ماذا يمكنني قراءة ورقة لمواكبة أحدث اتجاهات NLP الحديثة"

هذا سؤال جيد جدا، وخاصة إذا ما أخذ في الاعتبار مؤتمر NLP (وكذلك الاجتماع العام ML) تلقى أوراق تقديم ينمو باطراد: NAACL 2019 تلقى زادت أكثر من 2018 مساهمات بنسبة 80، ونشر ACL 2019 تلقى بزيادة قدرها 90 عن 2018 ......

لذا، أنا جمعت قائمة من الأوراق بالنسبة له، وهذه القائمة من الموارد، وأن أشاطركم.

تنويه: هذه القائمة ليست شاملة، ولا يمكن أن تغطي جميع المواضيع في البرمجة اللغوية العصبية (على سبيل المثال، لا تغطي محلل الدلالي، تعلم المواجهة، NLP تعزيز التعلم، وما إلى ذلك). ورقات مختارة أساسا على مدى السنوات / الأشهر القليلة الماضية من العمل الأكثر نفوذا.

بشكل عام، بداية من حقل جديد من طريقة جيدة لقراءة تمهيدية أو ملخص من بلوق (مثل هذا)، ويسمح لك أن تأخذ من الوقت لقراءة لمحة سريعة عن الأوراق الخلفية قبل.

نموذج جديد: دراسة الهجرة

المراجع التالية تغطي الفكرة الأساسية لدراسة الهجرة NLP:

عميقة التمثيل كلمة سياقها (NAACL 2018)

ماثيو E. بيترز، مارك نيومان، محيط Iyyer، مات غاردنر، كريستوفر كلارك، كنتون لي، لوقا Zettlemoyer

يونيفرسال اللغة نموذج صقل لتقسيم النصوص (ACL 2018)

جيريمي هوارد، سيباستيان رودر

تحسين فهم اللغة التي المولدة ما قبل التدريب

أليك رادفورد، كارثيك ناراسيمهان، تيم Salimans، ايليا Sutskever

نماذج لغة بدون مرافقين تعدد المهام المتعلمين

أليك رادفورد، جيفري وو، Rewon الطفل، ديفيد لوان، داريو Amodei، ايليا Sutskever

بيرت: قبل تدريب ديب ثنائي الاتجاه محولات للتفاهم اللغة (NAACL 2019)

يعقوب ديفلين، مينغ وي تشانغ، كنتون لي، كريستينا Toutanova

يحركها Cloze قبل التدرب شبكات الانتباه الذاتي (أرخايف 2019)

اليكسي Baevski، سيرغي Edunov، Yinhan ليو، وقا Zettlemoyer، مايكل Auli

توحيد لغة نموذج ما قبل التدريب لفهم اللغة الطبيعية والجيل (أرخايف 2019)

لي دونغ نان يانغ، ينهو وانغ، Furu وى، شياو دونغ ليو يو وانغ جيان فنغ غاو، مينغ تشو، هسياو Wuen هون

MASS: ملثمون تسلسل إلى تسلسل ما قبل التدريب لتوليد لغة (ICML 2019)

Kaitao سونغ، شو تان تاو تشين، جيان فنغ لو، تعادل يان ليو

أصبح هيكل المحولات سلسلة شعبية النمذجة هيكل المهمة. المصدر: الاهتمام هو كل ما تحتاجه يتعلم (التمثيل التعلم)

ما يمكن أن الالزام في ناقل واحد: التضمينات الجملة التحقيق لخصائص لغوية (ACL 2018)

الكسيس Conneau، الألمانية Kruszewski، غيوم Lample، ويك بارو، ماركو باروني

لا التدريب المطلوبة: استكشاف التشفير عشوائية للالجملة تصنيف (ICLR 2019)

جون Wieting، Douwe Kiela

GLUE: المعيار A متعدد المهام ومنصة تحليل للغة الطبيعية فهم (ICLR 2019)

اليكس انغ، Amanpreet سينغ، جوليان مايكل، فيليكس هيل، عمر ليفي، صموئيل R. بومان

SuperGLUE: A لزوجة المعيار لللأغراض العامة اللغة فهم الأنظمة (أرخايف 2019)

اليكس انغ، يادا Pruksachatkun، نيكيتا نانجيا، Amanpreet سينغ، جوليان مايكل، فيليكس هيل، عمر ليفي، صموئيل R. بومان

المعرفة اللسانية وقابلية التحويل من السياقية التمثيل (NAACL 2019)

نيلسون F. ليو، ومات غاردنر، يوناتان Belinkov، ماثيو E. بيترز، نوح A. سميث

إلى اللحن أو عدم اللحن؟ التأقلم Pretrained التمثيل لمهام متنوعة (أرخايف 2019)

ماثيو بيترز، سيباستيان رودر، نوح A. سميث

حوار العصبية (العصبية حوار)

A العصبية المحادثة نموذج (ICML ورشة عمل ديب التعلم 2015)

أوريول Vinyals، كووك لو

A شخصية القائم على العصبية المحادثة نموذج (ACL 2016)

جى وى لى ميشال مخزن، كريس Brockett، جورجيوس P. Spithourakis، جيان فنغ غاو، بيل دولان

بسيط، سريع متنوعة فك خوارزمية لتوليد العصبية (أرخايف 2017)

جى وى لى ويل مونرو، دان Jurafsky

العصبية النهج المتبعة في المحادثة AI (أرخايف 2018)

جيان فنغ غاو، ميشال مخزن، LIHONG لي

TransferTransfo: نهج التعلم نقل عن القائم المحادثة وكلاء الشبكة العصبية (NeurIPS 2018 ورشة عمل CAI)

توماس وولف، فيكتور وخي سان جوليان Chaumond، وكليمان Delangue

المعالج من ويكيبيديا: وكلاء محادثة للمعرفة بالطاقة (ICLR 2019)

إميلي دينان، ستيفن الحديدية، كورت شوستر، أنجيلا فان، مايكل Auli، جايسون ويستون

تعلم الكلام والفعل في النص الخيال لعبة مغامرة (أرخايف 2019)

جاك Urbanek، أنجيلا فان، سيدهارث Karamcheti، Saachi جاين، صموئيل Humeau، إميلي دينان، تيم Rocktschel، Douwe Kiela، آرثر Szlam، جايسون ويستون

آخر

مؤشر شبكات (NIPS 2015)

أوريول Vinyals، Meire فورتوناتو، نافديب Jaitly

شبكات الذاكرة نهاية إلى نهاية (NIPS 2015)

Sainbayar سخباتار، آرثر Szlam، جايسون ويستون، روب فيرغوس

نعود الى النقطة: تلخيص مع شبكات مؤشر مولد (ACL 2017)

الوصيفة انظر، بيتر J. ليو، كريستوفر مانينغ D.

التعلم تحت إشراف ممثليات الحكم العالمي من اللغة الطبيعية بيانات الاستدلال (EMNLP 2017)

الكسيس Conneau، Douwe Kiela، هولغر SCHWENK، لويك بارو، أنطوان بوردس

نهاية إلى نهاية العصبية Coreference قرار (EMNLP 2017)

كنتون لي، Luheng و، مايك لويس، لوقا Zettlemoyer

StarSpace: تضمين جميع الأشياء (AAAI 2018)!

Ledell وو، آدم فيش، سوميت شوبرا، كيث آدامز، أنطوان بوردس، جايسون ويستون

اللغة العشارية الطبيعية: تعدد المهام التعلم كما سؤال الرد (أرخايف 2018)

بريان مكان، نيتيش شيريش Keskar، Caiming شيونغ، ريتشارد سوشر

حرف مستوى اللغة النمذجة مع أعمق-الاهتمام الذاتي (أرخايف 2018)

رامي Rfou، Dokook تشوي، نوح ثابت، ماندي قوه، Llion جونز

لغويا مستنيرة-الاهتمام الذاتي لوسم دور الدلالي (EMNLP 2018)

إيما ستروبيل، باتريك فيرجا، دانيال أندور، ديفيد فايس، أندرو ماك كالوم

عبارة القائم على والعصبية بدون اشراف الترجمة الآلية (EMNLP 2018)

غيوم Lample، Myle أوت، الكسيس Conneau ولودوفيك Denoyer، Marc'Aurelio Ranzato

التعلم للأغراض العامة الموزعة التمثيل الجملة عبر نطاق واسع متعدد مهمة التعلم (ICLR 2018)

سانديب سوبرامانيان، آدم Trischler، يوشوا بيجيو، كريستوفر J بال

محول-XL: نماذج اليقظة اللغة أبعد من سياق ثابت طول (أرخايف 2019)

Zihang داي، Zhilin يانغ يى مينغ يانغ، خايمي كاربونيل، كووك V. لو، رسلان Salakhutdinov

محولات العالمي (ICLR 2019)

مصطفى دهقاني، ستيفان Gouws، أوريول Vinyals، جاكوب Uszkoreit، اللاعب ukasz كايزر

مدخل بسيط مما يسبب حرجا للتعلم من نقل نماذج Pretrained اللغة (NAACL 2019)

الكسندرا Chronopoulou، كريستوس Baziotis الكسندروس Potamianos

أوراق سنوات أخرى بعيدة، في اختيار من قراءة المحتوى، يمكن عادة يشار اليه باعتباره مؤشرا على عدد من الخيارات.

تجربتي هي التي يجب أن قرأت أن تجد مثيرة للاهتمام، ويجعلك المادة سعيدة!

خلفية إلكتروني خاص الرد "NLP34" الحصول على 34 ورقة وصلة التحميل الموارد الأخرى

هناك العديد من الموارد التي يمكن استخدامها مثل هذا، وليس بالضرورة الصحف. هذه بعض منها

• كتب:

الكلام واللغة تجهيز (3rd الطبعه مشروع)

دان Jurafsky وجيمس مارتن H.

العصبية طرق شبكة لمعالجة اللغات الطبيعية

يوآف غولدبرغ

• المواد الدراسية:

اللغة الطبيعية فهم والحاسوبية علم الدلالة مع كاتارينا KANN وسام بومان في جامعة نيويورك

CS224n: المعالجة الطبيعية للغة مع ديب التعلم مع كريس مانينغ والوصيفة انظر في ستانفورد

السياقية كلمة التمثيل: A السياقية مقدمة من المواد التعليمية نوح A. سميث في UW

• مقالات / بودكاست:

بلوق سيباستيان رودر ل

جاي العمار بلوق ومصورة

استضافت NLP ويبرز من مات غاردنر وليد عمار

https://podcasts.apple.com/us/podcast/nlp-highlights/id1235937471

• أخرى:

أوراق كود مع

https://paperswithcode.com/

تغريد

أرخايف النشرة الإخبارية اليومية

أوراق مسح

...

التوصيات النهائية

هذه هي الموارد الموصى بها! قراءة جزء من هذه الموارد كنا قادرين على السماح لكم على أحدث الاتجاهات في مجال البرمجة اللغوية العصبية المعاصرة يكون جيدا فهم من، ويمكن أن تساعدك على بناء نظام NLP الخاصة بك!

اقتراح الماضي وجدت أن من المهم للغاية (والتغاضي أحيانا) هو قراءة جيدة، والممارسة أفضل! من خلال (أحيانا) يأتي في عمق القراءة مع التعليمات البرمجية الخاصة به أو محاولة لتنفيذ بعض من هذه الرموز، يمكنك معرفة المزيد.

الرابط الأصلي:

https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409a1d1 المحرر: هوانغ Jiyan تصحيح التجارب المطبعية: قوة غونغ - انتهى -

تسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU "أيتها الأخوات ولا". إرسال البيانات THU "لرعاية المزيد من المحاضرات ونوعية المحتوى.