الكاتب: Pulkit شارما، 2019 نيان 1 يو 21 ري

الترجمة: تشن يان

تصحيح التجارب المطبعية: دينغ NANYA

هذه المقالة حول 11000 كلمة، القراءة الموصى بها 10+ دقائق.

توضح هذه المقالة بالتفصيل تسلسل كنت نموذجا وتحليل استخدامها في المشهد الحقيقي يختلف.

مقدمة موجزة

كيفية التنبؤ بما سيحدث بعد ذلك في تسلسل هو موضوع مثير جدا للاهتمام، والتي هي واحدة من الأسباب التي فتنت أنا ذلك عن طريق علم البيانات! ومن المثير للاهتمام - العقل البشري جيدة حقا في ذلك، ولكن الجهاز ليست هي القضية. إذا كان هناك حلقة غامضة في كتاب، وسوف تبدأ الإنسان الدماغ للتنبؤ نتيجة لذلك، ولكن، كيف يمكن للآلة الكنيسة أن تفعل أشياء مماثلة؟

بفضل عمق التعلم، ويمكننا أن نفعل أكثر من ذلك بكثير القيام به اليوم مما كانت عليه قبل بضع سنوات. القدرة على التعامل مع تسلسل البيانات، مثل كلمات الموسيقى والترجمة الجملة، فهم تعليقات أو بناء بوت - كل الشكر سلسلة النمذجة .

هذا هو ما نحن بحاجة إلى أن نتعلم في هذه المقالة، لأن هذا هو جزء من الدورات المهنية من deeplearning.ai، وآمل أن القراء على فهم بعض المفاهيم. إذا كنت لم أقرأ مقالات سابقة، والحاجة أو تجديد سريع، يمكنك زيارة الرابط التالي:

• تعلم العمق والشبكات العصبية الشروع في العمل (الدرس deeplearning.ai 1)
• https://www.analyticsvidhya.com/blog/2018/10/introduction-neuric-networks-deep-learning/
• تحسين الشبكة العصبية - تعديل المعلمة الترا، تنظيم وغيرهم (الدرس deeplearning.ai 2)
• https://www.analyticsvidhya.com/blog/2018/11/neuric-networks-hyperparameter-tuning-regularization-deeplearning/
• التفاف الشبكة العصبية التعلم من الصفر دورة المتكاملة (الدرس deeplearning.ai 4)
• https://www.analyticsvidhya.com/blog/2018/11/neuric-networks-hyperparameter-tuning-regularization-deeplearning/

في هذا الدرس، سوف نرى كيفية تطبيق نموذج لسلاسل مختلفة من المشهد الحقيقي إلى الذهاب، مثل تصنيف العاطفي، وترجمات الصورة.

كتالوج بالطبع

• هيكل بالطبع
• محتوى الدورة: سلسلة نماذج

نموذج منهج التسلسل هو كما يلي:

أولا، وحدة 1: المتكررة الشبكات العصبية (RNNs)

ثانيا، الوحدة 2: معالجة اللغات الطبيعية (NLP) وجزءا لا يتجزأ من كلمة

 2.1  حول كلمة جزءا لا يتجزأ من

 2.2 تعلم الكلمات تضمين: Word2vec والقفازات

 2.3  تطبيقات Word المضمنة

الثالثة، وحدة 3: آلية النموذجية وتسلسل الانتباه (على الاهتمام)

هيكل بالطبع

حتى الآن، لقد غطت قدرا كبيرا من محتوى في الدورات، وفيما يلي عرض موجز لمفاهيم يتم تعلمها:

• تعلم العمق والبنية التحتية للشبكة العصبية.
• يعمل الضحلة والعميقة الشبكة العصبية.
• كيف السوبر تعديل المعلمة، تنظيم والأمثل لتحسين أداء عمق الشبكات العصبية.
• كيفية تنفيذ التفاف الشبكة العصبية التي كتبها الصفر.

الآن ننتقل النمذجة سلسلة التركيز، وتنقسم هذه الدورة إلى ثلاث وحدات (الاسم الرسمي للدورة: البروفيسور أندرو نغ عمق دورات تعلم الدرس 5):

• في الوحدة 1 سنتعلم المتكررة الشبكة العصبية وكيف يعمل وبالإضافة إلى ذلك، يصف GRU وأيضا LSTM في هذه الوحدة.
• في الوحدة 2 إن التركيز على التعلم معالجة اللغة الطبيعية وكلمة جزءا لا يتجزأ من . سوف نتعلم كيفية إطار Word2vec والقفاز لتعلم الكلمات جزءا لا يتجزأ من
• وأخيرا، الوحدة 3 سوف أعرض مفهوم الانتباه (الانتباه) نموذج . سوف نتعلم كيفية ترجمة الجمل الكبيرة والمعقدة من لغة إلى لغة أخرى.

مستعد؟ ونحن نعلم ان يبدأ مع وحدة نماذج الدرس 5 سلسلة تبدأ في 1 بار!

كحد كلمة نظام منصة، الوحدة 1 يرجى الاطلاع على: قراءة النمذجة تسلسل النص (deeplearning.ai) تعميم الشبكة العصبية (RNNs) وحدة الإصدار اللاحقة 3: نموذج سلسلة والاهتمام (تنبيه) آلية ، لذلك لا تنزعج! ثانيا، الوحدة 2: المعالجة الطبيعية للغة وكلمة جزءا لا يتجزأ من

والغرض من تعلم الوحدة الثانية هم:

• تعلم العمق لاستخدام التكنولوجيا لتعلم معالجة اللغة الطبيعية
• تعلم كيفية استخدام ناقلات كلمة التعبير وإدراج
• في البرمجة اللغوية العصبية متنوعة فهم من التطبيقات، مثل تحليل المشاعر، والتعرف على كيان اسمه والترجمة الآلية، لإثراء التعلم.

2.11 - مقدمة كلمة تضمين

• تدوينات النص

هنا، ونحن نستخدم المفردات لتمثيل أكثر من كلمة واحدة:

إنشاء ناقل واحد ساخن (ناقلات واحد ساخن) لتمثيل كلمة واحدة:

الآن، لنفترض أننا نريد نموذج لتحقيق كلمات مختلفة لتلخيص، ونموذج القطار مع الجملة التالية:

أعطني كأسا من عصير التفاح

و"أعطني كوب من عصير التفاح"، هذه الجملة على أنها تسلسل التدريب، و"عصير" ككلمة الهدف. نريد نموذج لتوليد الحلول التالية:

أعطني كوب من البرتقال __

لماذا لدينا وسيلة السابق لا تعمل هنا المفردات؟ لأنه يفتقر إلى المرونة الاستقراء، ونحن نحاول لحساب يمثلون التشابه بين كلمتين أبل والبرتقال ناقلات. وغني عن القول، فإنه يؤدي الصفر، لأن المنتج من أي متجهين الساخنة واحد (ناقلات الساخنة واحد) هو دائما صفر.

إذا كنت تستخدم مجموعة من الميزات لتمثيل كل كلمة، بدلا من ناقلات الساخنة واحد (ناقلات الساخنة واحدة) لتمثيل، وكيف ينبغي أن أفعل؟ عرض الجدول أدناه:

ويمكن استخدام هذه الطريقة للعثور على كلمات مماثلة. مفيدة جدا، أليس كذلك؟

على سبيل المثال، إذا كانت كل كلمة 300 خصائص. على سبيل المثال، كلمة "رجل" سوف تستخدم اسما للe5391. تمثيل متجه 300 الأبعاد.

ويمكن أيضا أن هذه التعبيرات أن تصور، وتحويل ناقلات 300 الأبعاد كما ناقلات ثنائية الأبعاد، ثم تآمر. وهناك مجموعة متنوعة من خوارزميات يمكن استخدامها لإنجاز هذه المهمة، ولكن الطريقة المفضلة هي سهلة جدا للاستخدام تي SNE.

• استخدام كلمة تضمين

كلمة تجهيز كلمة لا تساعد على التعبير تضمين وتحريض.

إذا كنت بحاجة إلى إكمال مهمة الاعتراف كيان اسمه، وحددت فقط يقتصر التدريب على بعض السجلات. في هذه الحالة، يمكنك استخدام ما قبل المدربين لتقديم كلمة جزءا لا يتجزأ من على شبكة الإنترنت، أو يمكنك إنشاء كلمة الخاصة بك جزءا لا يتجزأ. تتضمن ميزة تضمين جميع الكلمات في المفردات.

خطوتين التالية، يمكن تنفيذها عن طريق استبدال كلمة واحدة جزءا لا يتجزأ من ناقلات الساخن (ناقلات الساخنة واحد):

• تعلم من جسم كبير من الكلمات في النص جزءا لا يتجزأ (أو حمل قبل المدربين كلمة جزءا لا يتجزأ)
• وهذه المحتويات جزءا لا يتجزأ من الهجرة إلى مهمة جديدة مع مجموعة التدريب أصغر

بعد ذلك، سوف نقوم بدراسة خصائص كلمة المضمنة.

• جزءا لا يتجزأ من خصائص كلمة

افترض أن لديك سؤال - هل ترغب في اللغز قبل هذا سوف نرى مشكلة مماثلة معظم الناس "إذا كان الرجال تتوافق امرأة، فإنه يتوافق مع ما الملك؟"!

الإجابة على هذا السؤال قد تكون الملكة. ولكن كيف لتقرر ما النموذج؟ هذا هو في الواقع فهم الكلمات جزءا لا يتجزأ من واحد من المثال الأكثر استخداما على نطاق واسع. نحن مستعدون لتضمين للرجال والنساء، والملوك والملكات. الرجال ناقلات جزءا لا يتجزأ وجزءا لا يتجزأ امرأة متجه مماثل ناقلات جزءا لا يتجزأ من ناقلات جزءا لا يتجزأ مع ملكة مماثلة على الملك.

يمكنك استخدام الصيغة التالية:

ايمان - ewoman = الذين يجاهدون -؟

يعطي ناقلات 300 الأبعاد المستخدمة في حل هذه المشكلة، قيمة مساوية لقيمة الملكة المضمنة. يمكننا أيضا استخدام وظيفة تشابه لتحديد التشابه بين الكلمتين المضمنة. وتعطى ظيفة مماثلة بالمعادلة التالية:

هذا هو التشابه جيب التمام، يمكنك استخدام صيغة المسافة الإقليدية:

في نظام التوصية الأساسية، يمكنك أيضا العثور على اجراء مماثل عدة أنواع مختلفة أخرى.

• مصفوفة جزءا لا يتجزأ من

في الواقع، عند تنفيذ كلمة خوارزمية جزءا لا يتجزأ، ونحن في نهاية المطاف سوف تكون جزءا لا يتجزأ في مصفوفة من التعلم. إذا كان هناك مفردات 10،000 الكلمات، ولكل كلمة له سمات 300، مصفوفة جزءا لا يتجزأ، كما تدل E، على النحو التالي:

للعثور على كلمة جزءا لا يتجزأ من يقع في 6257 "البرتقالي"، ونحن ناقلات حرارة واحدة جزءا لا يتجزأ من الضرب مصفوفة مع البرتقال أعلاه:

E هو (300،10k)، O هو (10K، 1)، وبالتالي، وجزءا لا يتجزأ من ناقلات ه (300، 1).

2.2 الجزء 2 - كلمات تعلم تضمين: word2vec والقفازات

• تعلم الكلمات تضمين

لنفترض أننا بناء نموذج لغة الإدخال، نموذج الشبكة العصبية هو "أعطني كوب من البرتقال ...."، A نموذج للتنبؤ الكلمة التالية.

أولا، واستخدام ما قبل تدريبهم على تعلم الكلمات جزءا لا يتجزأ من سلسلة مصفوفة جزءا لا يتجزأ من كل كلمة، ومن ثم تضمينها تسليمها إلى الشبكة العصبية، فإن الشبكة العصبية لديهم المصنف Softmax للتنبؤ الكلمة التالية.

الهندسة المعمارية هي من هذا القبيل، في هذا المثال، لدينا ستة كلمة المدخلات، ويتم تمثيل كل كلمة كتبها ناقل 300 الأبعاد، بحيث تسلسل الإدخال 6 * 300 = 1800 المعلمات البعد من طراز هي كما يلي:

• مصفوفة جزءا لا يتجزأ من (E)
• ث ، ب
• ث ، ب

عن طريق الحد من عدد من إدخال الكلمات، للحد من البعد الإدخال. إذا كنت ترغب في نموذج لاستخدام فقط في الكلمات الأربع الأولى من التنبؤ، وهذه المرة، سيتم إدخال البعد 1200 البعد. المدخلات يمكن الإشارة أيضا إلى أنه هذا السياق، والسياق قد يكون لها طرق مختلفة المحدد. هناك عدة طرق بديلة:

• حدد الكلمات الأربع الماضية
• اختيار من اليسار أربع كلمات، أربع كلمات من الحق
• وأخيرا، كلمة
• يمكنك اختيار أقرب كلمة واحدة

هذه هي وسائلنا النمذجة لغة إلى حل المشكلة عن طريق إدخال عبارة السياق والهدف التنبؤ بها. في المقطع التالي، سوف نتعلم كيفية تطبيق البحوث Word2vec كلمة المضمنة.

• Word2VEC

هذا هو كلام التعلم جزءا لا يتجزأ من طريقة بسيطة وفعالة. لنفترض أن مجموعة التدريب قائلا:

أعطني كأسا من عصير مع الحبوب

تخطي البناء (تخطي غرام) نموذج، لتحديد بعض الكلمات السياق والهدف. وبهذه الطريقة، ونحن على خلق مشكلة التعلم تحت إشراف، والتي لديها مدخلات والمخرجات المقابلة. لالسياق، نحن ليس فقط الكلمات الأربع الماضية أو الكلمة الأخيرة، ولكن بشكل عشوائي تحديد كلمة باسم سياق كلمة، ثم يختار عشوائيا كلمة أخرى في إطار (على سبيل المثال: من اليسار إلى اليمين في 5 كلمة) ، وتعيينه إلى كلمة المستهدفة. السياق - قد يكون الهدف هو:

هنا فقط الجزء المحدد من السياق - زوج الهدف، ونفس الشيء يمكن أيضا أن تكون أكثر السياق - الهدف. وفيما يلي تفاصيل النموذج:

فوكب حجم = 10000K

الآن، والحاجة إلى تعلم رسم الخرائط من السياق (C) إلى الهدف (T) هو. يمكننا أن نجعل من الخريطة التالية:

هنا، والمفوضية الأوروبية = E.Oc

Softmax حساب الاحتمالات كلمة سياق معين (C)، وكلمة المستهدفة (T) كمخرج.

وأخيرا، وحساب الخسارة:

واستخدام SoftMax وظيفة خوارزمية جلب بعض المشاكل، واحدة منها هي تكلفة الحوسبة. عندما يكون احتمال كل حساب:

يجب لخص المفردات كل الكلمات 10000. إذا كنت تستخدم مفردات أكبر، كلمات مثل 100،000 أو أكثر، والحوسبة وسوف تصبح بطيئة جدا. يمكنك حل هذه المشكلة من خلال الطرق التالية:

باستخدام SoftMax المصنف الطبقات. وهكذا، بدلا من مرة واحدة وضعت كلمة إلى 10000 فئات، سيترك يتم تقسيمها إلى فئات قبل 5000 أو بعد 5000 فئات، وهلم جرا. هذا يلغي الحاجة لحساب كل 10،000 الكلمات و. SoftMax عملية التصنيف الهرمي هي على النحو التالي:

قد تنشأ من هذا القبيل سؤال لأحد في عقلك: كيفية اختيار سياق C؟ أسلوب واحد هو لأخذ عينات بشكل عشوائي كلمة السياق. عشوائية مشكلة أخذ العينات هي أنه، مثل "نعم" (هو) من الكلمات المشتركة سوف تظهر أكثر في كثير من الأحيان، ومثل "البرتقالي"، "تفاحة" لا تظهر هذه الكلمة ولو مرة واحدة. لذلك، ونحن نحاول اختيار طريقة: جعل الكلمات أقل تواترا لها وزنا أكبر، وكلمة أكثر تواترا له وزن أصغر.

في المقطع التالي، وسوف نقدم مساعدة على خفض تكاليف الحوسبة واحدة من الأفضل أن تعلم كلمات التكنولوجيا جزءا لا يتجزأ.

• عينة سلبية

بناء الجملة القفز (القفز غرام) نموذج، كما ذكر في وقت سابق، ونحن سياق كلمة تعيينها إلى كلمة المستهدفة، بحيث يمكن للكلمات أن تعلم المضمنة. ومن عيوب هذا النموذج هو تكلفة الحسابية عالية من SoftMax. نظرة على أوردناه سابقا:

أعطني كأسا من عصير مع الحبوب

عينة سلبية وسوف أبذل هو، فإنه يخلق الرقابة مشاكل تعليمية جديدة في هذه المشكلة، ونظرا لكلمة "البرتقالي" (برتقالي) و "عصير" (عصير)، علينا أن التنبؤ ما إذا كان هو السياق الزوج الهدف؟ في المثال أعلاه، وهي مشكلة التعلم تحت إشراف الجديدة سيكون على النحو التالي:

كما "البرتقالي" (برتقالي) و "عصير" (عصير) هو الهدف من السياق، لذلك فإننا سنستهدف تم تعيين القيمة إلى 1، و"البرتقالي" (برتقالي) و "الملك" (الملك) في سياق المثال أعلاه ليست هدف ، القيمة المستهدفة من 0.0 تشير إلى أن القيمة هي عينات سلبية. ونحن الآن استخدام الانحدار اللوجستي لحساب احتمال ما إذا كان هذين الهدفين على السياق. ونظرا لاحتمال بالمعادلة التالية:

يمكننا استخدام كلمة K لتدريب النموذج. لمجموعات البيانات أصغر، ومجموعة ما بين 5 و 20 K، في حين أن مجموعات كبيرة من البيانات، نختار K أصغر (2-5). لذلك، يمكنك إنشاء الشبكة العصبية، المدخل هو "البرتقالي" (برتقالي) (برتقالي واحد ساخن ناقلات):

ونحن سوف تحصل على 10،000 مشاكل التصنيف الممكنة، كل يتوافق تصنيف لمفردات مختلفة. ولذلك، فإن هذه الشبكة رسم سياق المقابلة كلمة "البرتقالي" (برتقالي) كل ما يمكن من كلمة المستهدفة. هنا نحصل عليه هو 10000 مشكلة تصنيف الثنائية، وليس ضخمة 10،000 الطريق SoftMax، هذه مشكلة بطيئة جدا.

اختيار كلمة السياق من التسلسل، مرة واحدة محددة، يختار كلمة عشوائية أخرى مثل عينات إيجابية من تسلسل، وحدد الكلمة إلى العديد من العينات سلبية عشوائية أخرى من المفردات. بهذه الطريقة، يمكنك استخدام مشكلة تصنيف ثنائي بسيطة لتعلم كلمات المضمنة. التالي سنرى كلمة أبسط تعلم تضمين الخوارزمية.

• قفاز كلمة ناقلات

نفس المثال:

أعطني كأسا من عصير مع الحبوب

كما ذكر آنفا، نحن على مقربة من بعضها البعض لانتزاع كلمتين من جسم النص، لكلمة (السياق والأهداف) يتم أخذ عينات. استخدام القفازات (جلوبل ناقلات ناقلات العالمية) يمثل فإن كلمة أن تكون أكثر وضوحا. الافتراضات:

Xij = عدد مرات ظهور الكلمة في سياق I ي هو

هنا، أنا هو مماثل لهدف (ر)، وي مثل السياق (ج). قفاز تقليل ما يلي:

هنا، و (xij) هو مصطلح الوزن، وهي تردد كبير من كلمة (على سبيل المثال، هو، من، لذلك، من كلمة من هذا القبيل ...) تعيين وزن أصغر، وذلك باستخدام كلمة تردد صغيرة تعيين وزن أكبر، عندما (XJ) = 0 عندما، و (اكس) = 0. عن طريق التقليل من المعادلة المذكورة أعلاه، حصلت أخيرا كلمة التضمين جيدة. حتى الآن، لقد تعلمت الكثير من الكلمات جزءا لا يتجزأ من خوارزميات التعلم. التالي نتعرف على تضمين كلمة (كلمة التضمينات) التطبيقات.

2.3 الجزء 3 - كلمة جزءا لا يتجزأ من التطبيق باستخدام

• تصنيف المشاعر

بعد أن علمت ما سبق، يجب أن يكون واضحا جدا ما هو التصنيف المشاعر، ولذا فإنني سوف تسريع التقدم في ما يلي. عرض الجدول أدناه، والتي تحتوي على بعض من النص والعاطفة المقابلة لها:

تصنيف مشاعر مجموعة متنوعة من التطبيقات، ومبلغ كبير نسبيا. ولكن في معظم الحالات، أي تدريب مع التسمية. هذا هو كلمة جزءا لا يتجزأ من خلاص، دعونا نلقي نظرة على كيفية استخدام العاطفة كلمة جزءا لا يتجزأ من بناء نموذج التصنيف.

المدخلات هي: "حلوى كبيرة"

هنا، E هو تدريب ما قبل تضمين المصفوفة، على سبيل المثال، هناك 100 مليار كلمة. نقوم بمعالجة متعددة من الساخنة واحد الترميز ناقلات مصفوفة جزءا لا يتجزأ مع كل كلمة، مما أدى إلى شكل التعبير من كلمة واحدة. بعد ذلك، ملخصا كل هذه جزءا لا يتجزأ من وتطبيق المصنف Softmax لتحديد التصنيف.

لأنه أخذ المتوسط من كل الكلمات، حتى لو حصلت وعدد سلبية، ولكنه يمثل أيضا كلمة إيجابية، النموذج قد تعطيه على تقدير أعلى. ويبدو من الخطأ قليلا، لذلك يجب أن نكون RNN تصنيف المشاعر، بدلا من مجرد استخدام كلمة للحصول على الناتج المضمنة.

وهذا هو الكثير، لقضية، لدينا سلسلة الإدخال (كلمات متعددة) وناتج واحد. وحتى الآن، لديك بالفعل القدرة على حل هذه المشكلة.

 تضمين يمثل كلمة واحدة هي كلمة من الطريق جيدة، ونحن رأينا كيف لبناء واستخدام هذه الكلمات جزءا لا يتجزأ، في نفس الوقت، تعلم الكلمات جزءا لا يتجزأ من التطبيقات المختلفة، وأخيرا قدمنا أيضا نموذج الاهتمام، الذي هو بناء نموذج سلسلة واحدة من أكثر الأفكار القوية.

إذا كان لديك أي أسئلة أو تعليقات على هذه المادة، لا تتردد في المشاركة في قسم التعليقات أدناه. نتطلع الى ردكم!

يمكنك أيضا قراءة هذه المادة على الروبوت تطبيق Analytics فيديا ل.

العنوان الأصلي:

لا بد من كلمة دروس لتعلم تسلسل النمذجة (deeplearning.ai دورة # 5)

الرابط الأصلي:

https://www.analyticsvidhya.com/blog/2019/01/sequence-models-deeplearning/

المحرر: هوانغ Jiyan

مقدمة المترجم

تشن يان، جامعة جياوتونغ بكين، الاتصالات والدراسات العليا هندسة التحكم، ودرجة الماجستير في الهندسة، وشغل منصب والبرمجيات ونظم المهندس سور الصين العظيم الحاسوب، داتانغ الدقيقة مهندس، وترجم الحالي متفوقة بكين والتكنولوجيا المحدودة تشارك حاليا في تدريس تشغيل نظام الترجمة ذكية والصيانة، والتي تراكمت لديها بعض الخبرة في دراسة متعمقة من الذكاء الاصطناعي وشروط معالجة اللغة الطبيعية (NLP). الترجمة وقت الفراغ خلق المفضلة، وتشمل أعمال الترجمة: IEC-ISO 7816، ومشاريع النفط العراقية، والضرائب الجديدة البيان وغيرها، حيث تم نشر الترجمة الإنجليزية العمل "نيو الضرائب البيان" في GLOBAL TIMES. يمكن ترجمة تدخر الوقت للانضمام مجموعة من المتطوعين THU إرسال منصة البيانات، ونأمل أن حصة مع تبادل التقدم المشترك.

- انتهى -

تسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU "أيتها الأخوات ولا". إرسال البيانات THU "لرعاية المزيد من المحاضرات ونوعية المحتوى.