الموضوع الذي تكره أكثر؟ هل فكرت في أي وقت مضى، مع منظمة العفو الدولية لحفظ تكره العمل بطبيعة الحال؟ على سبيل المثال، بالنسبة لك لكتابة أوراق؟ بعد قراءة هذه المقالة، يمكنك السيطرة على هذه المهارة، أوه.

RNN

تم الشبكات العصبية تحاول حل المشكلة هي ترتيب البيانات والبيانات الزمانية. احتياجات الشبكة العصبية التقليدية ليكون مدخلا حجم ثابت والإخراج.

كما ترون عن شخص في أسفل الدرج لشريط الفيديو الذي تريد أن يحدث لتدريب الشبكة العصبية لتصنيف الفيديو. شبكة العصبية المشتركة قد نقول للشخص يقف في الإطار الأول من الفيديو. ومن ثم قد يكون قادرا على رؤية إطار بينهما، حتى تصل إلى الإطار الأخير من الفيديو وشهدت سقوط الرجل. ولكن بمجرد أن حصلت هناك، والناس سوف تنسى هذا الشخص واقفا في المقام الأول.

الشبكة العصبية المتكررة لأعمالهم والمساعدة في حل هذه المشاكل. على مستوى عال، RNN للعمل من خلال كل دورة. قبل ثم نقلها إلى تنفيذ الشبكة العصبية، فإنه يحصل على بعض المعلومات من التكرار الأول في تمرير الأمام الثاني للحصول على مزيد من السياق لتوقعات الثاني.

عرض "موسع" مخطط RNN التي يتم نقل المعلومات بين التكرارات.

معلومات من البداية يمكن أن تنتقل إلى حد كبير في جميع أنحاء الشبكة. الآن يمكننا أن نفهم شبكة الاتصال إذا كان شخص ما تراجعت حقا أسفل الدرج!

نوع RNN

RNN تبريد لأنها لا تحتاج إلى مدخلات ثابتة أو الإخراج، قد تقبل الإدخال ويقوم بإنشاء سلسلة الانتاج.

1. واحد إلى واحد: هذا هو في الأساس الشبكة العصبية التقليدية. وهو يوفر مدخلات ثابت والانتاج ثابت.

2. كثير: هذا RNN يتلقى المدخلات وتوفير عدد وافر من النواتج. ما يمكنك القيام به هو أن يتم تغذية الناتج الأول إلى الشبكة العصبية لتوليد الناتج آخر، نتائج تغذية إلى الشبكة العصبية. وهذا ما يسمى أخذ العينات الشبكة العصبية، من خلال القيام بذلك، يمكنك إنشاء سلسلة جديدة.

3. Many-: RNN تلقي تعدد المدخلات وتوفير الانتاج واحد. ويستخدم هذا لتطبيقات مثل تحليل المشاعر، يمكنك توفير النص الذي الشبكات العصبية والتنبؤ مزاجهم أو العواطف. تسلسل الناتج قد تكون الكلمات في الجملة، والإخراج للشبكة العصبية يمكن التنبؤ على الحالة المزاجية.

4-كثير: RNN استخدام هذا النوع من تعدد المدخلات وتوليد عدد وافر من سلاسل الانتاج. هناك في الواقع نوعان من العديد-RNN. عندما اثنين متواليات ليس بالضرورة بنفس الطول، وذلك باستخدام النوع الأول. لتطبيقات مثل الترجمة الآلية، يمكن للمدخلات باللغة الإنجليزية أو أي لغة أخرى من العقوبة، ويمكن إخراج الجملة يكون الفرنسية أو غيرها من اللغات. في هذه الحالة، قد يكون عبارة المدخلات والمخرجات مختلفة، لذلك أن هذا النوع من شبكة يصبح مفيدا لكثير. المدخلات والمخرجات باستخدام النوع الثاني من التزامن. إذا نحن نحتفل كل إطار من الفيديو، ونحن يمكن أن تدخل في الإطار، الإخراج التسمية، ومن ثم الاستمرار في تصفح بقية الفيديو.

مشكلة RNN

حتى الآن، يبدو RNN الكمال، أليس كذلك؟ نحن نستخدم هذه الشبكة الجديدة من أجل شبكة أفضل من الطريقة التقليدية في تشغيل تسلسل البيانات. مشكلة واحدة هي اختفاء RNN / انفجار مشكلة التدرج.

نتائج يختفي صورة التدرج

عند استخدام التدرج يتم تحديث النموذج العودة نشر وحساب الأضرار (نموذج مدى خطأ)، والتدرج أصغر وأصغر، وأبعد من الحصول على المسافة في الشبكة. وهذا يعني في الأساس أكثر من طبقات الشبكة، وانخفاض كفاءة التدريب. انفجار التدرج هو في الأساس على العكس، إذا كان التدرج هو كبير جدا، هو مثل انهيار جليدي، مثل إعادة الانتشار، ولأن RNN مرت الكثير من التكرار والتسلسل، حتى تختفي المشكلة / تنفجر وجود التدرج.

الذاكرة قصيرة الأجل على المدى الطويل

والحل لهذه المشكلة هو استخدام LSTM، وخلايا الذاكرة على المدى القصير والطويل. وهو يحتوي على سلسلة من الصيغ الرياضية، يمكن RNN مساعدة في حل مشكلة اختفاء التدرج، وتوقع أكثر دقة. عند استخدام LSTM، يرجى النظر هناك أربع قطع من المعلومات: على المدى الطويل الذاكرة، والذاكرة على المدى القصير، والأحداث والإخراج. توفر وحدة LSTM يبلغ حجم انتاجها على أساس هذا الحدث، والنظر في الذاكرة طويلة المدى والذاكرة على المدى القصير عند اتخاذ التنبؤ.

ويوضح الشكل مثالا لكيفية تحديث المعلومات في وحدة LSTM

من الناحية النظرية، LSTM لها أربعة أبواب: الباب المنسية، باب التعلم والذاكرة واستخدام الباب إلى الباب. يتم نقل الذاكرة على المدى الطويل إلى باب النسيان، نسيان المعلومات غير الضرورية، الذاكرة على المدى القصير وأحداث التعلم في الباب، وحفظ المعلومات المفيدة. LTM، STM والأحداث تضاف إلى باب الذاكرة، ومن ثم تخزينها في تحديث LTM، ويتم تمرير ثلاث قطع من المعلومات أيضا إلى استخدام الباب، والتنبؤ (STM) هناك.

الرسم البياني البناء الاداء وترتيب وحدة بوابة LSTM

بالطبع، هو تبسيط هذا السوبر. ولكن السؤال الرئيسي يجب أن يكون LSTM مفيدة جدا عند استخدام RNN.

أوراق الكتابة باستخدام RNN

الآن أن لدينا فهم أساسي لRNN يعمل، دعونا نعود إلى السؤال الأصلي: كيفية الهروب من وظيفة كنت لا تحب؟

يمكننا تحقيق ذلك من خلال استخدام العديد من RNN. يمكن تدريب في كومة من الأوراق على الشبكات العصبية المختلفة، وعينات على نموذج لتوليد رقة جديدة لم أكن قد رأيت من قبل!

استخدام دعونا Keras، وهذا نموذج لتطوير التعلم العميق API كبار. ويأتي ذلك بعد في نموذج التعليمات البرمجية Keras جيثب الريبو لتوليد النص باستخدام LSTM.

ونحن أول استيراد جميع المكتبات ووحدات المطلوبة.

من keras.callbacks importLambdaCallback من keras.models importSequential من keras.layers الكثيفة استيراد من keras.layers LSTM استيراد من keras.optimizers importAdam من get_file keras.utils.data_utilsimport استيراد نمباي كما أرستها استيراد عشوائي تميز الكلية استيراد استيراد الإعلام والتوعية

أي نص يمكن استخدامها. على سبيل المثال، سوف نستخدم كتابات نيتشه. استيراد ملفات نصية، وبعض ما قبل المعالجة، وقيم النواقل.

مسار = get_file ( "Nietzsche.txt، الأصل = 'الشبكي: //s3.amazonaws.com/text-datasets/nietzsche.txt') مع io.open (مسار، ترميز = "UTF-8") كما و: النص = f.read (). خفض () طباعة ( 'طول الجسم:'، ليون (النص)) حرف = فرزها (قائمة (مجموعة (النص))) طباعة ( 'مجموع أحرف:'، ليون (حرف)) char_indices = ديكت ((ج، ط) دولة محكمة، ج في اعدد (حرف)) indices_char = ديكت ((ط، ج) دولة محكمة، ج في اعدد (حرف)) # قص النص في شبه redundantsequences من الشخصيات MAXLEN MAXLEN = 40 خطوة 3 = الجمل = next_chars = لأنني في مجموعة (0، ليون (النص) -maxlen، خطوة): sentences.append (النص ) next_chars.append (النص ) طباعة ( 'تسلسل ملحوظة:'، ليون (الجمل)) طباعة ( 'كمية موجهة ...') س = np.zeros ((ليون (الجمل)، MAXLEN، ليون (حرف))، dtype = np.bool) ص = np.zeros ((ليون (الجمل)، ليون (حرف))، dtype = np.bool) لأنني، الجملة inenumerate (الجمل): لر، شار في اعدد (الجملة): س = 1 ذ = 1

الآن هو الوقت المناسب لبدء التشغيل الفعلي للنموذج. وهو يتألف من LSTM واحد، وذلك باستخدام آدم محسن.

نموذج = متسلسل () model.add (LSTM (128، input_shape = (MAXLEN، ليون (حرف)))) model.add (الكثيفة (ليون (أحرف)، وتفعيل = "softmax ')) محسن = آدم (LR = 0.01) model.compile (الخسارة = 'categorical_crossentropy، محسن محسن =)

الآن تحديد الوظيفتين، عينة (عينة): وظيفة مساعد من فهرس عينة احتمالية للمجموعة، وعند نهاية كل عينة (on_epoch_end): هذا هو استدعاء دالة في نهاية كل عصر، وطباعتها من قبل نموذج إنشاء النص.

عينة صفر (preds، ودرجة الحرارة = 1.0): preds = np.asarray (preds) .astype ( 'float64') preds = np.log (preds) / درجة الحرارة exp_preds = np.exp (preds) preds = exp_preds / np.sum (exp_preds) probas = np.random.multinomial (1، preds، 1) عودة np.argmax (probas) مواطنه on_epoch_end (الحقبة، _): طباعة () طباعة ( '----- توليد النص بعد عصر: د' العصر) START_INDEX = random.randint (0، ليون (النص) -maxlen - 1) التنوع في : طباعة ( '----- التنوع: "والتنوع) ولدت = '' الجملة = النص ولدت + = الجملة طباعة ( '----- توليد بالبذور: "' + الجملة + '"') sys.stdout.write (ولدت) لأنني في مجموعة (400): x_pred = np.zeros ((1، MAXLEN، ليون (حرف))) لر، شار في اعدد (الجملة): x_pred = 1. preds = model.predict (x_pred، مطول = 0) next_index = العينة (preds والتنوع) next_char = indices_char ولدت + = next_char الجملة الجملة = + next_char sys.stdout.write (next_char) sys.stdout.flush () طباعة ()

نحن تقريبا هناك! وأخيرا، وسوف نكتب وظيفة الاستدعاء، حيث سنرى إخراج النص ونموذج تناسب البيانات.

print_callback = LambdaCallback (on_epoch_end = on_epoch_end) model.fit (س، ص، batch_size = 128، العهود = 60، الاسترجاعات = )

هذا هو. كل تدريب هذه تدريبية نموذجية على جوجل Colab عندما استغرق نحو ثلاث ساعات، يمكنك أيضا استخدام GPU لتشغيلها على جهاز الكمبيوتر الخاص بك. من الناحية النظرية، ينبغي أن يبدأ النص الناتج بعد حوالي 30 مرات متتالية، لذلك دعونا ننظر لفي إخراج هذا النموذج.

"Patienceare إحساسنا نموا أولا، أن العالم من theprocess كما هو الحال في نفس الشكل والخشوع، وسيد synthesionand نفس الإيقاع من sensues ذلك ووبما أن جميع ترويض وإلا إف تي إتش إي خالية من contradition من existe لا يعني أن الأخلاق ويريدون من theplace إلى كل رجل من tempope "جميع exclive الأخلاقية الروح الى hasalways جيدة لمواقفه ديه من chrison إلى خطورة فائقة" "هل يمكن اعتبار حتى مشاعر الكراهية والمرتبة السلوك، وحالات لديها واحد wele يكون المدخل سابقا للدولة أو إف تي إتش الدين في النفوس، وrepresens وفقا ويمكن أن يكون feelingsof وفوق كل الأديان ونضال الحواس standsand entiblent كذلك يمكن للجميع suffett من سلوك soutes من موضوعه، وdependersfor الدين الذي هو ليس مشاعر منهم suphriated الشعور thest "

آه ...... هذا أدخل الإجابة لا تبدو جيدة للغاية. ولكن هذه هي التي تنتجها الشبكة العصبية، وهذا ليس بارد؟ ليس هناك شك، من خلال تحسين البنية التحتية وبيانات أكثر اتساعا، وربما يمكنك الحصول على كتابتها والمحتوى الإنساني، بغض النظر عن النتيجة.

الاستنتاجات الرئيسية

ويجري الآن إجراء معالجة اللغة الطبيعية اختراق رهيبة، وتوليد النص هو في الواقع مثيرة جدا للاهتمام. يجب أن نضع في الاعتبار النقاط الرئيسية التالية:

1. باستثناء الشبكة العصبية المتكررة مع الشبكات العصبية التقليدية هو قدرتها على الاحتفاظ بالبيانات لالسابق التكرار تحسين التنبؤ.

2. وهناك تشمل العديد من أنواع مختلفة من RNN-- 1-1، واحدة لكثير، كثير لكثير، هي مناسبة لكل مهمة معينة.

3. باب الذاكرة قصيرة وطويلة الأجل (LSTM) لحل المشكلة تختفي التدرج من RNN، ويستخدم المعلومات على المدى الطويل أيضا في اتصال الشبكة العصبية.