آن مترجم الأخيرة

إنتاج و qubit | عدد ملفه QbitAI

135 مرات أسرع.

في الآونة الأخيرة، وقد اقترح باحثون في جامعة شنغهاي جياوتونغ شريحة الشبكة العصبية المتكررة (شرائح الشبكات العصبية المتكررة، SRNN) هيكل، دون تغيير وحدات دورة، و 135 مرة أسرع من هيكل RNN.

مثل العام قدم عمليات العجلات الساخنة، ما يتحقق؟

في ورقة "شرائح المتكررة الشبكات العصبية"، يتم إعطاء الباحثون وصفا محددا. دعونا نلقي نظرة على "التركيز أخرى كاملة من النقاش"، والتركيز الورق -

"Quxianjiuguo" SRNN

RNN البنية التقليدية من أكثر حدة دورة شعبية هو LSTM وGRU، يمكن تخزين كل المعلومات الأخيرة التي النابضة آلية (المحاصرة آلية) في طبقة مخفية، ومن ثم تقرر كيف سيتم الجمع بين هذه المعلومات مع مدى والإدخال. وعيب هذا الهيكل هو أيضا واضح، RNN من الصعب تحقيق المعالجة المتوازية.

RNN الهيكل التقليدي، A ممثل وحدة تداول | كل حاجة خطوة لانتظار الناتج من الخطوة السابقة

لذلك، كثير من العلماء في الانتخابات في المهام NLP مع CNN إلى محل، ولكن لا يمكن أن تأمر CNN الوصول الفعال إلى المعلومات الهامة، وكانت النتائج غير مرضية.

تم تعديل الهياكل SRNN هيكل RNN القائمة، ويتم قطع تسلسل مساهمة في تسلسل الحد الأدنى الابن البكر مثل. في التكوين من هذا القبيل، دون انتظار لإخراج الخطوة السابقة، وقد يتم تشغيل وحدة التداول في وقت واحد في كل طبقة في كل تسلسل الفرعية، ويمكن أن تنتقل المعلومات من خلال الشبكة العصبية متعدد الطبقات.

SRNN مخطط التكوين، A ممثلي وحدة التداول

وأخيرا، قارن الباحثون وقت التدريب SRNN وRNN والسرعة في أطوال مختلفة في التسلسل.

أظهرت النتائج أن، ويعد التسلسل، ومزايا أكثر وضوحا SRNN، عندما يكون طول التسلسل هو 32768، وصلت SRNN 136 أضعاف سرعة RNN.

ملخص

في البرمجة اللغوية العصبية (معالجة اللغة الطبيعية) العديد من المهام، وكانت الشبكة العصبية المتكررة ناجحة. ومع ذلك، هذا الهيكل يسمح الموازاة من الحلقة يصبح من الصعب جدا، لذلك التدريب RNN الوقت هو عادة لفترة أطول.

في هذه الورقة، نقترح هيكل لشريحة من الشبكة العصبية المتكررة، وتسلسل يمكن أن يقتطع الكثير من دون تسلسل، من أجل تحقيق التوازي. هذا الهيكل قد تكون أقل في حالة معلمات إضافية، الحصول على معلومات عالية المستوى من خلال مستويات متعددة من الشبكة العصبية.

لقد أثبتنا أننا يمكن أن يفهم على أنه هيكل RNN هو معيار قضية SRNN خاصة عند استخدام وظيفة تنشيط الخطية.

دون تغيير وحدة التداول، يمكن أن يكون SRNN 135 مرة أسرع من RNN القياسية، حتى أسرع عندما تسلسل تدريب طويل. ونحن أيضا تحليل المشاعر كبير على مجموعة البيانات أكد تجريبيا، تفوقت SRNN RNN.

ورقة البوابة

تفاصيل أكثر تحديدا بشأن الدراسة يمكن أن يكون مكان Zeping يو شنغهاي جياو تونغ جامعة كلية المعلومات والهندسة الكهربائية الكهربائية والورق Gongshen ليو "شرائح المتكررة الشبكات العصبية"، على العنوان التالي -

https://arxiv.org/abs/1807.02291

المتعة ~

- كامل  -

المتدرب

العمليات و qubit المتدرب هو تجنيد الأنشطة والتخطيط لتنفيذ الأنشطة في إطار نجمة AI الرئيس التنفيذي للشركة، وكبار المديرين التنفيذيين الآخرين تشارك في الانترنت / حاليا، لدينا الفرصة للتواصل مباشرة مع الماشية الكبيرة صناعة AI. مقرها في تشونغ قوان تسون في بكين. تسليم استئناف مرحبا بكم في quxin@qbitai.com

تفاصيل محددة، يرجى و qubit عدد الجمهور (QbitAI) واجهة الحوار والرد "المتدرب" في الاسم.

و qubit QbitAI عناوين على التوقيع

' " تتبع تقنيات AI دينامية جديدة والمنتجات