المصدر: نيو جي وون
أطروحة 2200 كلمات وأوصت القراءة 9 دقائق.
توضح هذه الورقة GAN مضغوط ربط التصور والإطار الابتكار.
اقترح DeepMind على "ضغط عمق الإدراك" إطار عمل جديد، وضغط عمق الإدراك والتعلم جنبا إلى جنب مع تحسن كبير في الأداء وإشارة سرعة الانتعاش، وطريقة جديدة لتحسين GAN المقترحة.
مضغوط الاستشعار (CS) هو إطار أنيق، لاستعادة إشارة متفرق من إشارة مضغوط.
على سبيل المثال، CS يمكن استخدام بنية الصورة الطبيعية، سوى كمية صغيرة من قياس عشوائي استعادة الصورة.
CS له ميزة المرونة والكفاءة العالية للبيانات، ولكن بسبب عملية إعادة الإعمار قليلة ومكلفة بها، ويقتصر تطبيق CS.
ثم، يعتقد أن CS وعمق التعلم جنبا إلى جنب، إذا كان يمكنك الحصول إطار أكثر أناقة ذلك؟
الصحف مؤخرا، DeepMind يان وو، ميهايلا روسكا، تيموثي Lillicrap وغيرهم من الباحثين نشرت ديب المضغوط الاستشعار في ICML 2019، والقفز في CS والشبكات العصبية الجمع بين مولد تستند إلى إطار الجديد المقترح.
ضغط عمق الإدراك (DCS) من خلال إطار باني التدريب المشترك و إعادة الإعمار عملية التحسين من خلال الفوقية التعلم ، بشكل ملحوظ يحسن الأداء وسرعة الانتعاش للإشارة. الكاتب يستكشف قياس تدريبية لهدف مختلف، وإعطاء تقليل أخطاء القياس تستمد سلسلة من النماذج.
يقول المؤلفان: "لقد أثبتنا ضد شبكة الجيل (GANS) يمكن أن ينظر إليه باعتباره حالة خاصة من هذا المرجع عائلة نموذجية CS الأفكار، قمنا بتطوير طريقة جديدة لتحسين استخدام المعلومات التدرج GAN من الممي. "
مضغوط الاستشعار عن ما هو عليه؟
وعلق أحدهم:
الاستشعار المضغوط هو واحد من اهم الانجازات المبهرة منذ مجال معالجة الإشارات في القرن 21 قدم، وجعل الاستخدام الفعال في مجال التصوير بالرنين المغناطيسي، ومعالجة الصور وغيرها من المجالات. نظرية الاستشعار عن الضغط وراء صياغة رياضية معقدة تحتوي على الفكر دقيق جدا. وبناء على هذه الفكرة مع الخيال، جنبا إلى جنب مع البرهان الرياضي الصارم مضغوطة الاستشعار عن بعد لتحقيق تأثير سحري، كسر القاعدة الذهبية للمعالجة الإشارات - نيكويست أخذ العينات نظرية. وهذا هو، أثناء أخذ العينات إشارة، فإن نقاط أخذ العينات مع القليل جدا لتحقيق نفس التأثير، والعينة كلها.فك التشفير والترميز مشاكل الاتصالات الأساسية. مضغوط الاستشعار (CS) يوفر إطارا للترميز وفك عملية فصل القياس وإعادة إعمار مستقلة. مع نموذج التلقائي الترميز التقليدية (نهاية التدريب ذات التشفير وحدة فك الترميز) مختلفة، CS من تحسين خط القياس منخفضة الأبعاد إشارة أعيد بناؤها.
العمارة النموذج هو درجة عالية من المرونة وأخذ العينات فعالة: يمكن بناؤها عالية الأبعاد إشارة من بيانات القياس عشوائية صغيرة، أي تتطلب القليل من التدريب أو لا.
وقد تم تطبيق CS بنجاح إلى الضوضاء القياس، المشهد التكلفة العالية، مثل التصوير بالرنين المغناطيسي. أخذ العينات الكفاءة بحيث تطورها باعتبارها "الكاميرا بكسل واحد" تصبح ممكنة، صور كامل القرار يمكن أن يتكرر من جهاز استشعار للضوء واحد.
ومع ذلك، لا سيما البيانات على نطاق واسع تجهيز في عمق الحديث تعلم أن تزدهر، يستخدم على نطاق واسع CS افتراضاتها إشارة إعادة الإعمار متفرق وعملية التحسين تعيق بطيئة.
في الآونة الأخيرة، بورا وآخرون (2017) وCS تدريب وحدها مولد مجموعة الشبكة العصبية. ورغم أن هذه الشبكات العصبية المدربين قبل لا الأمثل لCS، لكنهم يظهرون أداء أفضل من إعادة بناء الطرق القائمة، مثل لاسو (Tibshirani، 1996).
في هذه الورقة، نقترح ضغط عمق إطار التصور (الاستشعار عن ضغط عميق، DCS) وفي هذا الإطار، يمكن تدريب الشبكة العصبية من الصفر لقياس الانترنت وإعادة الإعمار.
علينا أن نثبت، عمق الإدراك مضغوط الاطار قد تولد بشكل طبيعي سلسلة من النماذج، بما في ذلك GANS ، من خلال قياس وظائف وأهداف التدريب المختلفة استنتاجها.
مساهمة من هذا العمل هي على النحو التالي:
- وتبين لنا كيف أن عمق تدريب الشبكة العصبية في إطار CS.
- وأظهرت النتائج أن، بالمقارنة مع النموذج التقليدي، طريقة إعادة الإعمار التعلم الفوقية لديها أعلى دقة وأسرع يسرع عدة أوامر من حجمها.
- لقد قمنا بتطوير نوع جديد من التحسين المحتمل لخوارزمية التدريب القائم على GAN لتحسين أداء GAN.
- وسيتم توسيع نطاق هذا الإطار الجديد إلى GAN التدريب شبه إشراف، وسوف تظهر القدرة على تحسين الأهمية المحتملة من الفضاء الدلالي.
أثبتنا أولا فوائد الفوقية التعلم وبورا وآخرون (2017) نموذج يجمع بين. ثم تم تمديد مصفوفة قياس لقياس وظيفة حدودي، بما في ذلك عمق الشبكة العصبية.
قبل أن تبدأ العمل كمقياس يعتمد على وظيفة الإسقاط عشوائية، ومقاربتنا من قبل RIP كهدف التدريب لمعرفة وظيفة القياس. نحن ثم إضافة ميزات أخرى من RIP على التدبير، حصلت على اثنين من الموديلات الجديدة، بما في ذلك نموذج محتمل لتعظيم الاستفادة من GAN الممي مع دليل، الأمر الذي يؤدي إلى التدريب ديناميكية أكثر استقرارا ونتائج أفضل .
- مضغوط الاستشعار عن بعد والتعلم الفوقية
ونحن نفترض تشغيل CSGM (بورا وآخرون 2017) عندما انخفضت الكفاءة والأداء باستخدام التدريب الكامنة وراء عملية التحسين التعلم الفوقية، من أجل تحسين خطوة التدرج الخلفي نشر.
قد تتطلب CS النموذج الذي يستند إليه عملية التحسين مئات أو آلاف خطوة أصل التدرج. باستخدام الفوقية التعلم لتحسين عملية التحسين، وهدفنا هو استخدام أقل من التحديثات لتحقيق نتائج مماثلة.
وتحقيقا لهذه الغاية، فإننا تدريب المعلمات النموذج، وإمكانية إجراءات الأمثل لتقليل خطأ القياس المتوقعة:
أنظمتنا هي على النحو التالي:
- ضغط عمق الإدراك لديه قياس وظيفة تعليمية
في خوارزمية 1، ونحن نستخدم خاصية RIP لمولد القطار. يمكننا استخدام نفس الأساليب، وتعزيز الملكية RIP لقياس التعلم وظيفة F نفسها، بدلا من استخدام الإسقاط عشوائي.
يلخص خوارزمية 2 أدناه هذه الخوارزمية التوسع. ونحن ندعو هذا الضغط عمق الإدراك (DCS)، للتأكيد على عمق القياس وإعادة الإعمار قد تكون الشبكة العصبية.
ويلخص الجدول 2 والجدول 3 نتائج لنموذج والنموذج المرجعي بورا وآخرون.
يمكنك ان ترى، وأداء DCS يتفوق بشكل كبير على المؤشر. وبالإضافة إلى ذلك، على الرغم من أن النموذج الأساس الآلاف من الخطوات أصل التدرج وتمهيد متعددة الاستخدامات، ولكن نحن نستخدم فقط ثلاث خطوات، لا إعادة تشغيل، زيادة كبيرة في الكفاءة.
ومن المثير للاهتمام، على وظيفة ثابتة F، تفوقت الإسقاط الخطي الشبكة العصبية عشوائية. معظم نتائج إيجابية للتوقعات عشوائية الاستشعار عن الضغط موضح في الأدب، فضلا عن أكثر عمومية نظرية جونسون ليندنشتراوس.
المزيد من النتائج على النحو التالي:
أوراق العنوان:
https://arxiv.org/pdf/1905.06723.pdf
إشارة:
صور من السهل أن نفهم تفسير ضغط الاستشعار خوارزمية II--
https://zhuanlan.zhihu.com/p/22445302
المحرر: هوانغ Jiyan تصحيح التجارب المطبعية: قوة غونغتسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU "أيتها الأخوات ولا". إرسال البيانات THU "لرعاية المزيد من المحاضرات ونوعية المحتوى.
