طريقة أعمى فائقة الدقة لتصحيح متكررة على أساس نواة غامض

قراءة مقال نشر في CVPR2019 رقة من ميناء جامعة تشونغشان (شنتشن) بالتعاون مع معهد هاربين من الاتجاه فائقة الدقة، ويرتبط عمل بشكل وثيق لعدة مقالات نشرت مؤخرا، وقد فعلت الجزء ذي الصلة من الإرشادات والتوضيحات اللازمة في النص، وأكثر من ذلك ويمكن النقر على مزيد من التفاصيل على الرابط في نهاية البصيرة أوراق المادة.

1. الدافع البحوث

فائقة الدقة صممت الدراسة لاستخدام الصور منخفضة الدقة لاستعادة الصور عالية الدقة المقابلة لها، انها عكس الصورة من عالية الدقة لتدهور دقة منخفضة أو انحطاط، وتستخرج هذه العملية بشكل عام على النحو التالي:

حيث القرار منخفضة صورة ممثل LR، ممثل الموارد البشرية من صور عالية الدقة. نموذج من ثلاثة عناصر رئيسية هي: 1) أخذ عينات من طمس نواة ك 2) عملية ق 3)، بالإضافة إلى الضوضاء ن ... بعد يمكن أن ينظر إلى صورة ذات دقة منخفضة صورة ذات دقة منخفضة ثم يتم لف طمس نواة ك تم الحصول عليها بعد الاختزال والضوضاء. معظم الطرق فائقة الدقة الحالية تفترض يعرف طمس النواة، ثابتة، أو حتى يلقوا من أجل تبسيط المشكلة مباشرة، ولكن نواة غامضة من المشهد الحقيقي في كثير من الأحيان غير معروفة ومعقدة. لتصحيح طريقة تقدير طمس نواة فائقة الحرج، على افتراض الانحراف من نواة طمس يسبب خطير تدهور الأداء نموذج فائقة الانقسام، أنتج نحو سلس أو حادة جدا نتيجة لذلك، كما هو مبين في الشكل.

1. FIG نواة غامض توقعت فائقة الانحراف نتيجة لذلك، المحور الأفقي يمثل نواة طمس المتدهورة أثناء الاستخدام، وتنسيق يمثل فائقة طمس نواة أثناء الاستخدام. فائقة طمس النواة المستخدمة وخفضه والرقمية نواة جاوس الخواص، محور تمثل الانحراف المعياري للمعلمة نواة جاوس

وتوقع هذا من شأنه طمس المجهول هو القضية النووية المهووسين، وصعوبة التنبؤ المباشر هي كبيرة. لهذا الغرض، يقترح المؤلفون طريقة التنبؤ تكرارية IKC (التكرارية نواة تصحيح)، والمتوسطة نتيجة للطريقة تصحيح فائقة الدقة طمس نواة ك، وكرر عدة مرات حتى التقارب، والنتائج التجريبية من FIG. يظهر 2 عدد التكرارات التفوق.

الشكل 2. PSNR صورة فائقة الفرعية والمؤشر مؤشر حركة استقلال جنوب السودان تدريجيا مع عدد التكرارات

ورقة العمل يمكن تلخيصها على النحو النقطتين التاليتين:

المقترح إطارا النووي تكرارية التنبؤ غامض IKC

SFTMD المقترحة نموذج فائقة فرعية جديدة قادرة على التعامل مع متعددة النواة طمس

2. طرق

 2.1 IKC الإطار العام

يتكون إطار IKC من ثلاثة أجزاء، وهي:

فائقة الدقة طراز F: إدخال الصور ذات دقة منخفضة ونواة طمس، صورة الإخراج فائقة الفرعية

التوقع P: منخفضة صورة قرار المدخلات، وإخراج طمس النواة الأولي

مصحح C: المدخلات الأساسية غامض وفائقة الدقة صورة للعصر الحالي، والإخراج النووي غامض مخلفات التصحيح

لحساب نواة غامض الضوضاء في فائقة نموذج، وثيقة [1] (فريق العمل السابق ينتمي المؤلف) يعرض طريقة توسيع البعد، ويمكن تحويل نواة طمس في خصائص الضوضاء نفسها من حجم الصورة المدخلة خصائص FIG، وسهلة الاستخدام في CNN، العملية هو مبين في الشكل. تبين التجارب أن هذه الطريقة فعالة والحوسبة الأداء هي أيضا جيدة.

3. طريقة FIG تمديد طمس نواة الوثيقة 1 يقترح: نواة طمس ممدود إلى ناقل واحد الأبعاد للحد من البعد PCA لر الربط البعد تمتد إلى مستوى الضوضاء ن خصائص FIG. الميزات الناتجة عن تخفيض FIG M، قيمة في قناة يساوي وبما يتطابق مع القيم عنصر ناقلات السابقة تمديد

من أجل التنبؤ وحساب نواة طمس عملية مبسطة، تشير الكتاب إلى الأدب [1] وسيلة لطمس نواة PCA تخفيض أبعاد الفضاء، وناقلات تميز الأصلي تخفيض أبعاد طمس نواة ح ك، وعملية يمكن وصفها على النحو التالي:

توصيف ح باستخدام ك طمس النواة، وذلك باستخدام طريقة توسيع أبعاد التي يتم تضمينها في الشبكة. حيث توصيف الأولي للنواة طمس الناتجة عن تنبؤ P، وبالتالي يولد فائقة صورة من الجولة الأولى:

بعد كل خطوة من عملية تكرارية هي التي ما يلي:

حيث تمثل المعادلة الأولى مصحح C وفقا لنتيجة كمية تصحيح فائقة وتوقع نواة طمس النووية، وبحساب المعادلة الثانية جوهر الجديد، الصيغة الثالثة مع التنوي جديد صورة فائقة الفرعية. عندما حلقة التكرار لكمية تصحيح h بما فيه الكفاية صغيرة لإظهار أن التوقعات النووية دقيقة بما فيه الكفاية، ثم يمكنك التوقف عن بالتكرار. هنا، فائقة طراز F.، وللتنبؤ مصحح C P ومعلمات الشبكة العصبية.

2.2 فائقة الدقة طراز

غير قادرة على التعامل مع SRMD متعددة فائقة الدقة طمس شبكة النواة، وعيوب في تحسينها وشبكة SFTMD، أبنية إلى ما دون

4. هندسة الشبكات SRMD من FIG.

5. SFTMD ترقية هندسة الشبكات من FIG.

مشكلة تصميم الشبكة الأساسية هي كيفية الاستخدام الفعال نواة المعلومات طمس، SFTMD عن طريق إدراج طبقة SFT لهذا الغرض بين طبقة التفاف. SFT هي طبقة [الوثيقة 2] اقترح طريقة المعلومات المسبقة دمجها CNN، التي تؤثر على المعلومات ميزة النمذجة مسبقة من FIG التحول أفيني، يمكن أن ينظر إلى تحويل تآلفي كما التكبير، والقومية، تدوير، والوجه، والقص التحول الأساسي مركب. في SFTMD، وبداهة المعلومات تشير إلى الميزات في FIG H طمس النواة، يمكن التعبير عن طبقة SFT في هذا الوقت على النحو التالي:

حيث يدل على عنصر الحكمة المنتج، وغاما] تمثل على التوالي المعلمة التحجيم والمعلمة الترجمة، التي يتم إنشاؤها من قبل دراسة صغيرة من CNN، انظر الشكل (5).

مقارنة مع SRMD SFTMD، سواء تختلف أساسا في النقاط الأربع التالية:

مخلفات SFT مخطط الجسم شبكة CNN ترقية من شبكة بسيطة (شبكة العمود الفقري باستخدام وثيقة SRResNet [3] في)

وتأتي غامض نواة SFTMD لتعلم (للمكفوفين) ريال، ويتم تحديد نواة SRMD طمس عند المدخل (غير الأكفاء SR)

SFTMD نواة طمس سوف تكون مدخلا إلى كل من طبقات المتوسطة، وفقط في SRMD إدخالها إلى الطبقة الأولى

SRMD في وقت واحد بمعالجة الصورة المدخلة باستخدام التفاف وتدهورت FIG، وفرع الفرعية SFTMD تأثير النمذجة باستخدام FIG المتدهورة وتؤثر على عملية فائقة القرار الذي تحول أفيني.

النقطة الثالثة والرابعة هي SFTMD للحدود SRMD القيام به لتحسين. لأول 3:00، ويرجع ذلك إلى تأثير طبقة التفاف خفض الشكل تعميق عبر الشبكة والحصول على أصغر وأصغر، لذلك SFTMD إدخال المعلومات إلى النواة طمس أكثر الطبقات المتوسطة في حل هذه المشكلة. للنقطة 4، وذلك بسبب خصائص FIG طمس نواة نفسها مستقلة عن معلومات الصورة، قناة نواة مرور طمس الصورة تقسم معا لجعل معالجة الالتواء قد تتداخل مع ميزة استخراج صورة، لهذا الفرعية فرع غرار بشكل منفصل باستخدام SFTMD تأثير طمس نواة فائقة الدقة، وتأثير للقرار فائقة يتميز عملية الاستخراج في شكل تحولا أفيني أكثر عقلانية.

2.3 مؤشرا ومصحح

توقع توقع ومصحح مصحح معلمات من تنفيذ CNN، كما هو مبين في الشكل 6.

6. FIG مصحح مؤشرا والهندسة المعمارية

التوقع يتكون من أربع طبقات والإلتواء تجمع عالمي مشترك من طبقات، أربع طبقات التفاف باستخدام منخفضة الدقة صورة ميزة التنبؤ طمس نواة FIG، حيث أن المجمع العالمي للطبقة FIG المجمعة بلغ متوسط للحصول على طمس نواة ناقلات ساعة. طبقة التفاف غامض تستخدم لاستخراج ملامح في صورة ذات دقة منخفضة، في حين قد تكون مجمعة على درجة العالمية متوسط من عدم وضوح في الفضاء كله.

على التوالي معدل وفائقة الدقة صورة طمس ميزة نواة تحويل الرسم المميز منها، ومن ثم لصق بعضهم البعض، وحيث كان متعدد الطبقات طمس نواة الالتواء توقع مقدار التصحيح، مثل، وأخيرا استخدام ناقلات المتوسط العالمي الذي يمثل المجمعة لعطاء h. نتائج المتوسطة فائقة الدقة لأنه يفترض الانحراف لتوليد نواة طمس جدا سلس أو ميزة شحذ جدا، وهذه ميزات المستخرج من التفاف الانحراف خمسة طبقة، من فرضية، h غير طمس نواة منخفضة PCA تمثيل الأبعاد يجب أن يكون الارتباط لكل البعد عند أدنى مستوى ممكن، حتى هنا لمعرفة العلاقة ح الداخلية من قبل اثنين من طبقات مرتبطة ارتباطا كاملا، الذي تم تصحيحه ضمنا ح ارتباط داخلي يفترض أن الانحراف من جوهر (فهم الشخصية) . بعد الربط باستخدام نفس اثنين أو أكثر من الانحراف طريقة مؤشرا لتحويله إلى ناقل عالمي ممثلة.

3. تجربة

تجارب مع صور عالية الدقة من DIV2K وFlickr2K مجموعات البيانات، مع صور التدريب دقة منخفضة باستخدام معايير مختلفة للصورة عالية الدقة يتم إنشاء من نواة جاوس، أي الصورة التدريب هي صورة حقيقية من كل مجموعة من LR ومعروفة طمس النواة. عندما التدريب، أول اصطناعية الفردي تدريب مجموعة البيانات superresolution SFTMD الشبكة، دالة الهدف MSE، جيدة شبكة SFMD بعد التدريب، ثم التدريب بالتناوب وتنبؤ الصحيح P C، وفي هذا الوقت المعلمات SFTMD ثابتة. وسائل التدريب بديلة في كل جولة، لتحديث معلمة من تنبؤ P، ثم تصحيح المعلمة C يتم تحديث، المعلمة المحدثة حيث عندما يتم إصلاحها واحدة من العوامل الأخرى، وظيفة التحديث هي كما يلي:

التحقق من 3.1 SFTMD

وعلى غرار مساهمة أساسية SFTMD باستخدام تحويل تآلفي تأثير طمس نواة لعملية فائقة الدقة، من أجل السيطرة على عدة تصاميم (مباشرة مقابل الربط وSFT، وموسط الطبقة الأولى كل واحد إدراجها مقابل) مزيج من تجارب السيطرة النتائج هو مبين في الشكل (7). وأظهرت النتائج أن أعلى نسبة الإشارة إلى الضوضاء SFTMD، والذي يتحقق من صحة اثنين من جوهر التحول من SRMD.

FIG 7. SFTMD تجربة السيطرة، ويشير المؤشر الأحمر والأزرق أعلى PSNR نموذجين

التحقق من 3.2 IKC

الشكل 8 يبين نتيجة المتوسطة IKC فائقة الدقة يمكن العثور عليها، وصورة فائقة مع الإدراك البصري من عدد التكرارات يزيد بشكل ملحوظ. وهذا يدل على أن شرعية IKC وضرورة استخدام جولات متعددة من التكرار.

8. FIG نتيجة المتوسطة التصور IKC التكرار، جودة الصورة مع زيادة عدد الزيادات المتكررة

وعلاوة على ذلك، تمت مقارنة الكتاب أيضا IKC مع أساليب للدولة من بين الفن باستخدام CARN NonBlind SR كنموذج تمثيلي، ZSSR مكفوفين SR كنموذج تمثيلي. لمعرض المقارنة، والكتاب استخدام مزيج من نموذج غامض للعموم وCARN، وعلى النقيض كعنصر واحد. من أجل التأكيد على أهمية تصحيح تكرارية متعددة الجولة (مصحح) مرة أخرى، وأضاف المؤلف P + SFTMD هو مصطلح المقارن. وأظهرت النتائج في FIG 9، والنتائج أن ضعفت كانت المتغيرات IKC أفضل من نموذج المقارنة.

FIG 9. IKC وللدولة من بين الفن مقارنة نموذج

وعلاوة على ذلك، أشارت التجارب الإضافية أن بعض انطباق IKC وجود طمس التغييرات المعلمة النواة، كما هو مبين في الشكل. بفضل استراتيجية طمس نواة قطرة PCA التعلم الإلكتروني بعد البعد، ويرجع ذلك إلى نموذج IKC يتميز PCA (بدلا من المعلمات نواة طمس مباشرة) العلاقة مع الصور فائقة الدقة، لذلك التعميم معين.

FIG 10. IKC ديه القدرة على التكيف جيدة للتغيرات في العرض من نواة طمس جاوس

تتم المقارنة أعلاه في الوضع الصورة الحقيقية المعروفة، وذلك للتحقق من أداء IKC سيناريوهات أكثر واقعية، وذلك باستخدام صورة HR لاختبار صورة غير معروفة على النموذج، نتائج فائقة الدقة من طراز 12 في FIG 11 و FIG.

11. FIG فائقة دقة وضوح الصورة الحقيقية عينة 1

الرقم 12. نموذج 2 فائقة دقة الصورة الحقيقية

عينتين المقارنة، IKC تبدو أفضل النتائج. والجدير بالذكر، على النقيض من العينة 2 في، من طريق SRMD البحث شبكة طمس اصطناعية نواة لتكوين صورة ذات دقة منخفضة، للحصول على نتائج أفضل. وإنما هو أيضا "تخمين" نواة طمس، واستخدام SRMD نهج "القوة الغاشمة"، IKC باستخدام طريقة تكرارية تعلم تأثير في هذه العينة كل من ينظر الى نفسه، والمزيد من IKC قليلا فقط المخضرمين. ولكن من الواضح، في التطبيق العملي من الحوسبة أداء IKC أعلى من بحث الشبكة.

4. ملخص

ورقة عمل لتوجيه وإلهام لجلب يمكن تلخيصها على النحو النقاط الأربع التالية فائقة الدقة:

يمكن استخدام طريقة التصحيح تكرارية التنبؤ بدقة أكبر نواة طمس

باستخدام SFT (تحويل تآلفي) في عملية فائقة الدقة يمكن أن يكون أكثر فعالية استخدام المعلومات طمس النواة

يمكن إدراج المتوسطة شبكة طبقة معلومات طمس نواة تحسين فعالية وكفاءة استخدام شبكة المعلومات طمس النواة

توصيف باستخدام PCA الحوسبة الأساسية غامض لا يمكن أن تقلل من تكاليف فقط، ولكن أيضا تحسين القدرة تعميم المعلمات نواة نموذج طمس

IKC تقديم تقدر نواة طمس وسيلة عملية لتحسين التطبيق العملي لنموذج فائقة الدقة، خطوة كبيرة إلى الأمام في مشكلة أعمى فائقة الدقة. SFTMD SFT طبقة باستخدام تحويل تآلفي من معلومات النموذج سيتم دمجها في نواة شبكة طمس، وهو، التطبيق الناجح الفعال.

IKC فعالة، ولكن هناك بعض مما هو مرغوب فيه. على سبيل المثال، عدد التكرارات المطلوبة المنصوص مصطنع، وإدخال حسابات إضافية، والتي سوف تؤثر على فائدته وينبغي أن يكون لايجاد سبل لقياس وتحسين. وبالإضافة إلى ذلك، أعتقد فائقة الدقة البصرية التصور مهم جدا، مؤشر PSNR له حدود معروفة سلفا، ينبغي أن تفعل النقيض من أكثر البصرية لتعزيز الصور على أساس مقنعة الحقيقي. محور هذا العمل هو استخدام التنبؤ النووي وغامض نواة طمس المعلومات، حتى لا يكون هناك أي اعتبار خاص لاستعادة تفاصيل الصورة أو جيل الملمس. ويمكن رؤية الطيور من الشكل عينات 8 الذيل، وحتى في عدة جولات من التكرار، وشبكة لا تزال غير قادرة على استرداد الريش الملمس التفاصيل. ربما يمكننا أن تجربة طرق أخرى لاستعادة الملمس SISR الجمع بين لSFTMD في الماضي، دعونا IKC في نماذج فائقة أكثر قوة للحصول على نتائج أفضل. وبالإضافة إلى ذلك، على جزء من نواة طمس توقع، قد ترغب في محاولة مجموعة متنوعة من أساليب تدريبية جديدة، مثل الدورات وGAN.

الوثائق ذات الصلة

الوثيقة 1: تعلم شبكة واحدة التلافيف فائقة الدقة لالمهانة متعددة (CVPR 2018 | نموذج SRMD)

الوثيقة 2: استعادة الملمس واقعية في صورة فائقة الدقة التي كتبها ديب المكانية ميزة تحويل (CVPR 2018 | SFT طبقة)

الوثيقة 3: ، صور واقعية واحدة صورة فائقة الدقة باستخدام الخصومة شبكة المولدة (CVPR 2017 | نموذج SRGAN / SRResNet العمارة)

قراءة على النحو الوارد أعلاه @ تشنغ هذا الشهر في AI Yanxishe CVPR الأصل بدءا الفريق، إذا أوجه القصور في النص ونحن نرحب بالنقد وتفسير كل الكتاب عن الأساليب.

كود متابعة المسح الضوئي @ مايو من هذا الصادق

2019 قمة العالمية حول الذكاء الاصطناعي والروبوتات

2019 نيان 12-14 يوليو ، ينظمه اتحاد عموم الصين للكمبيوتر (CCF)، شبكة لى فنغ وجامعة هونغ كونغ الصينية في رعاية (شنتشن)، وشنتشن، الذكاء الاصطناعي، ومعهد بحوث الروبوتات لشركة 2019 قمة العالمية حول الذكاء الاصطناعي والروبوتات (يشار إلى أن CCF-GAIR 2019) وشنتشن يكون الستار رسميا.

بحلول ذلك الوقت، الحائز على جائزة نوبل JamesJ. هيكمان، أكاديمي أجنبي، رئيس القمة العالمية، المعروفة زميل، وعدد من الضيوف في الوزن الثقيل سوف شخصيا Zuozhen ، لمناقشة الذكاء الاصطناعي والمجال المعقد من الوضع الروبوتات البقاء على قيد الحياة والإنتاج والاستثمار وهلم جرا.

انقر على قراءة النص الأصلي انظر هذه المقالة للحصول المزيد من المحتوى