3D نقطة سحابة هو نوع من البيانات غير النظامية والعشوائية، التقليدية الشبكة العصبية التلافيف من الصعب البيانات سحابة نقطة العملية. باحثون من جامعة ولاية أوريغون والروبوتات الأنظمة الذكية الهدايا (CORIS) معهد PointConv، يمكن أن تكون فعالة للغاية لبيانات نقطة سحابة 3D من عملية أخذ العينات التفاف غير موحدة، الذي حقق ممتازة على مجموعات بيانات متعددة الأداء. كما CIFAR 10 المتحولين البيانات في سحابة نقطة، على سبيل المثال، لاستخدام شبكة PointConv AlexNet VGG وهيكل يمكن أن يتحقق مع CNN الأداء التقليدي مماثل.
I. الخلفية
في الروبوت، الطيار الآلي والظاهري / تطبيقات الواقع المعزز، والوصول مباشرة إلى أجهزة استشعار البيانات 3D شائعة على نحو متزايد. منذ عمق المعلومات قد يقضي على الكثير من عدم اليقين تقسيم (تجزئة الغموض) صورة 2D، وتقديم معلومات هامة عن الهندسة، وبالتالي، لديها القدرة على معالجة البيانات 3D مباشرة لا تقدر بثمن في هذه التطبيقات. ومع ذلك، بيانات 3D عادة في شكل سحابة نقطة. 3D سحابة نقطة تمثل عادة من قبل مجموعة من النقاط لا من أجل الترتيب، ولكل منها نقطة أو بدون ميزات إضافية (مثل معلومات RGB). منذ نقطة سحابة من خصائص اضطراب والذي يختلف عن الترتيب شعرية التقليدية من وحدات البكسل في الصورة 2D، وإدخال CNN التقليدية هذا الاضطراب صعوبة في التعامل معها.
وتقترح هذه الورقة يمكن أن يتم على طريقة بكفاءة على التفاف البيانات سحابة نقطة 3D من العينات غير موحدة. ونحن ندعو هذه العملية PointConv. يمكن بناؤها PointConv عمق متعدد الطبقات شبكة التلافيف على سحابة نقطة 3D، 2D CNN ظيفتها وظائف مماثلة إلى الصورة على الشبكة. ومع ذلك، فإن هيكل 2D يمكن أن تتحقق مع نفس الترجمة ثبات شبكة التلافيف، وسحابة نقطة من استبدال دوت متتابعة ثبات. في التجربة، PointConv التأثير المحتمل على تصنيف الروافد الحالية المستوى الأمثل، في حين، على تجزئة الدلالي من سحابة نقطة 3D يمكن أن تعطي أفضل النتائج عند تجزئة أكثر بكثير من تقديم ورقة. لتوضيح PointConv يمكن تحقيق عملية التفاف حقيقية، ونحن أيضا اختبار قاعدة البيانات تصنيف الصور CIFAR-10. وتبين التجارب أنه يمكن تحقيق PointConv مماثلة لدقة التصنيف التقليدية للCNN.
المساهمة الرئيسية لهذه الدراسة ما يلي:
كثافة المرجحة التفاف المقترحة PointConv، فمن الممكن أن نحو تعسفي تماما مجموعة نقطة 3D 3D على مجموعة من التفاف على التوالي.
عن طريق تغيير ترتيب الجمع، PointConv التنفيذ الفعال لالمقترحة.
مدد PointConv لإزالة التفاف (PointDeconv)، للحصول على أفضل النتائج تجزئة.
اثنين، PointConv
اثنين مستمر وظيفة و (خ) و (ز) (س) في عملية مكافحة ناقلات س التفاف د الأبعاد يمكن تمثيلها بالمعادلة التالية:
منذ عموما يتم تخزين شكل مصفوفة تشبه الشبكة الثابتة الصورة، وبالتالي فإن صورة، وعادة ما تنفذ نواة التفاف على 3x3،5x5 الشبكة الثابتة. في CNN، وconvolved توظيف مختلف حي مع نواة الالتواء لتحقيق الترجمة ثبات. وهكذا، فإن عملية التفاف على الصورة هي تمثيل منفصل خاص للالتفاف المستمر.
التعبير 3D البيانات سحابة نقطة وصورة مختلفة تماما. كما هو مبين في الشكل 1، تختلف عن الصورة، وعادة من عدد من نقطة 3D نقطة سحابة 3D. قبل ساعات لا وبعد تسلسل بين نقاط 3D، وثبات وبالتالي، عملية التفاف على السحابة نقطة 3D يجب أن يكون ترتيب، أي 3D مجموعة نقطة التغييرات النقطة يجب أن لا تؤثر على نتيجة التسلسل الإلتواء. وبالإضافة إلى ذلك، ينبغي تكييف عملية التفاف على نقطة سحابة إلى أشكال مختلفة من الحي.
لتلبية هذه الاحتياجات، في الفضاء 3D، يمكن للمشغل التفاف تعامل بشكل مستمر بوصفها وظيفة مستمرة من الأوزان على إحداثيات النقطة المرجعية 3D المحلية. المعادلة التالية:
حيث، W و F هي وظيفة مستمرة، (س، ص، ض) والإحداثيات في النقطة المرجعية 3D، (x، y، z) G يمثل أحد الأقارب تنسيق حي نقاط 3D. (2) يمكن discretized إلى منفصلة سحابة نقطة 3D. وفي الوقت نفسه، معتبرا نقطة سحابة 3D من أجهزة الاستشعار قد يكون أخذ العينات غير موحدة، وذلك للتعويض عن أخذ العينات غير موحدة، نقترح باستخدام معكوس كثافة المرجحة الأوزان تعلمت الوزن. PointConv أن تمثل بالمعادلة التالية،
حيث، S يدل على وظيفة عكسية من عامل الكثافة. وظائف مستمرة W يمكن أن يقترب من متعدد الطبقات المستقبلات (MLP). W هي وظيفة من المدخلات (س، ص، ض) من 3D يشير 3D تنسق نسبة إلى حي وسط، والناتج هو وزن كل ميزة المقابلة لنقطة F من الوزن. S هي وظيفة من الكثافة، الكثافة في كل نقطة هي المدخلات، وإخراج كل يتوافق أشر إلى عامل الكثافة معكوس. وظيفة غير الخطية يمكن أيضا أن يقترب من قبل المستقبلات متعدد الطبقات.
3 يبين الشكل تدفق PointConv في حي النقاط K 3D. FIG، C_in C_out والميزات الأبعاد تمثل المدخلات والمخرجات، ك، c_in، يمثل c_out المؤشر. لPointConv، وإدخال يتكون من ثلاثة أجزاء: قريب تنسيق نقطة P_local 3D، وحيث الكثافة الكثافة F_in. الإحداثيات النسبية نقطة P_local 3D بعد وظيفة مستمرة ويمكن الحصول على MLP1 لكل نقطة في ميزة المقابلة لW الوزن هو، والكثافة الكثافة بعد الحصول MLP2 معكوس عامل الكثافة S؛ مما أدى إلى W الوزن، معكوس كثافة معامل S، وحيث المدخلات F بعد ذلك، المعادلة التالية يمكن الملتوية للحصول على الناتج مميزة F_out:
PointConv عن طريق التعلم المستمر نواة الالتواء، وتتكيف مع ميزات غير النظامية من سحابة نقطة 3D، لتحقيق التقليب ثبات، عملية التفاف هذه أن الصورة توسعت من الفن التقليدي إلى سحابة نقطة 3D.
ثالثا، PointConv كفاءة
النسخة الأصلية من PointConv تنفيذ استهلاك الذاكرة، وانخفاض الكفاءة. لحل هذه المشاكل، نقترح طريقة إعادة البناء الجديد، وانخفاض التشغيل القياسية PointConv لهما: 2D الضرب مصفوفة والالتواء. هذه التقنية الجديدة ليس فقط الاستفادة من مزايا الحوسبة المتوازية وGPU، والإطار الرئيسي لسهولة التعلم عمق يمكن أيضا. منذ مقياس كثافة معكوس لا مشاكل في الذاكرة تلك، لذلك تركز المناقشة التالية في المقام الأول على W. الوزن وظيفة
1. مشاكل إنتاج الذاكرة
على وجه التحديد، كما مصغرة دفعة B لجعل حجم مرحلة التدريب، N هو عدد من النقاط في سحابة نقطة، K هو عدد النقاط لكل منطقة محلية، وعدد من القنوات المدخلات C_IN، C_out من عدد من قنوات الانتاج. لنقطة سحابة، ولكل منطقة محلية تشترك في نفس الوظيفة الترجيح، التي يمكن الحصول عليها عن طريق التعلم MLP. الأوزان وظيفة الترجيح في نقاط مختلفة في الأوزان المحسوبة مختلفة. ولدت MLP بواسطة المعلمة الترجيح حجم موتر B N K (C_in C_out). افترض B = 32، N = 512، K = 32، C_in = 64، C_out = 64، والمعلمات الوزن المخزنة في دقة واحدة، لا بد من شبكة طبقة 8GB من الذاكرة. ومن شأن استهلاك الذاكرة عالية تجعل من هذه الشبكة التدريب صعب جدا. استخدام عدد قليل من الشبكات الصغيرة جدا والمرشحات، مما يقلل بشكل كبير أدائها.
2. كفاءة PointConv
من أجل حل مشاكل الذاكرة المذكورة أعلاه، نقترح يما إصدار المستندة إلى الذاكرة كفاءة PointConv 1، والذي هو الأكثر مساهمة هامة في هذه المادة.
أدلة محددة يمكن الرجوع إلى الأوراق الأصلية. لإعادة تنفيذ يما 1 PointConv، عملية التفاف يمكن أن يتحقق بالضبط، ولكن الحد بشكل كبير من استهلاك الذاكرة. 1 باستخدام نفس التكوين، وبصمة الإلتواء واحدة سوف يتقلص حول 0.1G 8G، يصبح 1/64 من الأصل. FIG. 5 يظهر في PointConv التفاف فعالة.
رابعا، عملية إزالة التفاف
في دوري الدرجة مهمة، والقدرة على تمرير المعلومات من الطبقة الخشن ناعما لطبقة مهمة جدا. منذ PointConv التفاف معيار يمكن تنفيذها، وذلك لتوسيع PointConv PointDeconv غير منطقية. يتكون PointDeconv من جزأين: الاستيفاء وPointConv. لأول مرة، وذلك باستخدام خوارزمية الاستيفاء الخطي للحصول على القيمة الأولية للطبقة غرامة مميزة، ثم ميزة الأمثل PointConv على طبقة غرامة، وبالتالي الحصول على القيم ميزة أعلى قدر من الدقة. 4 يبين الشكل عمليات محددة للعملية إزالة التفاف.
خمس تجارب
لتوضيح فعالية PointConv، قمنا على نقطة سحابة اختبار قاعدة البيانات الموحدة 3D، بما في ذلك ModelNet40، ShapeNet وScanNet. وفي الوقت نفسه، من أجل توضيح PointConv والصور يمكن أن يكون معادلا لCNN، أجرينا اختبارات على CIFAR10. نحن هنا التركيز على نتائج الاختبار على ScanNet، المزيد من النتائج، يرجى الرجوع إلى الورقة الأصلية. كما هو مبين في الجدول 3، شبكة طبقات أربعة PointConv فقط، ويمكن تحقيق أفضل بكثير من تأثير خوارزميات أخرى تجزئة الدلالي للسيناريوهات الاختبار، والروافد الحالية على المستوى الأمثل. 7 يبين الشكل بعض النتائج من دلالات بصرية مشهد داخلي تجزئة.
لتوضيح PointConv قد يكون معادلا لCNN على الصورة، أجرينا اختبارات على CIFAR10. أولا، يتم تحويل صورة بكسل إلى نقطة سحابة CIFAR10 شعرية مثل الترتيب، ومن ثم تصنيفها باستخدام PointConv. ويبين الجدول 4 مقارنة PointConv أخرى نقطة 3D خوارزمية سحابة وتصنيف الصور دقة CNN. يمكن أن يرى، PointConv 5 طبقات لا يمكن أن يتحقق وAlexNet (5 طبقة CNN) دقة مماثلة، في حين PointConv (VGG) يمكن أن يحقق VGG مماثل ودقة التصنيف. وفي الوقت نفسه، نقطة 3D سحابة خوارزميات أخرى، مثل PointCNN شابه ذلك، للحصول على دقة التصنيف ليست سوى حوالي 80. توضح هذه التجربة PointConv يمكن تحقيق نتائج التعلم مع نفس المستوى من صورة CNN.
ورقة: PointConv: ديب شبكات التلافيف على 3D نقطة الغيوم
عنوان ورقة: الشبكي: //arxiv.org/pdf/1811.07246.pdf
عنوان الرمز: الشبكي: //github.com/DylanWusee/pointconv
الخلاصة: صور مختلفة باستخدام التمثيل كثيفة شبكة التقليدي للسحابة نقطة 3D غير منتظم والمختلين، وبالتالي إجراء التفاف صعوبة منه. في هذه المقالة، ونحن نعرب مرشح حيوي هو الاسم الجديد PointConv الإلتواء. قد يتم بناؤها PointConv شبكة التلافيف العمق على نقطة سحابة. رأيناها التفاف وظيفة غير الخطية الإحداثيات المحلية 3D، وظيفة وظيفة ترجيح كثافة التكوين. لحظة معينة، واستخدام الطبقات المستقبلات التعلم وظيفة الوزن، وتقدير كثافة النواة عن طريق التعلم دالة الكثافة. من أجل وظيفة بكفاءة إعادة حساب الوزن، واقترحنا طريقة حسابية جديدة، وتوسيع شبكة كبيرة في الحجم، وتحسن الأداء بشكل ملحوظ. تعلم الموافقة على حساب التفاف للترجمة على مجموعة من النقاط في الفضاء 3D أي بديل التفاف دون تغيير دون تغيير والالتواء. وعلاوة على ذلك، PointConv يمكن أن تستخدم أيضا كمشغل إزالة التفاف، من سحابة نقطة ميزة أخذ العينات دون استخراج تمرير مرة أخرى إلى الدقة الأصلية. تجارب على ModelNet40، ShapeNet ScanNet وتظهر على أفضل النتائج يمكن أن يتحقق على الإشارة تجزئة الدلالات الحالية تحديا عند بناء PointConv عمق الشبكة العصبية التلافيف لأداء العمليات القائمة على سحابة نقطة 3D. وعلاوة على ذلك، يتم تحويل CIFAR 10 في التجارب نقطة سحابة أظهرت، على أساس شيدت أداء الشبكة مقارنة PointConv لتنفيذ عمليات مماثلة هيكل 2D شبكة صورة الإلتواء.
