1 مقدمة
مع التطور المستمر للإنترنت الهاتف النقال ومجموعة متنوعة من الأجهزة الذكية تعميق الناس في الحياة اليومية، وكمية البيانات التي تم إنشاؤها من قبل المجتمع البشري ينمو بسرعة أضعافا مضاعفة، البشرية قد دخلت رسميا عصر البيانات الكبيرة . اليوم، يمكن للمشغل الحصول على بيانات المستخدم المزيد والمزيد من الأغنياء، وتحليلها من قبل DPI (ديب حزم المفتش، علبة التفتيش العميق)، والطبقات يمكن استخدامها للتعرف حركة المرور على الشبكة، وأنواع أخرى من التطبيقات في طبقة التطبيقات . في هذه "البيانات هو الملك" العصر، وكيفية جعل أصبحت الاستفادة الكاملة من هذه الأصول استراتيجيا مهما أولوية.
وأدى النمو السريع للبيانات لتحليل البيانات على نطاق واسع ومعالجة التحديات كبيرة، لا سيما في صناعة الاتصالات، المزيد والمزيد من الاداء البيانات ملامح غير محدود، فجأة وفي الوقت الحقيقي مثل ، استنادا إلى وضع مابريديوس دفعة التقليدي صعوبة في تلبية متطلبات البيانات في الوقت الحقيقي، وتوافر المعلومات الكامنة في البيانات يحدد قيمة البيانات في المقام الأول. وهكذا، أصبحت تكنولوجيا تدفق بقعة ساخنة جديدة في فن البيانات الكبيرة . تدفق تغيير البيانات يمكن القيام بها لمعالجة في الوقت الحقيقي، ويمكن الحصول على نتيجة المعالجة في المرحلة الثانية، هو مناسبة خاصة لعدد من السيناريوهات مطالبين في الوقت المناسب.
في هذه الورقة متطلبات مشغلي الاتصالات من الحصول على البيانات DPI ومعالجة في الوقت الحقيقي، لتوفير برنامج تجهيز البيانات على أساس DPI تدفق العمليات الحسابية، فإنه من الممكن الحصول على الوقت الحقيقي يتم تقليل البيانات والمعلومات DPI تأخير لدقائق، أو حتى مستوى ثانية، لتحقيق المعالجة في الوقت الحقيقي للحصول على معلومات مستخدمي الاتصالات السلكية واللاسلكية الوصول والرصد والمجاميع الفرعية، فإنه يوفر أساسا جيدا لتطبيقات البيانات الكبيرة التي تتم بعد.
2 تدفق نظرة عامة
معالجة البيانات القائمة على مابريديوس التقليدي كبير هو في الواقع دفعة واسطة، كما هو مبين في الشكل. وضع دفعة الأولى لاستكمال تراكم وتخزين البيانات، والعميل Hadoop لتحميل البيانات إلى HDFS، وأخيرا يبدأ خريطة / تقليل معالجة البيانات، وتجهيز، ثم كتب إلى HDFS. يجب أن تكون جميع البيانات بهذه الطريقة استعداد، ومن ثم توحيد وجدت مركزية قيمة الحوسبة، غير قادر على تلبية متطلبات الوقت الحقيقي.
الشكل 1 عملية دفعة
البيانات الكبيرة FIG تجهيزها وبناء على مابريديوس 1
عام 2015، اقترح ناثان مارز إطارا للمعالجة في الوقت الحقيقي من مخطط البيانات الكبيرة لامبدا ، وحساب خارج الخط ودمج حساب في الوقت الحقيقي، وارتفاع الخطأ والتسامح يمكن أن تلبي نظم في الوقت الحقيقي، والكمون المنخفض ومتطلبات تطويره، ويجوز Hadoop، كافكا، عاصفة متكاملة ، سبارك وHBase ومكونات البيانات الكبيرة الأخرى.
A امدا العمارة التقليدية هو مبين في الشكل 2، مشهد تستخدم أساسا تعقيد المنطق وانخفاض الإجراء تأخير. تم سكب البيانات في النظام في الوقت الحقيقي، ونظام معالجة دفعة، ومن ثم إخراج نتائجها منها، سيتم دمج النتائج في نهاية الاستعلام.
الشكل 2 امدا مخطط العمارة
3 تدفق الحوسبة العمارة مقارنة
تتدفق على نظام الحوسبة المتسامحة، والتأخر، والموثوقية، والتدرجية، والقدرة على تقديم مطالب عالية، وهناك يتم احتساب العديد من تدفق الإطار الحالي (سبارك مثل تدفق ، العاصفة ، كافكا تيار ، Flink وPipelineDB ، الخ) وقد استخدم على نطاق واسع في مختلف الصناعات، وبشكل مستمر تطوير متكررة، تختلف أيضا سيناريوهات المعمول بها.
3.1 سبارك يتدفقون
يتم احتساب إطار شرارة من جامعة كاليفورنيا، بيركلي AMP مختبر خصيصا لالبيانات الكبيرة تجهيزها وتهدف إلى . ويستند شرارة الجري على الوقت الحقيقي الحوسبة إطار شرارة، شرارة واحدة من المكونات الأساسية، من خلال التطبيقات المدمجة في API والمحرك الفعال على أساس الذاكرة، يمكن للمستخدمين الجمع بين معالجة تيار، دفعة وتطوير الاستعلام التفاعلية لها.
سبارك الجري الجري عكس مقبض إطار آخرين فقط سجل واحد، ولكن معالجة البيانات تيار منفصلة، في كل مرة مجموعة من كومبيوتر (DSTREAM)، بحيث أنها يمكن أن تؤدي تدفق تنفيذ دفعة سريع الفرعي الثاني 3 هو مبين في الشكل. سبارك الجري استقبال في البيانات المستقبلة موازية، إلى ذاكرة التخزين المؤقت البيانات بعد تأخير الأمثل محرك سبارك مهمة قصيرة (عشرات الالف) دفعة واحدة. فوائد هذا التصميم يسمح سبارك الجري قادرة على التعامل مع خارج خط المعالجة وتيار مشاكل معالجة في نفس الوقت.
FIG 3 سبارك تدفق تنفيذ الجري
شرارة الجري يمكن استعادتها بسرعة في حالة حالة خطأ فشل، وإدماج دفعة وتدفق معالجة، الذي بني في المتقدمة تجهيز مكتبة خوارزمية الغنية، والتطور السريع من نشطاء المجتمع. ليس هناك شك، سبارك الجري هي الرائدة في مجال تدفق الإطار. العيب هو الحاجة إلى تجميع عدد من الملفات الصغيرة قبل معالجة، وبالتالي فإن التأخير سيكون أكبر قليلا، وأنظمة شبه الحقيقي الوقت.
3.2 العاصفة
عاصفة في كثير من الأحيان مقارنة مع "الوقت الحقيقي Hadoop"، في الوقت الحقيقي، وزعت والمتسامحة نظام الحوسبة مع ارتفاع تويتر تطويرها، يمكن أن يكون ببساطة، موثوق بها التعامل مع تيارات كبيرة من البيانات، يمكن للمستخدم استخدام أي لغة برمجة لتطوير التطبيقات.
في العاصفة، واحدة لحساب الوقت الحقيقي من FIG مثل هيكل يسمى الطوبولوجيا (طوبولوجيا)، تقدم إلى طوبولوجيا مجموعة، أداء المهام تعيين إلى العمل من قبل عقدة رئيسية في قوانين توزيع عقدة نظام المجموعة. يتألف الهيكل الترباس ودورين صنبور، حيث نقل رسالة صنبور، مسؤولة عن تدفق البيانات ترسل في شكل الصفوف (tuple) من المجموعات، الترباس، وهو مسؤول عن تحويل البيانات والجداول يمكن أن يتحقق في الترباس من الخريطة، وفلتر تصفية وغيرها من العمليات والترباس نفسها قد ترسل عشوائيا البيانات إلى الترباس الآخرين.
تدفق البيانات FIG 4 العاصفة
عاصفة، يمكن للبيانات تتدفق في الترباس مختلفة، وحركة البيانات، وتدفق الحقيقي، وسهلة لتوسيع ومرنة، تركز إلى حد كبير على تدفق. اقتحام الأداء المتميز في معالجة الحدث والحوسبة الإضافية، يمكن معالجة البيانات والجداول في الوقت الحقيقي لالمعلمات المتغيرة.
3.3 كافكا ستريم
كافكا ستريم هو جزء لا يتجزأ من المشاريع مفتوحة المصدر أباتشي كافكا، هو قوي ومكتبة سهلة الاستخدام التي تسمح أباتشي كافكا لديه القدرة على تجهيز تيار.
كافكا تيار مكتبة حساب تدفق خفيفة الوزن، بالإضافة إلى أباتشي كافكا عدم الاعتماد على الخارج، ويمكن استخدامها في أي برنامج جافا، وتستخدم كافكا كوسيط اتصال رسالة تخزين داخلية، ليست هناك حاجة لنشر كتلة الطلب الإضافي الجري .
دخول كافكا تيار بسيط ولا تعتمد على مكونات أخرى، من السهل جدا للانتشار في دعم الدولة المحلية المتسامحة، وانخفاض الكمون، مثالية لبعض تجهيز تيار خفيف الوزن من مكان الحادث.
3.4 Flink
Flink هو مفتوح المصدر منصة لتوزيع تيار تجهيز البيانات ومعالجة البيانات دفعة الحوسبة، في حين دعم تجهيز دفعة وتجهيز تيار، وذلك أساسا لتدفق البيانات، سيتم التعامل مع البيانات دفعة كحد حالة خاصة تدفق البيانات.
الأساسية Flink هو البيانات تدفق تدفق محرك التنفيذ، والتي توفر وظائف توزيع البيانات والاتصالات البيانات والتسامح مع الخطأ. على محرك تنفيذ التدفق، ويوفر Flink على API على مستوى أعلى للمستخدمين. كما يوفر Flink المكتبات لمناطق معينة في هذا المجال، على سبيل المثال Flink ML، Flink المكتبات تعلم الآلة.
Flink مناسبة لمتطلبات معالجة تدفق عالية، وهناك مشهد من وظائف دفعة صغيرة. التكنولوجيا متوافق مع الأم Hadoop العاصفة والبرامج التي يمكن تشغيلها على غزل تمكنت المجموعة. Flink حاليا واحدة من أكبر القصور من حيث النشاط المجتمع، والمشروع ليس بعد على نطاق واسع إطار عملية النشر كما هو شائع أقل آخرين.
3.5 PipeLineDB
يتم احتساب PipelineDB على أساس قاعدة بيانات كيو الجري، وكفاءة عالية جدا، من خلال SQL إلى القيام بعمليات على دفق البيانات، ونتيجة عملية تخزين. العملية الأساسية هي: خلق PipelineDB تيار، وكتب في SQL، قم بتشغيل تيار، يتم حفظ نتائج التشغيل إلى طريقة عرض مستمر.
PipelineDB هو أنه يمكن فقط استخدام SQL للتيار، لا يحتاج إلى رمز لتكون معالجة الكفء والمستدام التلقائي للبيانات التدفق، ومعالجة وتخزين البيانات فقط، مما يجعلها مثالية لتدفق معالجة البيانات، مثل تصفح إحصائيات موقع إحصائيات الصفحات وهلم جرا.
3.6 العمارة مقارنة
5 أنواع من تدفق إطار المثال المذكورة أعلاه هو مبين في الجدول رقم 1:
الجدول 1 المقارن إطار الجري
يتميز عاصفة من النضج، وتدفق إطار النموذج المعياري الأمر الواقع، وصعوبة البرمجة هي أكثر تعقيدا، والإطار ببيانات دورية العملية، موارد النظام، وخاصة وحدة المعالجة المركزية استهلاك الموارد إلى حد كبير، عندما مهمة خاملا، والحاجة إلى برنامج النوم تقليل استهلاك الموارد. سبارك الجري على حد سواء دفعة والجري، وهناك إمكانات التنمية قوي الدعم شرارة، ولكن سلاسة واجهة من كافكا ليست كافية. كافكا كافكا ستريم هي مكتبة التنمية، مع دخول والبرمجة ونشر وتشغيل وصيانة ملامح بسيطة ولا تتطلب استخدام المكونات الإضافية، ولكن لإحصاءات متعددة الأبعاد، والحاجة إلى قيام تقسيم المناطق على أساس موضوع مختلف، معقدة برمجة نموذج. Flink مع سبارك الجري مثل، إلا أن جميع المهام كما Flink تجهيز تيار، التكرار الحسابية والذاكرة سبارك إدارة الجري أقوى قليلا من الحرمان من النشاط المجتمع ليست عالية، غير ناضجة بما فيه الكفاية، PipelineDB هو حساب التدفق قاعدة البيانات، ويمكن أن تؤدي مهام الحوسبة بسيطة تتدفق، وميزة هي حاجة أساسية لتطوير وطالما أن عمليات SQL المألوفة هي سهلة الاستخدام، ولكن لالحوسبة العنقودية، والحاجة لدعم الأعمال التجارية.
بيانات نظام معالجة 4 DPI
وبناء على مقارنات بين احتياجات البعثة الفعلية وتتدفق فوق الإطار، ويرجع ذلك إلى صعوبة البرمجة صغيرة تيار كافكا، لا حاجة لتثبيت البرامج، كافكا بسلاسة مع المكونات الأخرى، مستقرة نسبيا، وخصائص مختلفة هي جيدة نسبيا، لذلك اخترنا كافكا تدفق تيار الأساسية التجمع.
معالجة 4.1 النطاق العريض DPI
من أجل استكمال التقاط الوقت الحقيقي البيانات ذات النطاق العريض DPI، المعلومات للتعبئة، والتنظيف، وتخزين وتحويل العمل، وتطبيق برنامج فوق البيانات DPI تجهيز. خطة مفصلة للمشروع هو مبين في الشكل (5):
5 قوانغتشو النطاق العريض DPI برنامج معالجة
عملية مينا هو برنامج JAVA، على تطوير إطار مينا، ويتلقى أساسا الحزم AAA، يتم الحصول على معلومات حساب المستخدم، وحساب التحليلي، واستمرت إلى رديس، وأرسلت أخيرا إلى برنامج التقاط (لقطة). برنامج التقاط مكتوبة بلغة C، واستخدام المصادر المفتوحة تمويله كيس بطاقة HTTP الاستيلاء، تحليل، جنبا إلى جنب مع معلومات حساب المستخدم، الكتابة إلى كافكا في DPI. كافكا تيار الانتهاء في الوقت الحقيقي للتنظيف وتحويل العمل من DPI.
المسايل هو Cloudera فتح توزيعها موثوق بها، المتاحة وكفاءة جمع، ونظام البلمرة والبيانات كتلة متنقلة من مصادر البيانات المختلفة، والتكوين هو بسيط، إلى حد كبير دون تنمية، وانخفاض استهلاك الموارد، وتمكن البيانات إلى HDFS، ومناسبة جدا للكبير نظم البيانات مجتمعة. تتم كتابة هذا البند بعد معالجة دفق البيانات التي أبرمتها HDFS المسايل من كافكا، ووضع جدول خلية توفر بيانات لتطبيق طبقة العليا.
كافكا تيار ETL الإطار باستخدام الذاتي المتقدمة ، هو المسؤول عن تصفية البيانات (الصور، الفيديو، الخ إزالتها)، معالجة البيانات (ID شبكة الاستحواذ، التحليل الميداني أو ما شابه). ETL باستخدام JAVA إطار تطور اللغة، ودعم مجموعة متنوعة من مصادر البيانات، بما في ذلك نص عادي، وشكل مضغوط أكس شكل المنظور. يدعم إطار الحوسبة كبير مجموعة متنوعة من البيانات، بما في ذلك خريطة / تقليل، سبارك الجري، كافكا تيار المسايل وما شابه ذلك، مريحة التحقق من صحة حقل الإرشاد، والدعم الميداني ودعم الأبعاد الاستعلام الجدول البدل. من حيث التشغيل والصيانة والدعم للحصول على مراجع متنوعة وقدرات معالجة الأخطاء.
4.24G DPI الاحصاءات في الوقت الحقيقي
المعلومات الاتصالات 4G DPI كمصدر بيانات، من خلال الجري، كاملة الاحصاءات في الوقت الحقيقي DPI، بما في ذلك متعددة تحبب (5 دقائق / 1 ساعة / 1 يوم) للاحصاءات المستخدم ثقيلة ومتعددة تحبب لوزن مختلف إحصاءات المستخدم بيير، متعددة تحبب والحركة متعددة تحبب إحصاءات للاحصاءات نطاق الثقيلة. الاحصاءات في الوقت الحقيقي 4G DPI مشاريع وبرامج محددة هو مبين في الشكل (6):
الشكل 64G DPI الرسم البياني برنامج الإحصاء في الوقت الحقيقي
مصدر البيانات غزيب ضغط الملف، لأنه لا يوجد دعم أصلي .gz المسايل أو تنسيق ملف .tar.gz، وتعديل قانون الأساسي المسايل، تنفيذ معالجة لملف مضغوط، مما يلغي الحاجة لوقت الضغط. المفتاح مثل رقم الهاتف المستخدم من الجدران، نفس الرقم المخصص لنفس الملفات التقاط البيانات التقسيم المسايل، لتسهيل الوزن. أداة إدارة الكتلة كافكا، مدير كافكا يمكن رصدها بشكل جيد دولة كافكا العنقودية. كافكا مجموعة منتج هو مبين في الشكل 7:
الرقم 7 كافكا منتج العنقودية
بيانات استهلاك كافكا تيار 4GDPI، والمعالجة المتوازية. إعدادات مختلفة في عداد البرنامج، وقد تم تجهيز عدادات لجميع البيانات، من أجل حل مشكلة إعادة التعريف بمفهوم التصفية بلوم، وإن كانت هناك بعض ايجابيات كاذبة، ولكن لا يزال قادرا على إكمال أفضل دي التركيز، مع ضمان أن النظام الأداء. كما يمكن للمستهلكين أن تدار من قبل مدير كافكا، ويمكن بصريا لاحظ درجة من المستهلكين الوراء.
من أجل تلبية متطلبات مختلفة من الإنتاج، ويحدد البرنامج ثلاثة إخراج المتاحة. حجم الجسيمات من اليوم سيتم كتابة البيانات باعتبارها الخلية احتياطية، لرصد البيانات الإخراج إلى منطقة رديس الساخنة، في حين، من أجل تسهيل إدارة البيانات وعرضها، وتستخدم أيضا ELK الإطار (ElasticSearch + Logstash + Kibana)، وجميع البيانات انتشار Kibana تفعل عرض أمامي. Kibana واجهة هو مبين في الشكل 8:
واجهة FIG 8 Kibana
5 الممارسة وتحليل
5.1 الممارسات النشر
وقد طبقت كلا النظامين في الإنتاج الفعلي، لديها أداء جيد، لتلبية احتياجات البعثة، ولها عملية مستقرة.
DPI النطاق العريض معالجة حصادة المشروع 2، 1، و 5 وحدات كافكا AAA الجهاز الخادم. كل وحدة اقتناء 115 MB في توليد البيانات الثاني، وهما حركة المرور 1.8 G. الكتابة جمع آلة المادة كافكا 33000000 / ثانية، كافكا تيار الكتابة المادة كافكا 22000000 / ثانية، فإن معدل تنظيف (تنظيف عمل خدمة DPI معلومات مستقلة مثل الصور والفيديو وما شابه ذلك لإزالة طلب شبيبة) هو 33. كافكا تيار مستقرة عند 5 ملايين وراء معالجة البيانات، والتأخير في تجهيز 15 ثانية، المسايل HDFS الكتابة الحفاظ الوراء في حوالي 1000000، والتأخير في 5 ثوان. برنامج معالجة أداء واسع النطاق DPI هو مبين في الشكل (9):
FIG 9 DPI معالجة البنود ذات النطاق العريض الأداء
4G DPI الاحصاءات في الوقت الحقيقي تتوقع ما مجموعه ست آلات، من 1 إلى المجرى حصادة، والخمسة الباقية نشر كافكا، كافكا تيار وELK. كافكا حصادة عادة مكتوبة 100000 / ثانية، لتصل إلى ذروة 250،000 / ثانية. ما مجموعه ثماني مجموعات ElasticSearch الحالات، كل G تكوين الذاكرة 2. حاليا هناك 1.3 مليار البيانات العنقودية، وهو ما يمثل 361 G الفضاء. عن طريق استيراد البيانات إلى قمم ElasticSearch Logstash قد تصل إلى 8 ~ 90000 / ثانية. معالجة كافكا تيار البيانات في الخلف 10 ثانية، Logstash الكتابة ElasticSearch خلف في 5 ثوان، كما هو مبين في الشكل. حاليا إحصاءات 4G DPI في الوقت الحقيقي المشروع يعالج في المتوسط أكثر من 15000 وثائق، وحجم يصل إلى 1.6 T، والمتوسط اليومي لعدد السجلات معالجة أكثر من 10 مليار دولار.
الرقم 104G DPI في الوقت الحقيقي مشروع إحصائيات الأداء
5.2 مشاكل
4G DPI الإحصاءات في الوقت الحقيقي في عملية تطوير المشروع، والمزيد والمزيد من احتياجات المشروع، تليها زيادة لوزن اسم المجال وCGI، CGI و نفس المجال أو ليس في نفس القسم كافكا، مما يؤدي إلى نتائج متحيزة. لحل هذه المشكلة، تم تصميم برنامج لإعادة الثانوية، نتائج أول دي تركيز CGI أو اسم المجال مثل انتاج رئيسي الكتلة لكافكا، والوقت للقيام بهذا العمل الثقيلة، مما أدى إلى تأخير الوقت تصبح تصبح صيانة كبيرة ونظام معقد.
لأن عملية إلغاء البيانات المكررة واسع النطاق DPI لا تقتصر على البيانات تصفية وتحويل البيانات، لذلك كافكا ستريم هي مناسبة جدا. ولكن في الوقت الحقيقي إحصاءات مشاريع 4G DPI تنطوي على تقسيم المناطق والتركيز دي، والعاصفة وينبغي أن تستخدم كإطار الجري. في العاصفة، تدفق البيانات من الترباس واحد لالترباس آخر، بحيث ان البيانات يمكن تقسيم عن طريق رقم الهاتف الخليوي، وبالإضافة إلى ذلك، فإنه يمكن أيضا أن يكون الترباس CGI أو قسم المجال، لتجنب مسألة ثانوية في الترباس الثقيلة، والحد من نموذج البرمجة التعقيد.
في بداية تصميم البرنامج، يجب اختيار الطلب الإطار التكنولوجي المناسب على أساس السيناريوهات. إذا شملت البنية التحتية المشروع في سبارك، أن شرارة الجري هو خيار جيد، وإذا، والمشاريع الإحصائية 4G DPI في الوقت الحقيقي كما نقل البيانات المطلوبة أو التركيز دي، ثم العاصفة هو الخيار الأول، وإذا كان هو التطهير البيانات وعملية التحويل بسيطة، ثم كافكا ستريم هو اختيار جيد. للإحصاءات في الوقت الحقيقي بسيط على نطاق صغير، PipeLineDB المختصة.
6 الخاتمة
يتم احتساب دفق البيانات الكبيرة ودفعات تطبيقها على سيناريوهات الأعمال المختلفة، في سيناريو الشيخوخة تتطلب تدفق عالية الحوسبة لديها مزايا واضحة. أولا، لمحة عامة عن تيار العملية والذي يختلف من دفعة، وصناعة شعبية ثم تدفق الحوسبة الأطر وتمت مقارنة، كما هو مقترح في كافكا تيار DPI تدفق إطار بيانات مخطط تجهيزها وفقا لمتطلبات الخدمة، مع كافكا، المسايل وELK والمكونات الأخرى، مع دخول سريع ونشر بسيطة ومنخفضة صعوبة الحفاظ على البرمجة وهلم جرا. ويتم تطبيق خطة لمشاريع معالجة 4G DPI DPI النطاق العريض وفي المشاريع الإحصائية في الوقت الحقيقي، والانتهاء من المتطلبات المهمة، والأداء الممتاز وتشغيل مستقرة.
في الممارسة الفعلية، مشروع، مع الاحتياجات المتزايدة للبعثة، وجد كافكا تيار ردا على الأداء الضعيف عندما تكون البيانات متعددة الأبعاد لإعادة القضية، والحاجة إلى إدخال مرشح ثانوي لحل المشكلة. ولذلك، فإن متطلبات المرحلة من المشروع، لدينا لإعطاء الاعتبار الكامل للقضايا التي قد تنشأ في إطار اختيار التكنولوجيا، جنبا إلى جنب مع إطار السيناريو التقنية المعمول بها، بالنظر فيها.
