هذا المقال من ملامح منصة كتريب البيانات الكبيرة والتصميم والهندسة المعمارية وعملية التنفيذ لتحقيق هذه الأهداف وتدخلت لملء الحفرة حفرة، المفصلة في الوقت الحقيقي الحوسبة سيناريوهات التطبيقات، فضلا عن خطط المستقبل في خمسة مجالات المنصوص عليها كتريب منصة العمارة وحساب الوقت الحقيقي من الناحية العملية، وأنا الأمل الحاجة إلى بناء في الوقت الحقيقي شركة منصة البيانات ولها يتعلم الطلاب.

أولا، الهندسة المعمارية الشاملة للكتريب منصة البيانات الكبيرة

ينقسم كتريب هيكل منصة البيانات الكبيرة إلى ثلاث طبقات:

طبقة التطبيق: بلات زيوس (مقسمة إلى نظام الجدولة، Datax نظام نقل البيانات، نظام البيانات الرئيسية، وأنظمة جودة البيانات)، منصة البحث، والتعلم الآلي (tensorflow التي تم تطويرها، شرارة (ArtNova نظام الاستعلام مخصصا التقارير) مثل إطار مفتوح؛ سحابة الإنترنت الجرافيك تحقيق K8S القائم)، في الوقت الحقيقي منصة الحوسبة Muise.

طبقة المتوسطة: وبناء على البنية التحتية للبيانات كبيرة مفتوحة المصدر في التخزين الموزعة وإطار الحوسبة، في الوقت الحقيقي الحوسبة الإطار؛

حاليا أساسا تستند Hadoop، HDFS التخزين الموزعة، وزعت خارج الخط حسابية استنادا خلية وسبارك، HBase تخزين KV القائمة، والمعزوفة كيلين ونظام للإبلاغ عن ومخصصا.

ويستند حساب في الوقت الحقيقي على الإطار الأساسي كافكا مغلفة نظام الرسائل الطابور هيرميس، Qmq كتريب من RESEARCH قائمة انتظار الرسائل، ويستخدم نظام التداول أجل Qmq أساسا إلى ضمان على الاطلاق لا توجد بيانات يتم فقدان لإنشاء قائمة انتظار الرسائل.

أسفل: وتنقسم الموارد مراقبة وتشغيل ومراقبة الصيانة والتشغيل الآلي ونظام الصيانة في منشأة كبيرة الرصد الإطار البيانات، ورصد حركة البيانات الكبيرة.

الثاني، التصميم والهندسة المعمارية والتنفيذ

منصة 1.Muise مقدمة

ما 1) Muise هو

Muise، مأخوذة من الأساطير اليونانية، ويفكر من الاسم الأدبي، منصة كتريب لتحليل البيانات في الوقت الحقيقي وتجهيز؛ Muise منصة الكامنة على أساس فتح قائمة انتظار الرسائل المصدر ونظام المعالجة في الوقت الحقيقي JStorm، سبارك الجري وFlink، لدعم المرحلة الثانية، حتى وتدفق البيانات معالجة تأخير ميلي ثانية واحدة.

2) وظيفة Muise

مصدر البيانات: هيرميس كافكا / ماي، Qmq.

معالجة البيانات: تقديم / سبارك / هيرميس API FlinkCore أو Qmq بيانات استهلاك Muise JStorm، وذلك باستخدام Jstorm، سبارك، أو معالجة البيانات في الوقت الحقيقي الأساسية، وتوفير حزمة API الخاصة للمستخدمين. API الالتحام جميع النظم المصدر المستخدم مباشرة.

إدارة العمل: توفر بوابة للJStorm، سبارك الجري وإدارة العمليات Flink، بما في ذلك وظائف جديدة، حزمة جرة تحميل ونشر الإنتاج وغيرها من المهام،

مراقبة وتنبيه: قدمت استخدام القياسات إطار Jstorm، سبارك وFlink الدعم للمقاييس المخصصة، مقاييس إدارة مركز المعلومات والعمليات وصول الرصد ونظام إنذار لتوفير رصد شامل ودعم المنبه لمساعدة المستخدمين على مراقبة العمل للمرة الأولى في حالة حدوث مشاكل.

وضع منصة 2.Muise

منصة الحالة:

Jstorm 2.1.1، 2.0.1 سبارك، Flink1.6.0، كافكا 2.0؛

حجم الكتلة:

13 مجموعات، والجهاز 200 + 150 + Jstorm، 50 + غزل، 100 + كافكا.

توسيع نطاق العملية:

11 خطوط الأعمال، و 350 + Jstorm العمل، 120 + SS / Flink العمل؛

حجم الرسالة:

الموضوع 1300+، تدريجي 100T + PD المتوسط، 200K TPS، ماكس 900K TPS.

تأخير الرسالة:

200MS هيرميس أو أقل، ضمن 20ms العاصفة.

رسالة المناولة نسبة النجاح:

99.99.

تطور منصة الطريق 3.Muise

2015 Q2 ~ 2015 Q3: عاصفة على تطوير الوقت الحقيقي منصة الحوسبة.

2016 Q1 ~ 2016 Q2: العاصفة الهجرة JStorm، أدرجت StreamCQL.

2017 Q1 ~ 2017 Q2: سبارك الجري البحوث والحصول عليها؛

2017 Q3 ~ 2018 Q1: Flink التحقيق والوصول.

الهندسة المعمارية منصة 4.Muise

1) Muise منصة العمارة

طبقة التطبيق: Muise البوابة أساسا بدعم العاصفة وسبارك الجري أنواع الوظائف، ودعم وظيفة جديدة، إصدار حزمة جرة، تشغيل وإيقاف سلسلة من المهام.

طبقة المتوسطة: البنية التحتية التي أدخلت على حزمة الأساسية، لتزويد المستخدمين استنادا العاصفة، سبارك، Flink API الخدمات والجوانب المقابلة؛

أسفل: هيرميس وQmq هو مصدر البيانات، رديس، HBase، HDFS، DB، وما شابه ذلك بمثابة تخزين البيانات الخارجية، الجرافيت، Grafana، ويستخدم ES أساسا لرصد.

2) Muise عملية حسابية في الوقت الحقيقي

نهاية منتج: تنطبق المستخدمين الموضوع كافكا، ثم يكتب البيانات في الوقت الحقيقي في كافكا.

Muise البوابة النهاية: ونحن نقدم API القائم على المستخدم القيام به في التنمية، بعد الانتهاء من التكوين التنمية من خلال Muise البوابة، تحميل وبدء العمل؛ بدأت العمل، وسيتم توزيع حزمة جرة إلى كل بيانات استهلاك كافكا المقابلة العنقودية؛

نهاية التخزين: بعد كتابة البيانات مرة أخرى إلى المستهلك يمكن QMQ أو كافكا، ويمكن أيضا أن يتم تخزين لنظام خارجي رديس، HBase، HDFS / خلية، DB.

تصميم منصة - سهولة الاستخدام

أولا وقبل كل شيء: كمنصة مصممة لتكون النقطة الأولى هي سهلة الاستخدام، ونحن نقدم بوابة شاملة، فمن السهل للمستخدمين لإدارة وظائف جديدة، وتسهيل تطوير العمل في الوقت الحقيقي أول مرة تكون قادرة على على شبكة الإنترنت.

ثانيا: نحن مجموعة الكثير من كور API، دعم مجموعات متعددة في الوقت الحقيقي إطار الحوسبة:

دعم HermesKafka / ماي، QMQ.

المتكاملة Jstorm، سبارك الجري، Flink.

الموارد مراقبة العملية؛

توفير مكونات الانتاج DB، رديس، HBase وHDFS.

واستنادا إلى عدد من النظام المتري عمليات متري مبنية خصيصا أجريت الإنذار المبكر الرصد؛

يمكن للمستخدمين تخصيص متري للرصد والإنذار المبكر؛

دعم atleast مرة واحدة ومرة واحدة بالضبط دلالات.

منصة المذكورة أعلاه صممت لتكون سهلة الاستخدام، ويقول منصة المتسامحة التالية، وضمان أن البيانات يجب أن لا تسوء.

6. منصة - التسامح مع الأخطاء

Jstorm: وبناء على آكر يضمن آلية على الأقل مرة واحدة.

سبارك الجري: وبناء على حاجز تحقيق بالضبط مرة واحدة، على أساس كافكا إزاحة تنفيذ التراجع على الأقل مرة واحدة.

Flink: واستنادا Flinktwo المرحلة تلتزم + كافكا 0.11 الدعم للمعاملات لتحقيق بالضبط مرة واحدة.

7.Exactly مرة واحدة

1) نهج المباشر

معظم سبارك اتخاذ الجري الاستهلاك الحالي كافكا، ثم، وذلك باستخدام طريقة مقاربة المباشرة:

المزايا: كل استهلاك قياسية دفعة إزاحة، وظائف يمكن أن يقابله التراجع.

العيوب: تخزين البيانات غير متزامن وتخزين الأوفست:

البيانات المحفوظة بنجاح، تطبيق التوقف، ويقابل لم يتم حفظها (مما أدى إلى الازدواجية في البيانات).

الإزاحة حفظها بنجاح، تطبيق التوقف، حفظ البيانات فشل (مما يؤدي إلى فقدان البيانات)؛

2) حاجز

المزايا: الحالة الافتراضية للعملية تسجيل لكل دفعة يمكن استرداد البيانات المصدر من الدليل حزب المحافظين لأسفل.

العيوب:

1. غير مضمونة 100 ExactlyOnce.

https://www.iteblog.com/archives/1795 لا يضمن صفه بالضبط مرة واحدة في مكان الحادث.

https://issues.apache.org/jira/browse/SPARK-17606 هناك يحدث فقدان عندما كتلة doCheckPoint.

2. تمكين حزب المحافظين تحقيق تأثير الأداء إضافية؛

3. الجري التغييرات منطق العملية لا يمكن أن تستعاد من حزب المحافظين.

مشهد للتطبيق: أكثر دولة مناسبة المشهد الحساب؛

استخدام: يتم تخزين برنامج مبادلة الموصى بها نفسها، وعندما يحدث التوقف، إذا لم يتغير منطق كود شرارة، وفقا لإنشاء StreamingContext دليل تفتيش. إذا حدث تغيير، وفقا لخلق سياق لتحقيق أهدافها المخزنة تعويض وإنشاء نقطة تفتيش جديدة.

8. تصميم منصة - رصد وإنذار

كيف يمكن لأول مرة لمساعدة المستخدمين على العثور على وظائف المسألة أولوية أعلى.

رصد مجموعة

رصد خادم: النظر في مؤشرات الذاكرة، وحدة المعالجة المركزية، قرص IO، صافي IO.

منصة المراقبة: العقد.

مراقب وظيفة

مواطن متري النظام القائم على الإطار حساب.

رد فعل القياسات مخصص حالة مهمة.

مجموعة من المقاييس المحلية ومخصصة لرصد وتنبيه.

التخزين: الجرافيت تظهر الآن: Grafana ناقوس الخطر: Appmon.

نحن الآن الكثير من القياسات المخصصة بين أكثر شيوعا هي:

الفشل: الساعة الدوري، Jstorm عدد من معالجة البيانات فشلت، مهمة سبارك فشل عدد.

الكلية الاسترالية: الساعة الدوري، كمية البيانات معالجة.

يتخلف: الساعة الدوري، واستهلاك للتأخير توليد بيانات وسيطة (كافكا 2.0 تستند يأتي bornTime).

وقد وضعت كتريب نظام الإنذار الخاص بها، وأجهزة الإنذار قائم على قواعد تفعل بعد بديل لنظام القياسات. العمل كانبان القيام به من خلال رصد المؤشرات المتعلقة الرصد والاستعراض، ونحن سوف مؤشر Flink القياسات كما المعنية أكثر حول كل المستوردة في قاعدة البيانات الجرافيت في الداخل، ومن ثم القيام تظهر على الجبهة Grafana. من خلال رصد لوحات العملية، يمكننا أن نرى مباشرة كافكا إلى Flink تأخير (متخلفة)، يتوافق مع البيانات التي تم إنشاؤها من عمليات الاستهلاك Flink، تأخير المتوسط هو 62 ميللي ثانية، السرعة نسبيا. ثانيا، نحن نراقب سرعة كل للحصول على بيانات من كافكا في. منذ الحصول على البيانات من كافكا ويستند على قطع صغيرة لاكتساب، وضعنا كمية البيانات في كل مرة 2000000000000 سحب. يمكن رصدها كانبان من خلال رصد وظيفة لكل أخذ متوسط البيانات في الوقت تأخير هو 25 مللي ثانية سحبت من كافكا، ماكس هو 760 ميلي ثانية.

ثم صعدت نحن إلى الحديث عن بعض من الحفرة في السنوات القليلة الماضية وكيفية ملء الحفرة.

ثالثا، وصعدت حفرة مليئة حفرة

حفرة 1: كمية كبيرة من البيانات HermesUBT، العديد من معلومات نقطة دفن والخدمات والعميل تحت ضغط هائل.

الحل: توفر عملية التحويلة موحدة، يتم تحويل البيانات إلى موضوع مختلف على أساس قواعد محددة والتكوين.

حفرة 2 : كافكا لا يمكن أن تضمن النظام العالمي.

الحل: إذا، من أجل فرض الساحة العالمية، وذلك باستخدام قسم واحد، وإذا طلبت جزئيا في هذه الحالة، لحقل على أساس تجزئة، التقسيم الداخلي ضمان منظم.

حفرة 3 : كافكا لا يعود البيانات لفترة زمنية معينة وفقا للوقت المحدد.

الحل: منصة يوفر تصفية، وقت الترشيح أقدم من البيانات الوقت المحدد (البيانات بعد كافكا 0.10 لكل منها طابع زمني خاص به، وبالتالي فإن المشكلة بعد كافكا ترقية تحل بشكل طبيعي).

حفرة 4 : في البداية، كتريب جميع سبارك الجري، يتم تشغيل عمليات Flink في المجموعة فوق المضيف، هي مجموعة كبيرة Hadoop هي حاليا عدة آلاف الحجم، في الوقت الحقيقي وحاليا هي قطعة قماش مختلطة، مرة واحدة عملا عظيما حتى عندما حاليا سوف أثر العمل في الوقت الحقيقي، وثانيا مجموعات Hadoop في كثير من الأحيان القيام ببعض الارتقاء بها، قد أعد اسم عقدة أو مدير عقدة، مما قد يؤدي إلى أحيانا العمل سوف يتعطل.

الحل: نحن نستخدم انتشار منفصل، وإعداد مجموعة منفصلة في الوقت الحقيقي، وقائمة بذاتها وظيفة في الوقت الحقيقي. حاليا دون اتصال، حقيقي في العودة في الوقت الحقيقي، الكتلة في الوقت الحقيقي مع تشغيل سبارك الجري غزل ظيفة واحدة، تشغيل العمليات حاليا متواجد حاليا خاصة.

عند نشرها على حدة، تواجه مشاكل جديدة، بعض الوقت الحقيقي حاجة العمل للقيام ببعض الأعمال خارج الخط تشغيل بعض أو تاريخ ميزة، بل هو أيضا حاجة إلى الحصول على بيانات مجموعة المضيف. وهذا يعادل مشكلة في الوصول عبر الكتلة.

حفرة 5 : كتلة Hadoop في الوقت الحقيقي عبر الكتلة للوصول إلى مجموعة المضيفة؛

الحل: Hdfs-site.xml التكوين NS-همز، NS ضعف مساحة الاسم، على التوالي، وأشر إلى مجموعة المحلية المضيفة.

spark.yarn.access.namenodes التكوين شرارة أو hadoopFlieSystems

تعليق 6 : سواء Jstorm العاصفة سوف تواجه مشاكل أو اتخاذ الشفعة وحدة المعالجة المركزية، عندما تحصل على وظيفة كبيرة، خصوصا ذلك النوع من الاستهلاك خصوصا قوية وحدة المعالجة المركزية، وأنا قد تعطيه عامل مستقل، وحدة المعالجة المركزية الأساسية، ولكنها وأخيرا، فمن الممكن أن تعطيني استخدام ثلاثة أو حتى أربعة.

الحل: تمكين cgroup استخدام الحد وحدة المعالجة المركزية.

الرابعة، وسيناريوهات التطبيق

1. إحصاءات التقرير في الوقت الحقيقي

الإبلاغ الوقت الحقيقي، وتظهر الاحصاءات أيضا الجري استخدام المشهد شرارة يمكن أن يقوم المزيد من البيانات على عملية إحصائية الوقت، وقت الحدث ويمكن أيضا أن تستند إلى الإحصاءات. بسبب شرارة من الجري دفعات مختلفة من العمل يمكن اعتباره واحدا من نافذة التمرير، نافذة منفصلة الذي يحتوي على البيانات لفترات زمنية متعددة، مما يجعل استخدام SparkStreaming هناك بعض القيود على أساس إحصاءات وقت الحدث. عموما أكثر طريقة شائعة هي قيمة تراكم الإحصائية في جداول زمنية مختلفة لكل دفعة وإدخالها في نظام خارجي، مثل ES، ثم على أساس الوقت للقيام البلمرة كاملة من القيمة المتراكمة الثاني من القيمة النهائية التي تم الحصول عليها خلال البلمرة تظهر في التقرير. يظهر الشكل التالي IBU كتريب تستند إلى الوقت الحقيقي كانبان سبارك الجري التنفيذ.

2. في الوقت الحقيقي عدد مستودع

1) شرارة الجري بالقرب تخزين البيانات في الوقت الحقيقي

هناك الآن جميع أنواع الأدوات بيانات استهلاك كافكا من الوقت الحقيقي في نهاية المطاف وتمت تصفيتها الهبوط غسلها لنظام التخزين المقابلة، مثل: كامو، المسايل مثل. مقارنة مع تلك المنتجات، سبارك الجري الأكاذيب ميزة أولا وقبل كل شيء لدعم منطق معالجة أكثر تعقيدا، وثانيا على أساس غزل نظام جدولة الموارد يجعل شرارة تخصيص الجري من الموارد أكثر مرونة وسهولة اعتماد سبارك الجري تتم كتابة البيانات في الوقت الحقيقي لHDFS أو الكتابة خلية الذهاب إلى الداخل.

2) بناء على قواعد مختلفة للكشف عن جودة البيانات

سبارك أساس الجري، والعرف وظيفة متري كمية البيانات من البيانات، وعدد من المجالات، وتنسيق البيانات من البيانات وتكرار فحص جودة البيانات والرصد.

3) بناء متري مخصص في مجال الإنذار المبكر في الوقت الحقيقي

تحديد بعض القواعد بناء على حزم متري نحن نقدم نظام التسجيل، ومن ثم إجراء فحص كل دفعة على أساس هذه القواعد، يعود نتيجة لذلك. وسوف تستند النتائج على بالوعة متري إلى يبصقون عليه، ويبصقون عليه بناء على نتائج مقاييس مراقبة القيام به. نحن نستخدم نموذج Flink تحميل TensorFlow جعل التوقعات الحالية في الوقت الحقيقي. العلبة البيانات والمعلومات في الوقت المناسب إنذار الأساسية للتقرير في غضون ثانيتين، بمجرد وصولها للمستخدم تجربة جيدة جدا.

خامسا، تخطيط المستقبل

1.Flink على K8S

وهناك عدد من إطار مختلف الحوسبة داخل كتريب، الزمن الحقيقي، وآلة التعلم، فضلا عن الحسابات خارج الخط، وبالتالي فإن الحاجة إلى إطار الكامنة موحدة لإدارة، وذلك في المستقبل انتقلت Flink إلى K8S وموحدة إدارة الموارد والسيطرة عليها.

وصول منصة 2.Muise Flink SQL

على الرغم من أن الوصول إلى منصة Muise Flink، ولكن المستخدمين لا تزال لديها قانون مكتوب بخط اليد، قمنا بتطوير منصة ميزة في الوقت الحقيقي، يحتاج المستخدمون فقط إلى SQL الكتابة، والتي تقوم على نموذج SQL Flink التي يمكن جمعها أو الميزات المستخدمة يحتاج المستخدمون الوقت الحقيقي. بعد إرادة ميزة منصة في الوقت الحقيقي في الوقت الحقيقي مع الحوسبة منصة لدمج، يمكن للمستخدمين تحتاج فقط إلى SQL الكتابة تدرك أخيرا كل من عمل في الوقت الحقيقي لتحقيقه.

3.Jstorm Cgroup تعمل بكامل طاقتها

كجزء من الأسباب التاريخية الحالية أن العديد من الوظائف التي تعمل في Jstorm أعلاه، مما أدى إلى التوزيع غير المتكافئ للموارد، وبعد ذلك سيتم تمكين تماما Cgroup.

4. نموذج التدريب على الانترنت

كتريب بعض الإدارات تتطلب في الوقت الحقيقي نموذج التدريب عبر الإنترنت، من خلال التدريب يليه طراز سبارك، ومن ثم استخدام نموذج سبارك الجري، والقيام اعتراض في الوقت الحقيقي أو السيطرة، والتحكم في التطبيقات ومشاهد أخرى في مهب الريح.

ون | PAN قوه تشينغ كتريب منصة للبيانات الكبيرة في الوقت الحقيقي الحوسبة زعيم منصة