الفصل الأولي من هذه الحالة كإطار لتطبيقات البيانات الكبيرة في مجال ممارسة السلامة العامة، والبيانات من معظم النظام الأساسي حديث العمارة الأمثل. في الفصل القادم وسيتم وصف المبادئ الأساسية في التفاصيل كافكا، كافكا تعزيز سيناريوهات محددة ومكونات المقابلة من R & D النتائج على أساس العمارة امدا كافكا.
امدا العمارة المقترحة من قبل المؤلف العاصفة ناثان مارز. ويهدف البرنامج إلى تصميم لقاء. يتميز مفتاح العمارة في الوقت الحقيقي من أنظمة البيانات الكبيرة مع ارتفاع تسامحا خطأ، الكمون المنخفض وتطويره وخاصة أخرى.
القضايا الرئيسية لامبدا يجمع بين فن العمارة خارج الخط حساب وحساب الوقت الحقيقي، وغير قابل للتغيير الانصهار (الثبات، سلسلة من مبدأ الكتابة التكوين فصل وعزل، أن تكون متكاملة Hadoop، كافكا، العاصفة، سبارك، HBase، وغيرها من المكونات البيانات الكبيرة لنظام البيانات الكبيرة: كم من الوقت الحقيقي على أي استفسار على مجموعات كبيرة من البيانات بالإضافة إلى البيانات الكبيرة تحسب في الوقت الحقيقي، وصعوبة المشكلة هي العمارة .Lambda كبيرة نسبيا على حل المشكلة عن طريق تحطيم الهيكل من ثلاث طبقات:؟. طبقة دفعة، سرعة طبقة وخدمة طبقة هو مبين أدناه المصورة.
الشكل البياني 1.1 امدا العمارة
بعد دفق البيانات يدخل النظام في نفس الوقت وإرسالها إلى دفعة طبقة طبقة سرعة المعالجة. دفعة طبقة نموذج غير قابل للتغيير لتخزين إيقاف جميع مجموعات البيانات، الموافق الاستعلامات بناء من إعادة حساب باستمرار المشاهدات دفعة على مجموعة البيانات بأكملها. سرعة طبقة عملية تدريجية تدفقات البيانات في الوقت الحقيقي، وتعمل باستمرار استعلام التحديث يتوافق وقت ريال مدريد المشاهدات. خدمة الاستعلام طبقة استجابة الطلب للمستخدم، ودفعة مجتمعة عرض النتائج في الوقت الحقيقي ومن المقرر عرض لمجموعة البيانات النهائية.
ثانيا، على أساس العمارة امدا كافكا2.1 محافظة حالات ممارسة منصة البيانات الكبيرة
أخذ برنامج البناء الوزارات البيانات الكبيرة والوكالات، على سبيل المثال، كافكا كقناة تيار بيانات موحدة (خط أنابيب البيانات). كافكا وShengTing في المدينتين، يتم إرسال البيانات المدينة أول من المدن كافكا من خلال تدفق العملية، بعد التوحيد، المدينة معا مرة أخرى لكافكا ShengTing كافكا.
البيانات الكبيرة الممارسة محافظة منصة
2.2 قدم ضرورة كافكا
في أنظمة البيانات الكبيرة، وهي مشكلة غالبا ما واجهت، تتطلب البيانات الكبيرة في جميع أنحاء فرعية مختلفة من البيانات في مختلف الأنظمة الفرعية عالية الأداء، وانخفاض وقف تدفق الكمون. نظام المؤسسة المراسلة التقليدية ليست مناسبة جدا لمعالجة البيانات واسعة النطاق. المرجح أن يتسبب في بيانات السجل من الصعب جمع، من السهل أن خط أنابيب المعلومات وزنه بين المثال أوراكل ليست متاحة للاستخدام من قبل الأنظمة الأخرى، والهندسة المعمارية البيانات هي سهلة لإنشاء ملحقات صعبة، وسوء نوعية البيانات. من أجل الحصول على وقت واحد تطبيقات الانترنت (الرسائل) وغير متصل التطبيقات (ملفات البيانات، سجل)، ظهر كافكا. كافكا يمكن أن تلعب دورين:
تقليل تعقيد الشبكة النظام.
الحد من برمجة التعقيد، كل نظام فرعي لم يعد المتبادل واجهة التفاوض، كل نظام فرعي يشبه مأخذ توصيل في، كافكا تولي دور حافلة البيانات عالية السرعة.
الهندسة المعمارية البيانات التقليدية
بعد مقدمة كافكا، فإنه يمكن بناء مثل العمارة تدفق البيانات المركزية. كافكا كما أنبوب البيانات العالمية. كل نظام يرسل البيانات إلى قناة المركزية أو بيانات تشتق. تطبيق أو تيار خط أنابيب برنامج معالجة يمكن الوصول وخلق تيارات المستمدة جديدة. وهذه بدورها يمكن أن تستمد تيارات لأنظمة أخرى مختلفة.
تدفق العمارة بيانات مركزية
ثلاثة، كافكا التحليل الفني3.1 ميزات كافكا
كافكا يمكن الحصول تظهر البيانات الصحيحة في شكل المناسب في المكان المناسب. ممارسة كافكا لتوفير قائمة انتظار الرسائل، بحيث منتجي البيانات إضافة احدة إلى نهاية قائمة الانتظار، بحيث وافر من المستهلكين الذي يقرأ بالتسلسل البيانات من قائمة الانتظار وحسن التقدير.
كافكا قائمة انتظار الرسائل
الأنظمة الموزعة، وسهلة الانتشار. كل منتج، وسيط والمستهلك، وسيكون هناك أكثر من ذلك، يتم توزيع. دون التوقف آلة التمديد.
توفير حانة / الفرعية طريقة لمعالجة الرسالة الجماعية. ومن المعلوم أن كافكا يمكن أن تنتج حوالي 250000 رسائل في الثانية (50 MB)، وتجهيز 550،000 الرسائل (110 MB) في الثانية الواحدة.
طريقة عالية المتسامحة لتخزين كميات هائلة من البيانات والجداول.
ضمان تدفقات البيانات متتابعة، والتعامل مع التحديثات الهامة.
توفير التخزين على المدى الطويل من الرسائل، واستمرت الرسالة إلى القرص، فإنه يمكن استخدامها للاستهلاك الجزء الأكبر، مثل ETL، فضلا عن التطبيقات في الوقت الحقيقي. التي لا تزال قائمة البيانات إلى تكرار القرص الصلب ومنع فقدان البيانات.
القدرة على ذاكرة التخزين المؤقت أو البيانات المستمرة والدعم ونظام تجهيز الدفعات (مثل Hadoop) التكامل.
توفير نقل البيانات منخفض الكمون وتجهيز للتطبيقات في الوقت الحقيقي.
دعم لسيناريوهات الانترنت وغير متصل.
تتم معالجة رسائل الحالة في نهاية المستهلك الحفاظ عليها، لا تحتفظ بها نهاية الخدمة. عندما فشل يمكن تحقيق التوازن تلقائيا.
3.2 كافكا تحليل المبدأ
3.2.1 كافكا البناء الشامل
كافكا البناء الشامل
الهيكل العام كافكا هي في غاية البساطة، والهندسة المعمارية وزعت واضحة، ومنتج، وسيط (كافكا) والمستهلك يمكن أن يكون متعددة. منتج، مسجلة المستهلك كافكا تنفيذ واجهة، والبيانات المرسلة من المنتج إلى وسيط، وسيط الاضطلاع بدور المخزن المؤقت المتوسطة والتوزيع. مسجل وسيط مع نظام توزيع المستهلك. يشبه تأثير وسيط ذاكرة التخزين المؤقت، مخبأ أي بين نظام معالجة نشطة والبيانات خارج الخط. عميل الاتصالات وجانب الملقم، يستند إلى بسيطة وعالية الأداء والبرمجة بروتوكول TCP لغة مستقلة.
المفاهيم الأساسية:
الموضوع: مصدر الرسالة (يغذي من الرسائل) يشير تحديدا إلى عملية تصنيف مختلفة كافكا.
التقسيم: حزمة الموضوع على جسدي، موضوع يمكن تقسيمها إلى عدد وافر من التقسيم، كل قسم هو طابور أمر. تقسيم يتم تعيين كل رسالة معرف متسلسل (الإزاحة).
رسالة: الأخبار، هو الوحدة الأساسية للاتصال، ويمكن لكل منتج نشر بعض الرسائل إلى موضوع (موضوع).
المنتجون: رسالة والبيانات المنتجين، عملية الإفراج عن المعلومات إلى موضوع كافكا دعا المنتجين.
المستهلكون: رسالة وبيانات المستهلكين، الاشتراك في المواضيع والرسائل العملية الصادرة عن عمليته ويطلق المستهلكين.
الوسيط: التخزين المؤقت وكيل، مجموعة كافكا من ملقم واحد أو أكثر يشار إليها مجتمعة باسم وسيط.
3.2.2 كافكا النقاط الفنية الرئيسية
3.2.2.1 صفر نسخة
على كافكا، هناك نوعان من الأسباب المحتملة لعدم الكفاءة: واحد عدد كبير جدا من طلبات الشبكة، والثاني هو الكثير من نسخة بايت. لتحسين الكفاءة وكافكا الرسالة إلى مجموعة من مجموعة، فإن كل طلب إرسال رسالة مجموعة المستهلك المقابلة. وعلاوة على ذلك، للحد من نسخ بايت، وذلك باستخدام استدعاء نظام sendfile.
3.2.2.2 نقل الرسالة مرة واحدة بالضبط
في كافكا فقط المحفوظة تعويض كل مستهلك تمت معالجة البيانات. هذا وقد اثنين من المزايا: أولا، إن البيانات المحفوظة أقل، والثاني هو عند الخطأ المستهلك، أعد تشغيل معالجة بيانات المستهلكين، إلا أن الأخير تعويض من البداية لمعالجة البيانات.
3.2.2.3 دفع / سحب
منتج كافكا إلى دفع البيانات (دفع)، والمستهلك كافكا الشد (سحب) البيانات.
موازنة 3.2.2.4 تحميل والتسامح مع الخطأ
لا موازنة آلية بين منتج وسيط. تحميل موازنة بين الوسيط والمستهلك استخدام حارس الحديقة. وسيتم تسجيل كل وسيط والمستهلك في حارس الحديقة، وسوف حارس الحديقة حفظ بعض المعلومات الخاصة بهم الوصفية. إذا تم تغيير وسيط والمستهلك، ويتم إخطار كل وسيط والاستهلاكية الأخرى.
3.2.2.5 التقسيم
ويمكن تقسيم كافكا موضوع إلى عدد وافر من الأقسام (التقسيم)، ويختار توزيع موحد للرسائل وفقا لأقسام مختلفة تقسيم الحكم، وبالتالي تحقيق موازنة والتوسع الأفقي. إن تعددية يمكن للمشتركين في نفس الوقت بيانات الاستهلاك من أقسام واحد أو أكثر، لدعم قدرة هائلة معالجة البيانات. منذ يتم إلحاق الرسالة إلى التقسيم، وأقسام متعددة متتابعة الكتابة الكفاءة العامة من ذاكرة القرص الكتابة العشوائية هي أعلى من ذلك، كافكا هو مهمة الإنتاجية ضمان أعلى مستوى.
كافكا موازنة التقسيم، ومستوى التنمية، وارتفاع الإنتاجية
لضمان موثوقية البيانات، وسيتم توفير كل عقدة القائد التقسيم، وعندما عدة العقد أتباع. عندما تتم كتابة البيانات إلى القسم، زعيم بالإضافة إلى النسخة الخاصة بهم، وأيضا نسخ البيانات إلى كل أتباع. إذا كان أي واحد من أتباع معلقة، وكافكا العثور على أتباع استرداد البيانات من الزعيم. إذا مرتبطة القائد، المستخرجة من أتباع كقائد.
التقسيم كافكا لموثوقية البيانات
3.3 كافكا اختيار التكنولوجيا
3.3.1 مندمج منصة نظرة عامة
دفق البيانات متموجة منصة هو منبر لتنظيم وإدارة البيانات من مصادر مختلفة، لديها مستقرة ونظام فعال. متموجة منصة لخلق بسهولة في الوقت الحقيقي البيانات يتدفقون التطبيقات وخطوط الأنابيب. من خلال دمج البيانات من مصادر متعددة ومواقع الإنترنت لدفق البيانات المركزية. متموجة منصة يبسط الاتصال بمصدر البيانات كافكا، والتطبيقات بناء كافكا، وكذلك أمن ومراقبة وإدارة البنية التحتية كافكا.
متموجة منصة العمارة
3.3.2 كافكا اتصال
كافكا الاتصال، يمكنك بسهولة إنشاء وإدارة تدفق البيانات خط الانابيب. أنه يخلق قابلة لحجم كافكا وغيرها من النظم، وتدفق البيانات موثوق يوفر نموذج بسيط، يمكن استيراد بيانات كبيرة من الأنظمة الأخرى عن طريق وصلات إلى كافكا، يمكنك أيضا تصدير من كافكا إلى أنظمة أخرى. كافكا ربط قاعدة بيانات كاملة يمكن حقنها في كافكا الموضوع، حقن مؤشر أو نظام مراقبة الخادم إلى كافكا، وكافكا مثل تيار كالمعتاد تيار معالجة البيانات المعالجة الآلية. العمل البيانات المستمدة المستمدة من كافكا الموضوع امتص في أنظمة تخزين البيانات الأخرى، خارج خط نظام الاستعلام أو نظام تحليل.
وتشمل الميزات كافكا الاتصال:
إطار موصل شيوعا كافكا الذي يوفر التكامل API موحد
وضع وتؤيد كل من وضع الموزعة ومستقل
واجهة REST للعرض وإدارة وصلات كافكا
الآلي إدارة تعويض، ومطوري لا داعي للقلق بشأن تأثير معالجة الأخطاء
الموزعة، قابلة للتطوير
تدفق / دفعة التكامل
أعمال كافكا ربط
التدقيق 3.4 كافكا نهاية
الوصيفة باستخدام إطار تكنولوجيا المصادر المفتوحة لتحقيق نهاية للتدقيق نهاية كافكا. والهدف هو لكل مرحلة من البيانات التي تتدفق من خلال خط أنابيب البيانات، ويمكن لكل رسالة استيلاء على البيانات الإحصائية لفترة معينة من الزمن، وفي أقرب وقت ممكن للكشف بدقة فقدان البيانات، وتأخير والازدواجية.
هل هناك فقدان البيانات؟ لذا، فإن عددا من البيانات المفقودة؟ وهي الأماكن التي المفقودين خط أنابيب البيانات؟
ما هي النهاية إلى تأخير نهاية؟ إذا تأخرت رسالة، فمن أين تبدأ؟
هل هناك ازدواجية البيانات؟
العمارة الوصيفة
الوصيفة العمارة: AuditLibrary، ChaperoneService، ChaperoneCollector وخدمة ويب، وسوف جمع البيانات والحسابات المرتبطة بها تكتشف تلقائيا فقدان البيانات وتأخير، وتقديم نتائج التدقيق. تدقيق لضمان أن كل الرسالة مرة واحدة فقط، والطابع الزمني الاتساق باستخدام البينية أثناء عملية المراجعة.
الوصيفة عملية وحدة التدقيق على النحو التالي:
جيل الرسالة 1. التدقيق: ChaperoneService بإنشاء رسالة التدقيق للموضوع محددة من قبل توقيت كافكا حالة تسجيل
2. الخوارزميات التدقيق: خوارزمية AuditLibrary لتحقيق التدقيق، وسوف إحصاءات جمع بانتظام ونافذة وقت الطباعة
3. الحصول على نتائج المراجعة: ChaperoneCollector رصد محددة كافكا موضوع والحصول على جميع رسائل التدقيق إلى قاعدة البيانات، وتوليد لوحات. عرض لوحة القيادة: حالة فقدان البيانات، يؤخر الرسالة لعرض حالة كل مركز الموضوع موضوع
4. تظهر بدقة النتائج: توفر خدمة ويب واجهة REST لمقاييس الاستعلام الوصيفة التي تم جمعها. من خلال هذه الواجهات، يمكننا حساب دقيق لكمية من فقدان البيانات.
أربعة، ويصف كافكا تطبيق النتائجواستنادا إلى الخصائص التقنية لكافكا، وقد نضجت تطبيق كافكا إلى مشروع الوزارات منصة خدمات الموارد وكالات، وهي تستخدم أساسا إلى سجلات جمع، ETL الصغيرة كميات هائلة من البيانات، وتوفير منصة معالجة الرسالة لتبادل البيانات على نطاق واسع بين أنظمة الأعمال المختلفة، وكذلك لتشكيل خط أنابيب البيانات بين المدينة وحول الوزارات والوكالات.
جنبا إلى جنب مع دراسة متعمقة من كافكا وكافكا المكونات الإضافية، معهد بيانات جديدة دورسي الكبير تطويرها بشكل مستقل تيار FSP تجهيز المحرك خفيف الوزن لرسو السفن تدفق البيانات المحمولة، وكفاءة معالجة وتنفيذ جميع أنواع تدفق البيانات لتوسيع نطاق تطبيق.
تجميع 4.1 السجل
سجل كافكا بين أنظمة متعددة من خلال التجميع، لتوفير نظم المراجعة أو المراقبة الأخرى للاستهلاك. عموما البلمرة يتم جمع ملفات السجل من خادم السجل، ثم وضعها في موقع مركزي (خادم ملف أو HDFS) المعالجة. ومع ذلك، كافكا تجاهل تفاصيل الملف، وسوف تستخرج أكثر وضوحا في تدفق الرسالة السجل أو الحدث. هذه العملية تسمح كافكا خفض الكمون، وأسهل لدعم مصادر بيانات متعددة ومعالجة البيانات الموزعة. بالمقارنة مع مركز النظام، مثل سجلات أو الكاتب لالمسايل، كافكا تقديم نفس الأداء العالي والمتانة العالية لضمان نتيجة للتكرار، وتأخير أدنى حد.
4.2 نظام التراسل
فصل بين النظام وتبادل البيانات بواسطة كافكا مدفوعة العمليات التجارية بين أنظمة العمل مدفوعة.
بالمقارنة مع معظم أنظمة المعلومات، كافكا يوجد أفضل إنتاجية، الذي بني في التقسيم، والتكرار والتسامح مع الخطأ، بحيث كافكا أصبح حل جيد لتطبيقات معالجة المعلومات على نطاق واسع. أنظمة الرسائل عادة ما تكون منخفضة نسبيا الإنتاجية، ولكنها تحتاج إلى أقل حد لتأخير نهاية، وغالبا ما تعتمد على استمرار قوي لحماية المقدمة لكافكا. في هذا المجال، ونظام الرسائل التقليدية مشابه لكافكا، مثل ActiveMR أو RabbitMQ.
4.3 خط البيانات
كافكا العمل جعل التكامل مرتبطة فقط إلى أنبوب واحد، دون الحاجة إلى الاتصال ببعضها منتجي البيانات والمستهلك.
كافكا توفير أنابيب البيانات، والكثير من المدن أنواع مختلفة من موارد البيانات، الحاجة إلى معرفة تفاصيل مصدر البيانات الأصلي عند متكاملة، لا تحتاج إلى معرفة التطبيقات التي يمكن أن تستهلك وتحميل البيانات، إضافة بيانات جديدة نظام نشر أيضا كافكا فقط الوصول إلى البيانات الموجودة تيار علبة الإنترنت.
بعض الوزارات والهيئات كافكا الحالات خط أنابيب البيانات
خط أنابيب 4.4 ETL
عندما لم تدخل كافكا، الاحتياجات من البيانات العملية ETL لتوليد قاعدة بيانات مؤقتة، والهبوط عدة مرات على وثائق المنتجات، تكلفة الذاكرة، ومن ثم استدعاء في قاعدة البيانات المؤقتة سوف تستهلك الذاكرة. هذا الهيكل لم يقم البيانات تيار ثقيلة تجهيز القدرات.
بعد إدخال كافكا، تنفيذ ETL الصغيرة. بواسطة كافكا تيار الالتحام تجهيز المحرك، لتبسيط عملية ELT، صقل معالجة البيانات المستوى، ومنخفضة الكمون الهدف الحصول على البيانات.
مزايا ETL الصغرى:
تجهيز المحرك تيار السلس، والانتهاء السريع من ETL البيانات
كافكا بناء قناة تدفق البيانات تتميز بالموثوقية والكفاءة
التفاعل منخفضة الكمون
مايكرو العمليات ETL لمعالجة البيانات، وخفيفة الوزن
مقارنة مع التقليدية ETL ETL الصغيرة ل
4.5 FSP تجهيز المحرك تيار
4.5.1 العمارة FSP
العمارة FSP
تيار تجهيز منصة: تدفق البيانات، توفر قد يتم تكوين وسائل اكتساب محرك تيار الأساسية منصة إدارة
تطبيق المكونات الإضافية تمتد وظيفة الموسعة كافكا كافكا، SQL على كافكا تحقيق كل أنواع من تدفق البيانات؛ PIPELINEDB تسمح لنا مزود الطريقة، دفق البيانات للقيام بهذه العملية، ونتيجة عملية تخزين: تجهيز المحرك الأساسي
تدفق اقتناء الأدوات: Kafkacat تحقيق كافكا وsqluldr، لرسو السفن نسخ البيانات التي تم جمعها، ودفق البيانات لتحقيق مجموعة
4.5.2 Kafkacat
4.5.2.1 الزحف أداة لإرسال رسالة
Kafkacat هو NON JVM TOOL وسريعة وخفيفة الوزن، وقد تم تجميعها بشكل ثابت أقل من 150KB، وتوفير البرامج القائمة الفوقية مجموعات / قسم / موضوع.
وضع التشغيل Kafkacat
4.5.2.2 kafkacat تحميل من خلال الخارجي طاولة القيادة توليد البيانات GP
من خلال تنفيذ البيانات Kafkacat كافكا الالتحام مع GP: الجدول أداة kafkacat يمكن الحصول عليها وفقا لبروتوكول خارجي كافكا GP والبيانات، ويقوم بإنشاء جدول خارجي، لتحميل البيانات المتوازية. المتسامحة معالجة بيانات خط تالف في شكل الجدول الخارجي
Kafkacat تحميل GP جدول خارجي
خمسة، مدد كافكا احتمال تطبيقوضعت التكامل NiFi وكافكا، ونتيجة لجمع البيانات القماش MiNiFi في نهاية مصدر البيانات، ويمكن توسيع وتشكيل البيانات تدفق تدفق خط المعالجة.
كافكا جنبا إلى جنب مع NiFi
مقدمة 5.1 NiFi
NiFi هو وسيلة سهلة الاستخدام وقوية وموثوق بها معالجة البيانات ونظام التوزيع. بعبارات بسيطة، NiFi لتدفق البيانات بين نظم إدارة الأتمتة. قبل الالتحام كافكا، وتوفير أمر البصرية والسيطرة، وتدفق البيانات وعرضها وتحريرها معالجة، لتحقيق كامل تيار بيانات التتبع.
NiFi الميزات:
1. القيادة والسيطرة التصور
على شبكة الإنترنت واجهة المستخدم، سلس خبرة في التصميم والرصد، وتدفق البيانات السيطرة.
2. التدرجية العالية
NiFi من خلال توفير مخصص نماذج محمل فئة لضمان القيود بين كل توسع الجمعية يقتصر على نطاق محدود جدا. لذلك، عند إنشاء مكون الموسعة، فإنه ليس من الضروري أن تكون قلقة للغاية حول ما إذا كان سوف يتعارض مع المكونات الأخرى. يمكن تنفيذ برنامج معالجة تدفق البيانات في نمط يمكن التنبؤ به وتكرار.
3. البيانات الضغط مرة أخرى
NiFi كل طابور المخزن المؤقت للبيانات، وقائمة الانتظار تصل إلى حد معين، أو انقضاء المهلة، يمكن للبيانات أن توفر الضغط الخلفي.
4. شكلي للغاية
فقدان البيانات التسامح وتقديم ضمانات، الكمون المنخفض والإنتاجية العالية، وتدفق الأولوية ديناميكية يمكن تعديلها في وقت التشغيل.
5. الأمن
بين النظم والبيانات ثنائية الاتجاه NiFi يمكن أن تكون مشفرة بواسطة SSL. وقد تسمح للتيار البيانات باستخدام التشفير المشتركة الرئيسية وفك التشفير، وغيرها من الآليات في الإرسال وتلقي الجانب.
بين المستخدم والنظام، مما يتيح اتجاهين SSL NiFi تحديد الهوية، ويوفر وضع التفويض للتوصيل، فمن الممكن للسيطرة على المستخدم تسجيل الدخول امتياز (على سبيل المثال: للقراءة فقط الوصول، مدير تدفق البيانات، مسؤول النظام).
5.2 NiFi منصة موحدة في الوقت الحقيقي وزعت تيار جمع البيانات
في الوقت الحقيقي الحصول على البيانات MiNiFi:
في الوقت الحقيقي الحصول على البيانات والبيانات المتدفقة تدريجية، بدلا من شراء توقيت التقليدية، والحصول على البيانات أكثر تدقيقا
يمكن أن تدعم مجموعة متنوعة من مصادر البيانات، وتطبيق
نهاية لجمع البيانات نهاية
وزعت منصة العمل NiFi:
البيانات التي تم جمعها من بيانات النموذج التدفق، ومصادر البيانات للتسجيل التلقائي، والفهرسة، وتتبع
تدفق البيانات تحكم دقيق
NIFI أداء عقدة واحدة هي معالجة البيانات مستوى ميغابت في الثانية، يمكن أن تثار لبناء Nifi في الثانية G البيانات على مستوى الكتلة
NiFi توزيع منصة العمل
المؤلف:
يانغ قانغ، ويعمل حاليا في تشوهاى إدارة مدينة تقنية المعلومات المحدودة، نيودلهي نائب الرئيس ورئيس معهد بحوث البيانات الكبيرة 15 عاما من الخبرة في مجال صناعة تكنولوجيا المعلومات، وتشارك في أبحاث التكنولوجيا وتطوير وتنفيذ السحابية والبيانات الكبيرة، هناك قوي والاتصالات، والحكومة، والتمويل، الخ خلفية الصناعة.
