هذه المقالة بابا منتدى تكنولوجيا الانتهاء من المادة، ابتداء من CSDN، تتكرر في أي شكل من الأشكال دون إذن يحظر.
حصة "مزدوجة 11 شاشة كبيرة وراء تكنولوجيا المعلومات وسائل الاعلام والمنتجات" للجميع. علي بابا من 2009 المزدوج 11 الترويج للمنتجات الكبيرة، من دوران المنتج الأولي من 50 مليون دولار، ومعدل دوران 2016 من 120700000000 من السلع، قد لا يفكرون في أنفسهم طفل سعيد، في الواقع جعل من غير قصد الأمور كثيرا.
في عام 2014، الاكتتاب العام هو العام الأول عندما بدأت نحن المنتجات البيانات وفريق تقنية لتأخذ على بيانات 11 عمل مزدوج. لأنه في السنة الأولى من الاكتتاب العام، والشركة على محمل الجد، قررت أن تفعل العيش. تلقيت للتو وسائل الاعلام بيانات حية مهمة شاشة كبيرة، لدينا فريق هو أيضا ضيق جدا، متوترة ولكن أيضا أنفق الكثير من الوقت للاستعداد. ولكن للأسف في تلك السنة يوم 10 نوفمبر، 23:50، عندما الأمامية هي أيضا مشكلة، فإن الاتجاه الشاذ الشاشة الأمامية تظهر فجأة، كل الناس لا يعرفون كيف هو، يبدأ ذلك فحص الطوارئ تحقق في الدقائق الخمس الأخيرة، عندما الأكاذيب المشكلة، في الدقائق الخمس الاخيرة، والمهندسين الأمامية الطوارئ ستكمل هذه الاصلاحات. في ذلك الوقت كل شخص لديه شعور من انهيار جدا، ولكن لحسن الحظ أن يعيش في هذه العملية من وسائل الإعلام البيانات الشاشة الكبيرة لديها مشكلة كبيرة لم يحدث. ولكن بعض الخدمات في الأعمال التجارية من منتجات البيانات، مثل الموظفين الأعمال، فضلا عن خدمة صغيرين من المنتجات بيانات حية علي مثل مكتب لأنه لم يكن هناك تأخير في حركة المرور ضخمة. هذه المشاكل هي غير المخطط لها، إذا لم يتم استدعاؤه ضمن برنامج يسمى فشل تدهور الخدمات.
التأثير الكلي من وسائل الإعلام الشاشة الكبيرة في عام 2014 لا تزال جيدة جدا، من مزدوج 11 بعد تستضيف بابا حدث وسائل الإعلام السنوي وشاشة كبيرة غير الحية. وبطبيعة الحال، وسائل الإعلام الرقمية على الشاشة الكبيرة يتزايد عاما بعد عام، ومواجهة مثل هذه الأعداد الضخمة، فإن العديد من الناس يشككون في صحة ودقة البيانات المتوفرة لدينا. وسيتم فحص المنظمين بما في ذلك المجلس الأعلى للتعليم، بما في ذلك، أيضا، أنها في أي وقت للتحقق من البيانات لدينا، حتى مع وجود رمز خط سطرا، بحيث رمز سيتضاعف كل 11 سنة مختومة تصل للتفتيش.
وعموما، لحساب الوقت الحقيقي، والحاجة لمواجهة العديد من التحديات. من بين أهم أربعة تحديات رئيسية هي: الضخمة ومستقرة ودقيقة وفي الوقت المناسب.
التحدي البيانات الضخمة واضح، هذه السنوات الثماني، والحجم الإجمالي للمعاملات سوف يكون قادرا على رؤية تنفذ كمية البيانات من مئات المليارات من النمو. وبسبب الحاجة لمواجهة البث التلفزيوني المباشر، وذلك من حيث الاستقرار لا يمكن أن يكون حدوث أي أخطاء. من حيث الدقة، والهيئات التنظيمية، بما في ذلك المجلس الأعلى للتعليم، بما في ذلك ذكرت للتو سوف تحقق البيانات في أي وقت، وحتى رمز، وبالتالي فإن دقة البيانات كما يطالب جدا. في الوقت المناسب هو القول من 00:00 البداية، يجب التأكد من أن الرقم الأول على وسائل الإعلام تحتاج إلى بدء فوزه على الشاشة الكبيرة في غضون 5 ثوان، لأنه عندما بدأ البث، و24 نقطة عندما يجب أن يتوقف على بيانات تظهر، لا بد من النظر في بيانات جيدة في أقصر وقت ممكن. هذه هي التحديات الأربعة نحتاج لوجه في الحوسبة البيانات في الوقت الحقيقي.
فكيف ينبغي لنا أن نستجيب لهذه التحديات؟ يصف المقطع التالي كيفية التعامل مع تحديات حساب الوقت الحقيقي من الجوانب الثلاثة للوصلة البيانات، ونموذج البيانات، والضمانات.
وصلة البيانات
ويتم احتساب هذا الرقم في وصلة البيانات في الوقت الحقيقي، في الواقع، ويشمل هذا الرقم أيضا خارج الخط حساب الارتباط. وجهة النظر هذه من اليسار إلى اليمين في FIG، بداية وصلة البيانات، أي السجل DB تزامن ومزامنة البيانات. مزامنة كافة ملفات السجل حاليا عن طريق مزامنة الملفات الإضافية، يمكن هذه العملية تعتمد على عدد من الأدوات مفتوحة المصدر لإكمال سجل التزامن تدريجي، وDB لمزامنة البيانات المعنية، إلا أنها ليست الطريقة مزامنة البيانات الإضافية هناك مزامنة كاملة من حجم البيانات. وأجري تدريجي عمل مزامنة البيانات من المنتجات علي DRC الداخلية، في حين لكامل المبلغ من مزامنة البيانات، لديها أيضا علي أدواته البيانات الخاصة بها، مثل DataX، قد يكون مسؤولا عن البيانات تزامن توقيت لحساب كميات من المحركات.
ثم يتم بعد ذلك توزيع تزامن البيانات في الوقت الحقيقي قائمة انتظار الرسائل، أي الوسيطة الرسالة. يتم تخزين المهام الرئيسية للرسالة قائمة انتظار الرسائل الموزعة، بحيث وافر من الرسائل يمكن الاشتراك عن المصب، واحدة المصب من محرك مثل يحسب قائمة انتظار رسالة في التدفق، وفي إنتاج الرسمي، والبيانات الأخرى يمكن محرك الحساب أيضا الاشتراك في رسالة.
ويسمى FIG حتى هذا الجزء من كتلة من البيانات طبقة المشتركة، وطبقة البيانات التي تضم محرك حساب تدفق المشترك، محرك الحساب، وتخزين المواد السائبة ومنظم محرك خدمات البيانات. طبقة البيانات العامة التي يتعين إنجازها العمل الهام في هذه الأماكن قد اكتمل بشكل اساسي، التي تتدفق محرك حساب حديث شعبية يسمى حساب الوقت الحقيقي، وفعلت الكثير من العمل لحساب ودقة البيانات والبيانات في الوقت الحقيقي يعتمد إلى حد كبير على طبقة المشتركة . يتم تخزين النتائج المحسوبة البيانات في تخزين منظم، ونحن نستخدم هنا هو HBase إلى نتائج تخزين البيانات، ستتم مزامنة النتائج النهائية للدفعة الحوسبة الحوسبة المحرك لهيكل داخل التخزين، وهيكل من حيث التخزين، يمكنك استخدام HBase أو ماي العنقودية وهلم جرا. وأخيرا، عندما تتطلب بيانات المنتج لحساب البيانات الناتجة، لا يسمح البيانات الناتجة لدعوات مباشرة، تحتاج خدمات البيانات من خلال الحصول على محرك خدمات البيانات الداخلية إلى الجزء الخلفي بابا سوف تتقاسم خدمات البيانات المحرك كيف الخارجية مزود الخدمة. وسيتم توفير واجهة البيانات المشتركة بعد طبقة البيانات إلى وسائل الإعلام الشاشة الكبيرة والصغيرة اثنين من الموظفين الحية والأعمال ومنتجات غيرها من البيانات وغيرها من السلع عمليات البيانات بابا، البيانات بالكامل تحسب الارتباط هو الحال عادة.
حصة القادمة، محسوبة على البيانات في الوقت الحقيقي تصل بعض المنتجات أكثر أهمية.
مزامنة البيانات الإضافية
أولا، هذا المنتج هو مزامنة البيانات الإضافية، في الوقت الحاضر نحن نستخدم جمهورية الكونغو الديمقراطية، واسمه مركز النسخ المتماثل بيانات كاملة، وهي مسؤولة عن مصادر البيانات غير المتجانسة في الوقت الحقيقي التزامن والهجرة تدفق البيانات البنية التحتية الاشتراك تكنولوجيا خط أنابيب البيانات. وهي أكثر السيناريوهات خدمة هامة هي: عبر المجال التزامن في الوقت الحقيقي، وتوزيع تدريجي في الوقت الحقيقي، قاعدة بيانات عن بعد النشطة وتوزيعها.
الجانب الأيمن هو مجموعات الأولية باستخدام مزامنة البيانات الخلية نسخة، في الوقت الذي البيانات الإضافية بالفعل الوظائف الأساسية التزامن. والذي كان المبدأ الرئيسي لمزامنة البيانات الإضافية غير binlog التحليل في الوقت الحقيقي، وستتم مزامنة البيانات التي تم إنشاؤها بعد الانتهاء من التحليل إلى قاعدة البيانات الاحتياطية ماي الداخل، حتى تتمكن من إجراء التزامن في الوقت الحقيقي بين قاعدة البيانات الأساسية.
الموزعة طابور رسالة
ثم سهم موزعة طابور رسالة منتج --TT / مركز البيانات. يمكننا استخدام علي يذهب إلى النسخة المدفوعة من المنتج المحور البيانات، وهذا المنتج هو في الواقع الوسيطة الرسائل، والميزة الرئيسية هي فعالة وموثوق بها وقابلة للتطوير، ويقوم على المنتجين والمستهلكين ومركز موضوع رسالة الوضع قطعة. ويتميز نموذج الموضوع من نقطة إلى وضع نقطة، قد رسالة الموضوع بعد نقل من خلال المستهلك يمكن أن تكون عدة مرات، وهو مصدر الرسالة يمكن استخدام هذا الوضع لعدد وافر من اشتراكات المصب.
وبطبيعة الحال، لقائمة الانتظار رسالة وزعت، وهناك العديد من الخيارات الأخرى، مثل MetaQ بابا يتم التبرع فقط لمؤسسة RocketMQ أباتشي، وإنما هو أيضا الوسيطة الرسائل جيدة جدا، بالإضافة إلى وقت طويل قبل أكثر شهرة وكافكا وهلم جرا. لمهندس معماري جيد، والعمارة هي بالتأكيد ليست نسخ، فمن الضروري التكيف مع سيناريوهات الأعمال المختلفة التصميم المعماري معقول، جنبا إلى جنب مع خصائص المنتجات المختلفة لاختيار الأنسب للمشهد من المنتج. على سبيل المثال، وجدنا أنه عندما اختبرت داخليا لRocketMQ وKfaka: Kfaka الرسائل الوسيطة في حالة الرسائل أقل من أداء أفضل من QPS قائمة بذاتها لها سوف تكون مرتفعة جدا، ولكن في اشتراكات الموضوع مرتفعة جدا، ورجال الأعمال سيناريوهات أكثر تعقيدا المقبل، Kfaka الإنتاجية ستكون انخفاضا حادا، في حين RocketMQ عند التعامل مع العلاقات المعقدة والأعمال الاشتراك، ولكن لا يمكن ضمان التمدد الطولي.
تدفق محرك حساب
بعد ذلك تأتي المنتجات محرك حساب التدفق، ونحن حاليا باستخدام منصة غالاكسي. غالاكسي هو التدفق العام علي منصة الحوسبة السحابية، ومعظم السمات الهامة لهذا المنتج هو سهولة عالية جدا من الاستخدام، ودعم وضع SQL. ونحن نعلم جميعا أن حسابات تدفق تكلفة التطوير النسبية إلى الحوسبة خارج الخط لا تزال مرتفعة نسبيا، عموما بحاجة إلى استخدام جافا لكتابة الكثير من التعليمات البرمجية، لذلك هناك أن الكثير من الطلاب بحاجة إلى أن نتعلم جافا أو بيثون ولكن فقط للطلاب لSQL لا يمكن أن يكون مهمة تطوير حساب التدفق. غالاكسي تؤيد وضع SQL، بحيث يمكن للطلاب إتقان مهمة تطوير تيار SQL كامل الحوسبة. وبالإضافة إلى ذلك، غالاكسي تؤيد وضع دقة البيانات عالية، يمكنك أيضا تخصيص الوضع، وغيرها من تجميع الدعم يمكن وقابلية الخطية والمتسامحة متعددة المستأجر وغيرها، ويمكن أن يكون بمعزل الموارد. بالطبع، بالنسبة للمنتجات تيار الحوسبة، وهناك خيارات أخرى، مثل JStorm، Flink وسبارك الجري.
تخزين منظم
قسم تخزين منظم، أي محرك تدفق أو دفعة حساب بحساب سيتم تخزين البيانات النهائية للحاجة المحلية. نحن نستخدم HBase، بالطبع، يمكننا أيضا استخدام علي سحابة OTS، وهذا هو، وخدمة البيانات المفتوحة منظم. تم بناء محطة تكرير النفط على الطيران على نطاق واسع وزعت نظام كميات هائلة من البيانات المهيكلة وشبه منظمة المخزنة في خدمة الاستعلامات في الوقت الحقيقي الحوسبة. نظمت OTS في شكل جداول البيانات البيانات لضمان الاتساق وقوية، وتوفير الدعم المعاملات عبر الطاولة وتقديم الآراء والترحيل يتميز لتسريع الاستفسارات، والمثل الأعلى للبيانات واسعة النطاق ومتطلبات الوقت الحقيقي من التطبيق.
نموذج البيانات
ثم سهم من المستوى الثاني هو مستوى نموذج البيانات، وجها الدردشة من التحديات هائلة من البيانات من حساب سريع ودقيق لوجه.
الوقت الحقيقي طبقة شيوعا البيانات
في الوقت الحقيقي وذكرت البيانات طبقة المشتركة، فإننا نميل أن نسأل لماذا الحاجة لجعل العامة طبقة البيانات من المشكلة. في الواقع، البيانات التجارية بابا معقد جدا، وكان علي الكثير من البيانات صورة من المورد الكهرباء، وغالبا ما تحتاج هذه البيانات أيضا إلى استخدام الكثير من BU. في العصور الأولى، العديد من الإدارات تميل إلى حساب الخاص مرة أخرى من مصدر للحصول على هذه البيانات، وهو ما يعادل تطوير وضع مدخنة. هذا نموذج التنمية لديه ميزة أن وكفاءة عالية جدا، لأنه لا يعتمد على أي فريق آخر سوف تكون قادرة على الحصول على البيانات التي ترغب في تطوير الوظيفة المطلوبة، ولكن العيب هو أيضا واضح جدا، وهذا هو، يؤدي إلى الكثير من الازدواجية في التنمية والحوسبة. فريقنا كان يقوم به خارج الخط، الحساب، وجدنا أنه عندما خارج الخط في مجموعة علي بابا كلها في الحوسبة مجموعات معدل النمو السنوي هو 2.5 مرة، نستطيع أن نعول على بعد هذا الكم من البيانات ستكون 5 سنوات من العمر، كم مرة تفعل؟ سيكون حوالي 100 مرة، إذا كان في السنة الأولى من الاستثمار في حاليا كتلة ملقم البيانات هو 10 مليون نسمة، ثم، بعد خمس سنوات فوق هذا الاستثمار سوف تصل إلى مائة مليار دولار واحد. لذا نقوم به في الوقت الحقيقي البيانات طبقة المشتركة هذا المشروع في الحوسبة حاليا، استخلاص بعض نموذج مشترك للحاليا الحوسبة داخل فريقنا مسؤولة عن تقديم، ثم بناء هذه النماذج المشتركة المتاحة لغيرها من الإدارات BU والأعمال.
للحصول على بيانات في الوقت الحقيقي، والمخاطر لبناء طبقة البيانات المشتركة هي إلى حد كبير. ويمكن أن يكون في الوقت الحقيقي حجم الحوسبة مجموعة صغيرة نسبيا، حاليا الحوسبة العنقودية عدة آلاف، وتجمعات في الوقت الحقيقي الحوسبة قد تكون عشرات الآلات في البداية، الأكثر سيكون مئات، ولكن مجموعات في الوقت الحقيقي الحوسبة تنمو بمعدل أسرع من متواجد حاليا مجموعة الحوسبة يمكن أن يكون معدل النمو 10 أضعاف معدل نمو مجموعات الحوسبة حاليا، مثل معدل النمو في الوقت الحقيقي ومجموعات الحوسبة قريبا أكثر من متواجد حاليا الحوسبة مجموعات، وبالتالي فإن التكلفة ستكون المزيد من الارهاب.
لذلك، في حين أن حساب طبقة المشتركة تجسيد حاليا عناصر البيانات بدأ في بناء بيانات الحساب في الوقت الحقيقي مجموعة طبقة المشتركة. يتبين من الشكل أعلاه، جدول البيانات في الوقت الحقيقي من خلال طبقة رجال الأعمال جمهورية الكونغو الديمقراطية، وسجلات رسالة tailfile متزامنة إلى الطبقة الوسيطة داخل البيانات المشتركة طبقة إرادة بالتفصيل أولا معالجة هذه البيانات، ومستوى التفاصيل معالجة نتائج البيانات سيتم إعادتها إلى الوسيطة الرسائل. هذا هو للمستخدمين المصب، تتم معالجة مستوى من البيانات التفصيلية لتشكيل مصدر بيانات جديد، ومصدر بيانات جديد وبالمقارنة مع مصدر البيانات الأصلية، والكثير من العمل وعملية تحليل.
على سبيل المثال، أوامر المعاملة عبر وراء قد يكون 10 البيانات يولد، وهذه البيانات 10 ممكنة فعلا في الحصول على بعض البيانات أكثر بساطة مثل مبلغ الصفقة، ولكن وراء هذه الاحتياجات الحقيقة أن هناك الكثير من مجمع التفاصيل العملية، قد يتم إرجاع النتيجة النهائية للعملية إلى وسيط رسالة ثم يصبح بيانات بسيطة، وبالتالي يمكن استخدامها بسهولة لمجرى النهر. إذا كنت لا تفعل هذا النوع من العمل، قد تضطر إلى التعامل مع كل من هذه السجلات البيانات المصب 10، ثم حجم الكتلة تحتاج لزراعة مائة مرة. بعد معالجة البيانات من خلال المشتركة لتجسيد طبقة البيانات، يمكن وجود قاعدة بيانات الاشتراك في تطبيقات المصب من التفاصيل حول ذلك.
مختصرة جدا، وسوف تجميع البيانات وتجهيز طبقة تقدم خدمة تخزين البيانات الخارجية في HBase، إذا كانت تريد المصب لبيانات ملخص استخدام يمكن الوصول مباشرة إلى واجهة البيانات لا تحتاج إلى أن تكون محسوبة إعادة.
عندما مزدوج 11، ذروة طبقة البيانات في الوقت الحقيقي QPS أكثر من 100 مليون نسمة، أكثر من مائة فقا لBPS G، وهو ما يمثل أكثر من 80 من الإنتاجية من المجرة بأكملها. إذا لم يكن هناك الوقت الحقيقي طبقة شيوعا البيانات، قد تحتاج حجم الكتل غالاكسي لتقديم ألف مرة.
في الوقت الحقيقي الحوسبة معالجة المعاملات
عملية تجهيز حساب الوقت الحقيقي هو الأكثر مهمة هامة لضمان دقة البيانات. لأنه عندما تسير الامور الحق، فإن الأمور تميل إلى أن تكون بسيطة جدا، ولكن الأمور وعادة ما لا تكون كذلك بسيط، كما هو الحال عندما كنت بحاجة لانقطاع الشبكة، ومصدر البيانات ليتم إعادة إرسال، الوسيطة سبيل المثال الرسائل أخرى لضمان دقة البيانات قد لا تحقق بالضبط مرة واحدة، وهذه المرة الكثير من العمل على تطوير الطلاب القيام حساباتهم الخاصة، فأنت بحاجة في الوقت الحقيقي الاحتياجات آلية معالجة المعاملات في التدفق. نحن من مصدر البيانات إلى منتصف عملية البلمرة والنتيجة النهائية يستخدم عددا من الاستراتيجيات لتحسين دقة النتائج النهائية البيانات، ويقول اعتمد مخطط الفوقية مستوى مصدر البيانات لإدارة موحدة، وهذا هو، لمراسلة الوسيطة تعويض البيانات وإدارة موحدة، والتي يمكن أن تعوض موقف تسجيل البيانات. عند الحاجة إلى إعادة عملية الصفقة، يمكننا أن نعرف موقف الذي يتم إعادة حساب البيانات، ولن نبدأ من جديد. وبالإضافة إلى ذلك، نحن أيضا التحول من ZK إلى العمل HBase، لأن أداء ZK لا يمكن مجاراتها، وبالتالي فإن الحاجة إلى التحول إلى HBase لتلبية متطلبات تطوير الأعمال، وبعد الانتهاء من التسليم، تم تحسين معالجة الأداء عملية إلى حد كبير. كما تنفذ وقت العمل مراقبة وظائف التنبيه، والبيانات لحساب الوقت الحقيقي، لتحديد ما إذا كان في الواقع هناك تأخير الوقت يعتمد على حجم البيانات التحديث الأخير، على سبيل المثال، وجدت أن هذا وقت المعالجة وتحديث البيانات الماضي في وقت 21:00 و20 نقطة، ويمكن جدت أن البيانات قد تم تأجيلها لمدة ساعة واحدة، إذا تجاوز التأخير البيانات عتبة مجموعة، والتنبيه.
مستوى البلمرة، يمكن أن تفعل أشياء كثيرة، مثل تصفية تفرد المفتاح الأساسي، بيانات دقيقة ولإعادة ازهر لتحسين الوزن يمكن أن تتحقق. على سبيل المثال، عندما تتطلب الصفقة بيانات دقيقة جدا، وجميع البيانات اللازمة لدقيقة دي الازدواجية، مرة واحدة تحدث مصدر البيانات التلوث، ونحن بحاجة لتكرار البيانات المفقودة.
بلوم هو وزن البيانات لتدفق واحد والأشعة فوق البنفسجية ومثل للتسجيل في معدل تدفق بدقة عالية جدا لا يشترط لإعادة استخدام ووضع المشهد، البيانات إلغاء البيانات المكررة بلوم تتكون أساسا عن طريق مجموعة بيانات التجزئة، عندما عندما تكون البيانات الجديدة التي سيتم الحكم عليها من خلال قيمة التجزئة لها، وإذا كانت قيمة التجزئة موجود بالفعل، فهذا يعني أن البيانات قد تم وضعها في داخل البيانات. قد تكون النتائج حكم صحيح، ولكن احتمال الخطأ هو منخفض نسبيا، والآخر عند تحديد البيانات الجديدة ليس جمع البيانات من خلالها قيمة التجزئة دقيقة جدا.
البيانات النهائية لنتائج استخدام آلية النسخ الاحتياطي. لأن حساب تدفق التجهيز قد توقف، على سبيل المثال بسبب عدم كفاية الموارد سيقتل عملية، بعد أن يتم قتل هذه العملية سوف تحتاج إلى إعادة تشغيل هذه العملية، إعادة تشغيل عندما تحتاج إلى إعادة العد. في بعض الأحيان يتم تخزين نتائج المتوسطة الضرورية في تخزين داخل هيكل، في وقت استئناف البرنامج يمكن قراءة نتائج هذه الحسابات الوسيطة، وهي آلية النسخ الاحتياطي. لآلية TTL ذكرت للتو بيانات المرور علي بابا هو كبير جدا، عندما وقع انقطاع، فمن الضروري حساب بعض النتائج، وفقا لخصائص أعمالهم تكون هناك فترة معينة من البيانات الأخيرة مؤقتا، إن لم يكن مجموعة TTL، ذاكرة بالتأكيد سوف يكون رنين ورطتها، ووضع TTL يعتمد على أعمالهم.
مهام الحوسبة في تحسين الوقت الحقيقي
هناك الكثير من الحوسبة المهام في الوقت الحقيقي الأمثل التدابير الممكنة عمليا، والإجراء الأول هو تحسين الاستخدام الرشيد التخزين المؤقت آليات للحد من عدد من مكتبة القراءة والكتابة. ذاكرة الكمبيوتر لقراءة أو الكتابة من سرعة سريعة نسبيا، فإنه من الممكن وضع البيانات الأكثر استخداما في داخل الذاكرة، ولذلك فمن الممكن لتحسين الإنتاجية.
المقياس الثاني هو لتحسين الحوسبة وحدة التوحيد، وخفض مستوى الطوبوغرافية. طوبولوجيا في بعض الأحيان تدفق حساب معقد جدا ومعقدة طوبولوجيا أعمق الهرمي، وأدائها هو أيضا أسوأ من ذلك، لأن كل عقدة ينقل البيانات أثناء حاجة أساسية للذهاب من خلال تسلسل وإلغاء التسلسل العملية، هذه العملية تستغرق وقتا طويلا وحدة المعالجة المركزية للغاية. إذا نحن يمكن أن تقلل من مستوى طوبولوجيا، وسوف نحاول أن دمج وحدة الحوسبة، من المؤكد أن تحسن الأداء العام للنظام بشكل كبير.
التدبير الثالث هو كائن الذاكرة المشتركة، وتجنب نسخ السلسلة. في معالجة البيانات الضخمة، فإن معظم الكائنات البيانات هي على شكل سلسلة، يمكن للكائنات حصة معقولة بين المواضيع المختلفة تقلل إلى حد كبير نسخة من السلسلة، لأن نسخة من السلسلة أداء استهلاك جدا، ولكن أيضا ان يلتفتوا الى الاستخدام غير الرشيد للذاكرة مشتركة سعة الذاكرة الكائن.
المقياس الرابع هو استراتيجية الموارد الحصرية والمشتركة. وتجمع العام للموارد المشتركة في عدد من الأجهزة المتاحة للالشفعة أكثر من مهمة واحدة، إذا وعندما مهمة إدارة الوقت، 80 من الوقت في نهب الموارد، ثم تحتاج إلى النظر عما إذا كانت الموارد المخصصة لما يكفي المهمة. وبطبيعة الحال، إذا كان يتم تخصيص المهام لكل مورد خاص، فإن التكلفة ستكون عالية جدا، لذلك هذه الحاجة نقطة ليكون وزنه على أساس مستوى الأولوية المهمة.
الاستراتيجية الأخيرة هي لوزن الدفعة المقدمة والكمون المنخفض. للدفعة المقدمة، وقاعدة بيانات MySQL مثل هذا في كثير من الأحيان بعض استراتيجيات التحسين، مثل هذه الاستراتيجية يفترض في الواقع إلى العمل معا لتجميع كل المقدمة بعد الدفعة المقدمة، مثل هذا النهج يمكن توفير الوقت، والحد من الشبكة القراءة والكتابة، ولكن أيضا لديه عيب، فمن سوف يكون هذا التأخير عالية جدا. مهام مثل الوقت الحقيقي يتدفقون الحوسبة، تدفق البيانات عندما لم يتغير تدفق من المنبع إلى المصب، مثل الحاجة لحفظ البيانات إلى حد معين ثم تقديمها، وغالبا ما تجد أن البيانات المصب، ومن ثم يجب أن تنتظر حتى يتم كتابة البيانات، والإرادة المصب يشعر لتغيير البيانات، حتى في هذه الحالة مفاضلة، بحيث في النهاية إلى انخفاض الكمون أكبر أو الإنتاجية.
الضمانات
حماية وصلة البيانات
ثم سهم كيفية حماية الاستقرار وسائل الإعلام من وجهة نظر وصلة البيانات على الشاشة الكبيرة الضمانات.
رابط معالجة البيانات في الوقت الحقيقي كله منذ فترة طويلة جدا، وتحسب من مزامنة البيانات إلى البيانات، وتخزين البيانات، ومن ثم إلى خدمات البيانات النهائية، التي هي جزء من أي منتصف قليلا من مشكلة يمكن أن تؤدي إلى الأرقام النهائية لا تتغير، ليعلم الجميع أننا نعيش مشاكل البيانات.
ولكن في الحوسبة الموزعة، فشل العقدة واحد هو القاعدة، عندما الشاشة الكبيرة الحية هو أكثر وضوحا. لذلك، لضمان البيانات في الوقت الحقيقي، والحاجة لبناء متعدد الوصلات العملية برمتها، بحيث متعددة غرفة الانعاش حتى الكارثة موقع التعافي من الكوارث. عندما وصلة من المشاكل، ويمكن أن يكون المفتاح لالتحول إلى الارتباط الفراغ، مثل تكوين مركز FIG قد يكون الإجراء دفع رابط التبديل. عندما خطأ ارتباط أو تأخير الوقت واسع، يمكن تكوين المركزي كشف عن مشاكل الارتباط، وهذا يمكن أن يكون الوقت بسرعة كبيرة تحول انتقال يرتبط ملف تكوين دفعة، فإن ملف التكوين أن يكون سريعا جدا إرسالها إلى خدمة البيانات المصب البيانات خدمة المصب بشفافية إلى الوضع الكشف عن بعد التحول إلى وصلة جديدة، حتى أن منتجات البيانات المصب وينظر تماما. هذا هو المهم جدا التبديل حماية رابط دفع.
محرك خدمة البيانات: OneService
OneService محرك خدمة البيانات بابا خدمات البيانات والمنتجات المتقدمة منتجاتها الخاصة. ذكرت من قبل في كثير من الأحيان لم تقدم البيانات مباشرة إلى الجانب التجاري أو الوصول إلى البيانات المصب، يجب أن يمر OneService الخدمات. على الرغم من أن هذه الخدمة سوف الاستفادة من البيانات المصب أنها ليست مريحة جدا، ولكن أيضا مزايا واضحة جدا، هو القدرة على حماية التحول لأن قاعدة البيانات أو قاعدة بيانات التغييرات التي أحدثتها، ويمكن تحقيق الشفافية إلى المصب.
OneService تشمل الخدمات الثلاث المنتجات، وأول واحد هو SmartDQ، هو بسيط محرك الاستعلام البيانات، من خلال مجموعة من الجدول المادي والمنطقي للجدول ملزم لمصادر بيانات محددة داخل الدرع المحرك. للمستخدمين ببساطة تكوين منصة تستطيع أن تفعل ما لا يعتمد الجدول المصدر على أي رمز التطبيق يمكن الحصول على الخدمة واجهة، الذي هو في نهاية المطاف في استخدام واجهة البيانات لا حاجة للقلق حول ما هي البيانات التي يتم تخزينها في مكتبة المادية، ما دام يمكن تكوين الطلب، OneService بيانات مختلفة يمكن أيضا أن تقسم معا لتوفير الوصول إلى البيانات غير المتجانسة.
والثاني هو ليغو، بل هو محرك الاستعلام البيانات المعقدة، التي تقوم حاليا تعريف المستخدم بابا، صورة المستخدم بحيث معالجة البيانات المستند إلى استعلام معقدة، الاستعلام البيانات في كثير من الأحيان الرسوم البيانية المعقدة مستندا في ذلك على الاستفسارات.
والثالث هو iPush، خلافا للوضع القائم الأول سحب اثنين، iPush هو خدمة البيانات القائمة على دفع. ويوفر يستند تنسيق البيانات على JSONP أو شكل WebSocket، التي تنص على حركة المرور في الوقت الحقيقي أو خدمة دفع البيانات ذات الصلة المعاملة، وبطبيعة الحال، فإن تكلفة هذا النهج هو مرتفع نسبيا.
اختبار الإجهاد
وأخيرا، حصة الإجهاد وجه اختبار مزدوج 11: 00.
اختبار الإجهاد هو جزء مهم جدا، أجرينا اختبار التحمل 11 مرة في عام 2016. اختبار الإجهاد هناك نوعان من الاختبارات الهامة وعلاقات البيانات عن كثب، واحد هو قياس ضغط الفيضانات، والآخر هو قياس ضغط الظل.
الفيضانات قياس الضغط وقياس ضغط الظل هو بيئة الإنترنت، ولكنها أيضا مختلفة جدا. الفيضانات قياس الضغط مثل سد يصل توفير المياه لديها نفسه، هناك عملية لخط الانتاج المقاطعة، مثل جميع البيانات المتراكمة لعدة ساعات أو أيام، كل صدر في مرحلة ما، وذلك ل التناظرية ذروة التدفق المزدوج لل11 حالة. وهذا ينطبق على البيانات داخل البيانات، ويقول على سبيل المثال، فإن الاشتراك في هذه النقطة في الوقت الحقيقي البيانات المنقولة بضع ساعات قبل أو منذ بضعة أيام، بحيث يكون لكل مجموعة من البيانات للقراءة أكثر من أكبر حساب في الوقت الحقيقي من الضغوط ولكن هناك خلل في قياس ضغط الفيضانات الخدمة عبر الإنترنت قبل أن يتم إيقاف هذه في الواقع، وسيكون للمستخدمين لديهم تصور واضح جدا.
بالإضافة إلى البيانات قياس الضغط لقياس الضغط وهناك بعض المنتجات، مثل الضغط قياس البيانات الشاشة الكبيرة. عندما الشاشة الكبيرة الضغط اختبار البيانات، سنقوم بجمع URL عملية قراءة البيانات الشاشة الكبيرة، وتشغيل حركة المرور إلى هذه URL بواسطة منصات قياس الضغط، مثل تعيين QPS إلى 10000، يمكنك اتباع 10000 QPS تستهدف قياس الضغط. وتشمل المنتجات قياس الضغط أيضا قياس ضغط الأمامية، الذي يشبه تماما عن القصة عام 2014، الضغط يقاس على المنتجات الأمامية مثل اختبار داخل المتصفح ثماني ساعات على الأقل، ومن ثم تحليل الوضع من الذاكرة وحدة المعالجة المركزية في هذا ثماني ساعات لتحديد ما إذا كانت الواجهة الأمامية للتسرب الذاكرة.
التحدي والاستجابة المقبل
وأخيرا، لتبادل احتياجاتنا الخطوة التالية ينبغي القيام به. من هذا العام، ونحن نشعر الأمثل في الوقت الحقيقي حققت في نهاية المطاف، إذا تضاعف حركة المستقبل أبعد من ذلك، كيف يجب أن تتعامل معها منصة الحوسبة؟ وقد نما حجم الكتلة بالكامل إلى الحد الأقصى، لذلك لا تفعل شيئا لتغيير بنية، لا يمكن أن يكون صمدت الذروة المرورية المستقبل.
لذلك بدأنا مقدمة من تدفق البيانات، اباتشي بن والأمل بأن المستقبل سوف تكون قادرة على تبديل محرك حساب التدفق إلى JStorm خارج المجرة، Flink وسبارك وهلم جرا. بعض عظيم الإنتاجية الحوسبة المحرك ولكن الكمون عالية، على الرغم من بعض ليست كبيرة جدا ولكنها منخفضة الكمون الإنتاجية، تحتاج إلى اختيار خصائص مختلفة محرك الحساب على أساس الخصائص الأعمال، حتى أن فترة السنتين المقبلة 11 إلى التغلب على مقياس تدفق مؤقتا الحوسبة محرك مجموعات السؤال. وعلاوة على ذلك، لأن الحسابات تدفق القيام فقط عدد قليل من الطلاب، ولكن لتواجه المجموعة بأكملها في الوقت الحقيقي الحوسبة احتياجات العمل، ويمكن القول أن تكون غير كافية. ذلك أن المزيد من المهندسين R & D للانضمام إلى صفوف الوقت الحقيقي الجري يحسب لتكون قادرة على تخفيف عبء العمل على كل شخص، ولكن عتبة ليتم احتساب تدفق مرتفع جدا، وخصوصا 11 تحديا مزدوجا يتمثل في وسائل الاعلام الشاشة الكبيرة تتطلب عالية جدا، لذلك فمن الضروري في المنبع المنتج سيتم تطويرها من قبل تخفيض العتبة، في العام القادم نخطط لتطوير تدفق تطوير جعلت المنتج خدمة مفتوحة، تيار المهام التي تم إنشاؤها بواسطة سحب من الطريق التوراة الحوسبة، مع ضمان أداء المهام تيار الحوسبة بأكملها.
وأخيرا، تخبرنا عن قسم تكنولوجيا المعلومات والمنتجات بأكملها، لدينا قسم للقيام شيء مهم جدا هو بناء مجموعة من البيانات من الأصول العالمية. علي بابا النظام البيئي الأعمال كلها ضخمة، قبل أن فقط أنها لم بناء البيانات المورد الكهرباء، في الواقع، لا يوجد المزيد من البيانات من الكثير من الخدمات المورد الكهرباء، والحاجة إلى البيانات والبيانات التجارية المورد الكهرباء لهذه الخدمات التكامل العضوي، وبناء البيانات الكبيرة العالمية الأصول الخدمات. وهذه الخدمات بناء فقط لتقديم خدمة أفضل الأعمال، وكذلك صغيرين وسائل الإعلام. وبالإضافة إلى البيانات من بناء الأصول على المستوى العالمي، فضلا عن منتجاتنا وموظفي خدمات رجال الأعمال، ومنصة البيانات اثنين الصغيرة، والفوانيس، والرصد الفلكي والخدمات الإعلامية الشاشة الكبيرة خدمات البيانات وسائل الاعلام.
الكاتب: لوه JINPENG (حيازة ستة) وكبار الخبراء الفنيين بابا تكنولوجيا البيانات والنواتج الانقسام.
المحرر: المال الفجر، المخاوف مجال الهندسة المعمارية والخوارزميات للحصول على تغطية أو المساهمة يرجى qianshg@csdn.net البريد الإلكتروني، وإلا "مجموعة من كبار مهندس CSDN"، وهناك العديد من شركات الإنترنت المعروفة جيدا الماشية الكبيرة مهندس معماري، مهندس ترحيب زائد qianshuguangarch تطبيق قناة الصغرى في المجموعة، تلاحظ اسم الشركة + + وظائف.
