وفقا لهذه المادة التي تم جمعها من عروض الفيديو وPPT.
وسيتم تقاسم هذه المقالة حول المجالات الأربعة التالية:
ورقة إرادة هذا لفترة وجيزة OpenTSDB، فضلا عن المشاكل المشتركة التي تواجهها عند استخدام OpenTSDB، فإننا سوف تركز على التحسينات التي أدخلت فيما يتعلق النسخة المطابقة من المجتمع OpenTSDB، سحابة OpenTSDB أخيرا، عدة أنماط الاستخدام.
هنا هو أن يوصي تصميمي الخاص البيانات الكبيرة تعلم مجموعة تداول 740041381، ومجموعة كبيرة تطوير العلوم البيانات، وكبيرة إذا كنت تعلم، وأنت موضع ترحيب للانضمام سلسلة صغيرة، ونحن جميعا تطوير برامج الأطراف، من وقت لآخر لحصة الجاف (فقط كبيرة ذات الصلة البيانات وتطوير البرمجيات)، بما في ذلك نسخة من أحدث البيانات الكبيرة والبيانات المتقدمة تطوير متقدمة بالطبع بلدي النوع الخاص من ترحيب متقدمة ويريدون الخوض في البيانات الكبيرة شركاء صغير للانضمام.
A، إدخال OpenTSDB
OpenTSDB HBase هي قاعدة بيانات شيدت على أساس توقيت، توقيت البيانات لديه الخصائص التالية:
(1) نوع بيانات رقمية، وتستخدم عادة في الشاشة.
(2) البيانات عادة في الترتيب الزمني وصوله.
وإلى حد كبير لا المحدثة (3) البيانات.
(4) المزيد من الكتابة والقراءة أقل. حاليا للمستخدمين لنشر بنية قاعدة بيانات تسلسل اختيارهم على علي سحابة عادة بعد SLB على شن على OpenTSDB عدد معين من نشرها، وأخيرا الجزء السفلي المرتبطة HBase.
OpenTSDB ديك البيانات سلسلة التعاريف التالية، وعملية تخزين البيانات الأولى سيتم إنشاء متري، ويمكن أن يفهم على أنه رصد للمجموعة، ويتم تحديد المزيد من البيانات عن طريق الكلمات، متري + مزيج ممثل الكلمات خط زمنية محددة، في كل مرة المخازن على الانترنت وافر من نقاط البيانات، حيث تشير البيانات هي عبارة عن مجموعة من الوقت وتضم قيمة ثنائية، في كل مرة سوف تستمر في خط لبيانات إنتاج والكتابة. عن دقة الوقت، دعم OpenTSDB وقرار الوقت ميلي ثانية واحدة الثاني، الطابع الزمني مكتوب في البيانات إذا نقطة البيانات هو 10 بت، ودقة هي المرة الثانية، إذا كان الطابع الزمني المكتوب 13، في الوقت الدقة ميلي ثانية. بعد ذلك، موجز هيكل الذاكرة OpenTSDB، لكتابة متري = host.cpu، الطابع الزمني = 1552643656، والعلامات = {المنطقة: هانغتشو، مضيفة: 30،43،111،255}، القيمة = 100 كمثال، هذه البيانات يصل HBase طبقة التخزين بعد التحويل كما يلي، حيث عند تخزين البيانات متري = host.cpu، الذي تم تعيينه إلى UID فريد المخزنة. من أجل الحد من مساحة التخزين، ويتم تخزين كل مرة خط سطر واحد كل ساعة. وذلك لالطابع الزمني = 1552643656، تحويل البيانات في الثانية بأكملها بدءا ساعة، والشيء نفسه بالنسبة للمعلومات في العلامات سوف يتم تعيينها إلى تخزين UID فريدة من نوعها. عند هذه النقطة سوف RowKey الانتهاء التخزين، لقسم العمود، سيتم تسجيل جزء كامل ووقت البدء ساعات تعويض، وقيمة قيمة.
بعد ذلك، RowKey وتنسيق بيانات العمود في مزيد من التفاصيل، في الواقع، من أجل تجنب نفس متري كتبت إلى القضايا الساخنة من خط الزمن مما يؤدي إلى الكثير من القطع، بت واحد من البيانات أمام متري سيتم المملحة الملح، ل كسر الساخن متري نفس الخط في أوقات مختلفة. متري والوسم في حين أن طول الافتراضي هو ثلاثة بايت، أي بحد أقصى 16،777،216 UID المخصصة، وذلك لمنع مشكلة UID المفرط، عن طريق تعديل معايير المطابقة (tsd.storage.uid.width.metric، tsd.storage .uid.width.tagk، tsd.storage.uid.width.tagv) إلى تعديل، ولكن تجدر الإشارة إلى أن المعلمات لا يمكن تعديل مرة أخرى بعد مجموعة تم البيانات كتابة. شكل عمود من جزء البيانات، والمرحلة الثانية وتنسيق البيانات ميلي ثانية واحدة هي مختلفة، ميلي ثانية واحدة البيانات يتطلب مساحة أكبر للتخزين،
ثانيا، المشاكل المشتركة من OpenTSDB
بعد ذلك تأتي التعليمات OpenTSDB، المشار إليها أعلاه، وذلك لتجنب نفس الجدول الزمني متري لديهم الكثير من القضايا الساخنة بسبب الكتابة، وتمرير البيانات إلى الملح الساخن قسط من الراحة، ولكن بعد تفكك الإرادة ومتري في الدلاء متعددة في هذا الوقت عند تنفيذ استعلام، الاستعلام وكم وكم دلاء تكون طلبات المتزامنة إلى HBase، وفي هذه الحالة سيكون هناك بعض المقايضات وكتابة الاستعلامات المتزامنة الساخنة، والكثير من المتزامنة درجة HBase فمن السهل لتفجير، فمن الضروري للنظر في حجم الأعمال الفعلي للHBase لتعيين المعلمات. بعد الشيء نفسه على المذكرة، وهذا هو مجموعة لكتابة البيانات لا يمكن تعديلها.
والمشكلة الثانية هي الكلمات الديكارتي منتج يؤثر الاستعلام الكفاءة، على افتراض مراقبة mertric الجهاز CPU = حالة host.cpu من ثلاثة العلامة، هي غرفة المحرك منطقة منطقة، المضيف اسم المضيف، عدد وحدة المعالجة المركزية الاساسية وحيدات النوى. وكان عدد ثلاثة العلامة 10،100،8. ثم mertric سيحتوي 101008 = 8000 خط الزمن، إذا حاجة الآن إلى الاستعلام عن البيانات في جدول زمني، ولكنها تحتاج أيضا للوصول إلى البيانات 8000 الجدول الزمني للحصول على النتائج المرجوة، والسبب الأساسي هو أن العلامة ليست مفهرسة والحلول المشتركة الحالية هناك نوعان، يظهر واحد إلى العلامة قبل RowKey، ليتم فهرستها، والآخر هو في جزء من فسيفساء RowKey بطاقة المعلومات للحد من المنتج الديكارتي. OpenTSDB هناك بعض الاستفسارات الأخرى، مثل هذه البيانات لا يتدفقون، وتشير البيانات إلى كل صالح في الذاكرة TSDB تبدأ بعد عملية البلمرة، وسهلة OOM، وسيتم تعيين فقط استعلام كبيرة في أن يعامل على TSDB ، لم توزع تجهيز؛ الاستعلام حتى ولو بعد 15 دقيقة فقط من البيانات، ولكن تحتاج أيضا إلى اجتياز البيانات من ساعة واحدة.
المشكلة الثالثة هي OpenTSDB مشكلة ضغط أن بيت القصيد من ضغط لتوليد تأثير حركة المرور على HBase. لتوفير مساحة التخزين، وKV الاصطناعية OpenTSDB تكون منفصلة كما KV كبير، للحد من الازدواجية المجال، لذلك سيكون هناك متسع من الوقت لقراءة القصيد - ضغط - كتابة - المنتجات حذف سلسلة من العمليات، فإن هذه العمليات بدأت HBase عدد كبير من طلبات IO، مما أدى إلى فترة طويلة من أوقات الذروة المرورية، فمن السهل أن HBase ورطتها. فمن الضروري لمقاومة ارتفاع حجم آلة الذروة.
ثلاثة، OpenTSDB ضغط الأمثل
في الواقع، ما اذا كنا نستطيع القضاء على قمم حركة المرور، يمكن أن يقلل كثيرا من تكاليف التشغيل، وتحسين استقرار النظام. كل خطوة البيانات التقليدية ضغط البيانات هي قراءة بداية ساعة HBase مكتوبة، ثم قراءة البيانات المضغوطة في OpenTSDB، والبيانات المضغوطة هو مكتوب HBase جيدة، ومشاركة البيانات من HBase العمر لإزالة، ويمكن أن ينظر إلى البيانات المضغوطة في وجود عدد كبير من الطلب OpenTSDB IO لHBase. لحل هذه المشكلة، والحاجة لتعظيم الاستفادة من ضغط OpenTSDB تنفيذ محددة OpenTSDB فكرة أن تنزل الى القاع من HBase عملية الضغط لHBaes في حد ذاته سوف قراءة وكتابة البيانات عندما تكون البيانات المضغوط، والبيانات في هذا الوقت المعالجة، HBase ضغط مضاعفة تدفق العملية، وسيتم تنفيذ KV وفقا للاندماج HFILE عندما بدأت OpenTSDB تنسيق البيانات دمج، يمكن تجنبها OpenTSDB من HBase عدد كبير من طلبات IO، وبالتالي تجنب قمم حركة المرور.
رابعا، أنماط استخدام سحابة OpenTSDB
وأخيرا، تخبرنا عن سحابة OpenTSDB استخدام عدة وسائط، واحد هو وضع خاص، وهذا هو مستقلة تماما عن نشر قاعدة بيانات توقيت، توقيت لحركة المرور الكثيفة، ونشر فصل المطلوبة.
والآخر هو وضع مشترك، يمكنك إعادة استخدام بالفعل بشراء سحابة HBase، توقيت للشركات الصغيرة، أو استخدام الموارد HBase سحابة صغيرة، وتوفير التكاليف إلى حد ما.
