مقدمة

مؤتمر تكنولوجيا HBaseCon من قبل أباتشي HBase مسؤول المنظمة، والهدف الرئيسي هو حصة وتبادل مفتوحة المصدر HBase توزيع تخزين استخدام البيانات الكبيرة والتنمية، فضلا عن التنمية. أطلقت HBaseCon في عام 2012. عادة HBaseCon مكان في الولايات المتحدة، وهذا هو HBaseCon مرة الأولى التي عقدت في آسيا، واسمه أباتشي HBaseCon 2017Asia. واختيار مكان الاجتماع فى شنتشن، الصين، ولكن أيضا بما فيه الكفاية لتظهر في المساهمة البارزة للصين لHBase المستوى الشعبي والمطورين الصينيين إلى المجتمع HBase فعلت.

أباتشي HBase هو الموزعة، قاعدة بيانات قابلة للتطوير على أساس مفتاح ذات القيمة أباتشي هدوب بنيت، والذي يوفر بيانات عالية الأداء للقراءة عشوائية والكتابة في الخلفية الكبيرة. وبما أن الدراسة الأولى، وذلك باستخدام تكنولوجيا HBase وتطوير الثانوية من الشركات الصينية، وعلي بابا منذ عام 2010 وقد تم استخدام HBase، بعد ما يقرب من سبع سنوات من التنمية، يستخدم الآن HBase إلى الأعمال مخزن يحتوي على أكثر من 1000+، مع عشرات الآلاف من الوحدات HBase حجم الكتلة، وصلت البيانات المخزنة في HBase على مستوى PB.

التمسك بروح المشاركة ومفتوحة المصدر، والخبرة العملية HBase علي والاستمرار في تحسين المجتمع ردود الفعل HBase، مثل دلو مخبأ وظائف عكس المسح الضوئي، إلى تطوير التكنولوجيا HBase جلبت آثار بعيدة المدى. في نفس الوقت، كما أن المجتمع HBase قامت بتدريب اثنين PMC واثنين من المتعهد، والتأثير علي في المجتمع HBase هو واضح. ثم هذا HBaseCon 2017 آسيا. أرسلت علي لPMC HBase واثنين من المتعهد، فضلا عن اثنين من تطوير HBase العليا، أن يعطينا الجافة الكامل.

علي سلسلة البضائع الجافة

A تكرار متزامن قوي

برنامج الاستعداد HBase تزامن الكتلة التقليدية باستخدام النسخ المتزامنة، الأمر الذي يجعل سوف تكون البيانات قصيرة بين البيانات المجموعة النشطة والاستعداد ليست متزامن. التعافي من الكوارث للمستخدمين، وكان لإعطاء نموذج موحد قوي. اتفاق قوي لا يمكن التخلي عن المستخدم الدلالي يجب أن يكتب مجموعته الخاصة من منطق معقدة لقراءة وكتابة البيانات لضمان الاتساق بين الكتلة السيد والعبد. علي HBase خبراء فنيين يوما الرصاص على وHBaseCon آسيا تعطينا قوية حلول النسخ متزامن.

ووفقا لقيادة أيام عرضه، يستخدم برنامج قوي تكرار متزامن الكتابة الاستعداد والتكنولوجيا RemoteLog والمتزامنة، بحيث فيما يتعلق غير متزامن تكرار تكرار متزامن فقط بانخفاض 2 في بعض الحالات شبكة المدينة. عندما يصل الطلب معرض الرئيسي، وكتابة في نفس الوقت إلى المعدات المكتبة المحلية، يصل متزامن الحاجة قاعدة بيانات الكتابة الاستعداد لا تأخذ مسار الكتابة كاملة، ولكن كتابة مباشرة RemoteLog، والحد من النفقات العامة المرتبطة مع تأخير الكتابة متزامن. متزامن إضافة رابط، هناك مجموعة من البيانات رابط غير متزامن من المرحلة الابتدائية إلى المكتبة قاعدة البيانات الاحتياطية، فإنه ليس من الضروري في ظل الظروف العادية RemoteLog بيانات التشغيل لقاعدة البيانات الاحتياطية، وقاعدة البيانات الأولية غير متوفرة في حالة الخدمات، إلا أن تشغيل RemoteLog أن البيانات لم يتم تكرارها بشكل غير متزامن إلى تزامن ارتباط قاعدة البيانات الاحتياطية، والنسخ غير المتزامن للبيانات فقط بضع ثوان تأخير، والتي يمكن ضمان التحول الكامل من تجمع أهبة الاستعداد لقاعدة البيانات الرئيسية في وقت قصير جدا.

تسبب هذا البرنامج في مجال الجمعية العامة رد فعل قوي، ويقول العديد من المستخدمين HBase هذا من ميزات الذي طال انتظاره، على أمل لاستخدامها في أقرب وقت ممكن. يوم استشهد يشير إلى أن وظيفة يقوم حاليا على تحقيق داخلي علي فرع والتشغيل وتحسين، فإن مستقبل رد الجميل للمجتمع.

اثنين، SQL على HBase

علي خدمة HBase لا يزال عدد كبير من المستخدمين الداخليين والمستخدمين الجدد في الحصول. ولكن باستخدام المستخدمين HBase جزء كبير من مطلع التقليدي لقاعدة البيانات SQL، HBase API في تصميم rowkey واستخدام عادات بالنسبة لهم ليست ودية. للحد من هؤلاء المستخدمين التحول إلى استخدام عتبة، وعرض علي طبقة SQL على HBase. HBase مهندس التنمية كبار من أيام علي مو، ونحن يشرح بالتفصيل كيفية المرح SQL على HBase.

بواسطة الأمثل، الآن استخدام SQL إلى الوصول HBase وAPI الأصلي في علي ديه تقريبا نفس السرعة، ولكن أيضا في بناء جملة SQL والإبداع ودعم متعدد نسخة عن الطابع الزمني HBase NoSQL أن لديه وظيفة.

وبالإضافة إلى ذلك، على HBase يدعم محلية عالمية المؤشر الثانوي والمؤشر الثانوي. بحيث يمكن للمستخدم أن يقوم على أساس مؤشر بأعمدة، يبسط تصميم الخدمة، وطلب لتعزيز الكفاءة وتقليل التكلفة.

الثالثة، بين الكتلة نسخة التقسيم

على HBase عادة ما يحمل كميات هائلة من البيانات، وفي عملية الإنتاج اليومية، جنبا إلى جنب مع أسباب التخطيط وتطوير الأعمال مركز بيانات الشركة، والتي غالبا ما تحتاج إلى نقل كميات ضخمة من البيانات، التي عادة ما تكون لتشغيل وصيانة مشكلة مزعجة للغاية . HBase المجتمع المتعهد تدرس من علي، علي المشتركة عبر الكواليس نسخة التقسيم العنقودية والحلول التي أثبتت جدواها.

تدرس لأول مرة الحاجة المشتركة لنسخ البيانات داخليا مشاهد علي، مثل مركز البيانات الجديد، مجموعة HBase باعتباره الاحتياجات الكاملة للانتقال إلى غرفة جديدة؛ والبيانات الإضافية مثل مجموعة HBase في مختلف تزامن الغرف، وتكرار يمكن استخدامها لحل، ولكن لبيانات المخزون، لا يوجد حل أكثر كفاءة؛ وكذلك مشهد شيوعا هو استعادة البيانات، والنسخ الاحتياطي واستعادة أداة تقليدية HBase لا توجد طريقة للسيطرة على مجموعة من استعادة البيانات.

لذلك، علي وضع نسخ البيانات المدى ميزات المدمج في HBase، وتقدم هناك بسيطة وفعالة، ويمكن تلقائيا نسخ البيانات تجهيز ظائف حالات الخطأ والتعافي من الكوارث مختلف، واستخدام هذه الميزة لنسخ جدول لمجموعة 200TB آخر، الوقت اللازم أقل من خمس ساعات.

الرابع، وصلة قراءة الأمثل

وقد فعلت استخدام علي HBase في عملية HBase نفسها الكثير من القراءة والكتابة وتحسين الأداء. HBase المجتمع من PMC علي وللغاية المتعهد اماتيراسو معا لتبادل بعض النتائج في هذا الصدد أدلى بها علي.

1، واستخدام HBase Netty الخادم RPC الأصلي بديل، HBaseRPC يعزز إلى حد كبير قدرة الإنتاجية، وتقليل التأخير.

2، وإدخال تنسيق الترميز HFileBlock الجديد، من اجل البحث في البحث الثنائي، وتعزيز قدرة يقرأ HBase عشوائي

3، وتقسيم الارتباط الكتابة، والإفراج عن موارد معالج سدت، وتحسين الكتابة HBase الإنتاجية القدرات؛

هذه التحسينات التقنية الأسود من علي، وقدرة HBase وأكثر على مستوى جديد. هذه التحسينات والميزات والآن رد الجميل للمجتمع، كافة المستخدمين HBase الحصول على هذه المكافآت التقنيات في النسخة الجديدة لاستخدامها.

ملخص

بالإضافة إلى علي تحقيق تبادل التكنولوجيا، جلبت من موقع العديد من الشركات الأخرى التحسينات واستخدام خبراتهم لجعل HBase. على سبيل المثال، أدرك الدخن AsyncClient، لملء الفراغ HBase لا API الأصلي من غير المتزامن، kubernetes استخدام تعرف التلقائي تقريبا حجم التوسع العنقودية HBase الحد، والمرونة في التكيف مع التطور السريع للأعمال والمتغيرة باستمرار، FHN الموارد العزلة محو الأمية لتمكين أكثر استقرارا قرب خط التحقيق وهلم جرا.

وبالإضافة إلى هذه التقنيات مشاركة بعض الضوء المذكورة أعلاه، فإن الجمعية العامة كل HBaseCon الجلسة هي مثيرة للغاية، تعطينا وليمة بعد اصطدام التفكير آخر. حضر أباتشي HBase "الرأس" مايكل المكدس الاجتماع أيضا، وعقد مائدة مستديرة مع المطورين HBase لمناقشة وضع ومستقبل HBase.

وHBaseCon مستوى شعبية تظهر مباشرة على الشركات المحلية والمطورين لHBase الحماس والتوقعات. المستخدمين HBaseCon الجمعية HBase ليس فقط لجلب الطازجة التقدم التقني والتبادل، واستيعاب تجربة متقدمة من الشركات الأخرى، بل أصبح HBase جسرا بين المستخدمين والمطورين، مما يسمح للمطورين لرؤية ديناميات الصناعة، واحتياجات المستخدمين، وجنبا إلى جنب العمل لخلق مسرحية HBase أسهل للاستخدام، وأكثر أداء وأكثر استقرارا تخزين البيانات الكبيرة. الجمعية HBaseCon هو بداية جيدة، ونتوقع HBaseCon آسيا أفضل وأفضل، تعطينا أكثر جافة!

كتب في الماضي

إذا كنت كبير لتخزين البيانات على الانترنت، والفائدة HBase، أو ترغب في الاستفادة بشكل أفضل من HBase، لتطوير المزيد من المنتجات NB، يرجى الاتصال بي (تدرس، zhengyan.ywl @ alibaba-inc.com)، وتبادل مع بعضها البعض تعلم!

نبذة عن الكاتب

يانغ ون لونغ، تدرس لقب، بابا التخزين شعبة تكنولوجيا وكبار R & D، HBase مفتوحة المصدر المتعهد المجتمع. مفتوحة المصدر هواة التكنولوجيا، وتصميم نظام التخزين الموزعة، ممارسة لديها ثروة من الخبرة في الإنتاج على نطاق واسع.