الكاتب Shuhuangdongxu

شو محرر تينا

"

"سيتم تشغيل كل شيء في سحابة". سحابة عصر قد وصلت، وتركز هذه المقالة على رأس سحابة مزود الخدمة السحابية مقدمي الخدمات سحابة بنية قاعدة بيانات وراء هذا البرنامج، وكذلك بعض تقدما كبيرا لسحابة ذات الصلة قاعدة بيانات المؤلف صناعة التكنولوجيا لوحظ في الآونة الأخيرة، والقراء أمل كسب شيء .

الآن المزيد والمزيد من عمليات الصيانة الخاصة بها من البنية التحتية إلى سحابة العامة (أو خاصة)، وفوائد أيضا وغني عن القول، والحد بشكل كبير من تكلفة التشغيل والصيانة IAAS طبقة، مستوى قاعدة البيانات، للماضي DBA يتطلب خلفية قوية من أجل الحصول على ما توسع مرونة من توافر عمل كبير، والخدمات السحابية الآن الأساسية هي أكثر أو أقل يقدم خدمة مماثلة.

الأمازون RDS

في الواقع، عندما يتعلق الأمر سحابة قاعدة البيانات على السحابة العامة، فإنه ينبغي أولا الأمازون RDS، يجب أن يطلق سراحه في أوائل عام 2009، والأمازون RDS العمارة هي مماثلة لبناء طبقة وسطى (من جهة نظر معمارية، علي سحابة RDS على قاعدة البيانات الأساسية، سحابة أخرى UCloud RDS RDS وغيرها من الخدمات الأساسية متشابهة، والمنافسة في التفاصيل وتنفيذ التنوع الوظيفي).

الطبقة الوسطى هي المسؤولة عن توجيه طلبات SQL العميل إلى عقدة تخزين قاعدة البيانات الفعلية، وذلك لأن نهاية الخدمة المطلوبة من خلال الوكيل طبقة وسيطة، يمكن أن يكون هناك الكثير من تشغيل وصيانة مثيل قاعدة البيانات الأساسية، مثل النسخ الاحتياطي، يهاجر إلى قرص أكبر أو IO أكثر من الآلات الفعلية الحرة. هذه العمل بسبب خفية وراء طبقة المتوسطة، وطبقة رجال الأعمال قد يكون إلى حد كبير لا ينظرون، هذه الطبقة المتوسطة إضافية وبشكل كبير ببساطة توجيه طلب إلى الأمام، ويمكن توصيله إلى أنواع مختلفة من قاعدة البيانات الأساسية.

لذلك، في عام، RDS ستدعم ماي / سيكلسرفير / MariaDB ل/ كيو وقواعد البيانات الأخرى الشعبية الأساسية، من أجل التوافق مع الأساس أي خسارة، ولكن في حالة جيدة في هذا التصميم وكيل طبقة، وفقدان الأداء صغير نسبيا. مزيد من طبقة عزل طبقة المتوسطة التي يقوم عليها تجمع الموارد، لاستخدام والجدول الزمني للموارد يمكن أن تفعل الكثير من الأشياء.

للمثال بسيط، مثل بعض غير نشطة حتى يمكن جدولة معا RDS الحالات آلة المادية المشتركة، مثل الحاجة إلى إنشاء التوسع على الانترنت يحتاج فقط لنسخ قرص على جهاز أكبر، لا يمكن للطبقة وكيل إعادة توجيه طلبات، مثل يمكن وضع النسخ الاحتياطي للبيانات منتظمة على S3، كل هذه يمكن أن تكون شفافا بالنسبة للمستخدم.

ومع ذلك، فإن مثل هذا الهيكل أيضا عيوب واضحة: في جوهرها، هي بنية السيد والعبد واحدة لتكوين الجهاز المادية يتجاوز قدرة أقصى، وتحميل وحدة المعالجة المركزية، وفقدان المشهد IO ما يجب القيام به. وبما أن كمية التزامن البيانات الكثير من نمو الأعمال التجارية، وخصوصا في تطوير الإنترنت عبر الهاتف النقال، أصبحت قابلية غير محدودة حاجة مهمة جدا. بالطبع، بالنسبة للغالبية العظمى من كمية البيانات المطلوبة ليست كبيرة جدا، لا يوجد مستودع مثيل واحد للوصول المتزامنة عالية، RDS يزال مناسبا جدا.

الأمازون DynamoDB

لمشاكل التوسع الأفقي ذكرت للتو، وبعض المستخدمين أنها مؤلمة ولا حتى يقبل التخلي عن النموذج العلائقي وSQL. على سبيل المثال، بعض نموذج أعمال تطبيقات الإنترنت هو بسيط نسبيا، ولكن كمية هائلة من التوافق وحجم البيانات، والتعامل مع هذا الوضع، والأمازون DynamoDB تطويرها، وأفرج عنه خدمة DynamoDB سحابة في وقت مبكر من عام 2012. في الواقع، في وقت مبكر في الأبحاث المنشورة دينامو SOSP في عام 2007، فإن هذه الورقة التاريخية فجر مباشر على حركة NoSQL، لذلك شعرنا أن قاعدة البيانات يمكن أن تفعل ذلك.

دينامو خارج الخصائص الرئيسية للالتوسع الأفقي من خلال متعددة نسخة وتنفيذ (3 نسخ) توافر عالية، بالإضافة إلى تصميم API يمكن أن تدعم يقرأ تتفق في نهاية المطاف ويقرأ مع اتساق قوي، في نهاية المطاف قراءة متسقة يمكن أن يحسن القراءة الإنتاجية.

علما، مع ذلك، على الرغم من أن هناك DynamoDB قوية قراءة متناسقة، ولكن هنا تقليد قوي نقول إن الاتساق ليس في قاعدة البيانات ACID-C، وأنه لا يوجد مفهوم توقيت (فقط على مدار الساعة ناقلات)، للتعامل مع الصراع يمكن تسليم فقط على العميل، دينامو لا يعتمد المعاملات. لكن بالنسبة لبعض سيناريوهات الأعمال الخاصة، والتدرجية وتوافر هي الأكثر أهمية، ليس فقط القدرات، والإنتاجية العنقودية.

علي سحابة DRDS

ولكن كمية بيانات المستخدم التي RDS هو أيضا في النمو المستمر لمقدمي الخدمات السحابية لا يمكن مشاهدة هؤلاء المستخدمين على كمية كبيرة من البيانات التي RDS ستزول أو الحفاظ على كتلة قاعدة البيانات الخاصة بهم. لأن الذين لا يستطيعون ريفاكتور تماما رمز إلى أعلى NoSQL، وحقيقة الجدول الفرعي الفرعي مكتبة، للمطورين العمل هو شيء مؤلم جدا، في الألم غالبا ما يحتوي على فرص العمل.

على سبيل المثال، لتمديد برنامج RDS، وأنا قدمت اثنين نموذجية: الأول هو علي سحابة DRDS (ولكن يبدو أن علي سحابة إزالتها من قائمة المنتجات؟)، DRDS الواقع، والفكرة بسيطة جدا، بل هو أكثر من RDS خطوة صغيرة في سياسة توجيه تكوينها من قبل المستخدم في الطبقة المتوسطة RDS ذكرت للتو، هذا المستخدم قد تحدد أن بعض الأعمدة في الجدول كما عملية التجزئة مفتاح مثالا محددا وفقا لقواعد معينة التوجيه، قد يكون عمودي التخلص منها إلى نقاط مكتبة الاستراتيجية.

في الواقع، ويتم ذلك السلف DRDS تاوباو TDDL، ولكن في طبقة TDDL JDBC الأصلية، وسوف الآن أن يبنى في طبقة وكيل TDDL (قليلا مثل الشعور TDDL محشوة كوبار). ميزة هي أن الجدول الفرعي طبقة طلب وظيفة شبه مكتبة حزم، ولكن لا تزال أساسا برنامج الوسيطة، بالرغم من قدرتهم على القيام درجة معينة من بسيط SQL الأعمال متوافق.

بالنسبة لبعض الاستفسارات المعقدة والاستعلامات متعددة الأبعاد، عبر دعم الصفقة شارد محدودة. متوسط طبقة التوجيه وفهم SQL محدودة، لاستبدال مفتاح عملية التجزئة، DDL، والنسخ الاحتياطي هو شيء مزعج جدا. ولا حتى تحقيق أكثر من قاعدة بيانات بسيطة من تعقيد تنفيذ ومفتوحة المصدر الوسيطة Vitess نقطة يوتيوب العرض، ولكن لم إعادة الكتابة قاعدة بيانات توافق إلى بئر.

الأمازون أورورا

وفي وقت لاحق، وجاء الوقت في عام 2015، ذهب الأمازون في الاتجاه الآخر. في عام 2015، والأمازون أورورا يفرج عنه. أورورا ليس الكثير من المعلومات على شبكة الإنترنت العامة، وتوفر أورورا 5X الخلية واحدة قراءة الإنتاجية إلى 5.6، ولكن سيتم تمديد الحد الأقصى إلى 15 نسخة، المزيد من النسخ لتأثير أكبر على سرعة الكتابة، لأن هناك واحد فقط مثيل الابتدائية يمكن أن توفر خدمة الكتابة، نسخة واحدة من قدرة 64T أقصى الدعم، وتقديم الدعم لتوافر عالية والتوسع مرونة.

ومن الجدير بالذكر أن التوافق أورورا. في الواقع، فإن قاعدة البيانات نعرف، هو من الصعب جدا حل مشاكل التوافق التي يمكن تنفيذها على الفرق الصغيرة سوف تسمح للمستخدمين تكلفة ترحيل تصبح كبيرة، وهذا هو السبب الوسيطة والجدول الفرعي مكتبة البرامج معادية جدا العقل البشري، ومعظمنا في السعي من المستخدمين تجربة الانتقال السلس.

أورورا وسيلة أخرى، وذلك بسبب المعلومات العامة المحدودة، وأعتقد أورورا تحقيق طبقة الذاكرة المشتركة الموزعة (https://www.percona.com/blog/2015/11/16/amazon- استنادا الخلية innodb تحت الواجهة الأمامية الشفق المظهر-أعمق /). على سبيل المثال، بل هو قراءة جيدة تمتد أفقيا، لذلك سيتم تقاسم عبء العمل على قدم المساواة في كل حالة من الخلية الأمامية، يشبه إلى حد ما من أوراكل RAC حصة كل شيء الهندسة المعمارية.

الفوائد النسبية للحل العمارة الوسيطة هو واضح، والمزيد من التوافق، أو إعادة استخدامها بسبب محلل الخلية SQL. محسن، طبقة رجال الأعمال حتى مع استعلام معقد لا يهم، لأن الاتصال الخلية.

ولكن هذا هو بالضبط بسبب هذا السبب، فإن العقدة التالية بكميات أكثر وأكبر من البيانات، الاستعلام لا يمكن الاستفادة من قوة الحوسبة من الكتلة (للعديد من الاستفسارات المعقدة، واختناق في CPU)، والخلية في SQL محسن وقد الخلية قدرة الضعف، ولكن أيضا لكمية كبيرة من البيانات في SQL تصميم محرك الاستعلام يختلف جذريا وقائمة بذاتها. وهناك مثال بسيط، وزعت سؤال محرك تصميم مثل ايجابي واحد وSparkSQL / المعزوفة / إمبالا محسن SQL مختلفة تماما، أشبه ما تكون الأطر الحوسبة الموزعة.

لذلك أعتقد أن أورورا هو مقدار البيانات في ليست كبيرة جدا (له حد القدرة)، لقراءة بسيطة حلول تحسين أداء الاستعلام، بالإضافة إلى التوافق أفضل بكثير من الحلول الوسيطة. ولكن العيب هو أن لكميات كبيرة من البيانات، ودعم استعلامات معقدة لا يزال ضعيفا نسبيا، والآخر لأداء الكتابة أورورا في الواقع لم تفعل الكثير الأمثل (كتابة نقطة واحدة)، وإذا كان عنق الزجاجة على الكتابة، لا يزال يتعين القيام به في طبقة رجال الأعمال أو مستوى الانقسام العمودي.

جوجل الغيمة جداول كبيرة

نفس الأسلاف عن وجود بيانات كبيرة جوجل، على سحابة غاب حقا موجات: موجة الافتراضية لتفويت أول من ترك برنامج VMWare وعامل الميناء (برنامج غوغل بدأت في وقت مبكر قبل عشر سنوات في حاوية، والحاويات التي تقوم عليها وانت تعرف يقدم سيغروبس بقاء التصحيح جوجل)؛ خدمات أمازون السحابية ليغيب عن أول من ترك موجة من (محرك جوجل التطبيق لأمر مؤسف): السماح لموجة كبيرة يغيب تخزين البيانات مفتوحة المصدر فاز Hadoop المعيار الواقعي وأعتقد أن جوجل سحابة يجب أن تكون خدمة جداول كبيرة متوافق قررت Hadoop HBase API، عندما قلوب هؤلاء على تحقيق Hadoop API للمهندسين جداول كبيرة قطرة دم :)

ولكن أن تكون بعد التحفيز الأمازون / عامل الميناء / Hadoop، وجوجل قد أدركت أخيرا قوة المجتمع والقائمة على السحابة، بدأت جوجل لمختلف البنى التحتية الأجهزة سريع الداخلية الانتاج لجوجل الغيمة، تم الكشف عنها أخيرا 2015 رسميا في نظام التشغيل السحابي جوجل. لتوزيع جداول كبيرة تخزين بنية النظام يعتقدون أن معظم المهندسين لديهم فهم أفضل، بعد كل شيء، جداول كبيرة والأمازون دينامو الأوراق هو نفسه لا بد منه للقراءة الكلاسيكية، وأنا لن أخوض في التفاصيل.

HBase خدمات API وسحابة جداول كبيرة متوافقة، وذلك أيضا {مفتاح: بنية جدول ثنائي الأبعاد}، كان كهيكل السيد والعبد، والقراءة والكتابة في اللوحي خادم اللوحي الافتراضي هذا المستوى لا يمكن تحقيقه إلا من خلال وحي ماستر، الأمر الذي يجعل جداول كبيرة هو نظام ثابت قوي. يشير اتفاق قوي هنا إلى مفتاح واحد لكتابة، إذا كان الملقم بإرجاع النجاح، قراءة المقبل، يمكن أن يكون آخر قيمة.

منذ جداول كبيرة ما زالت لا تدعم المعاملات ACID، انها مجرد الشيء نفسه بالنسبة تشغيليا قويا على واحد مفتاح هنا. لالتوسع الأفقي هو، في الواقع، جداول كبيرة وأي قيود، ودعا حزما وثائق النفس قابلية ايصدق، لكنه لا يوفر جداول كبيرة عبر مركز البيانات (المنطقة) توافر عالية والقدرة على الوصول عبر المنطقة.

وبعبارة أخرى، لا يمكن إلا أن مجموعة جداول كبيرة يتم نشرها داخل مركز البيانات. في الواقع، وهذا يمكن أن نرى المواقع ضمن جداول كبيرة جوجل هو مستوى الأداء وخدمة تخزين منخفضة الكمون الموزعة، إذا ما عليك القيام به عبر المنطقة احتياجات طبقة عالية توفر العمل للقيام تكرارها الخاصة بين اثنين تزامن المنطقة وهو ما عكسته بناء جداول كبيرة مجموعات.

في الواقع، هناك الكثير من العمل قبل جوجل ميغاستور المفك والخارج، هو إشراك بذلك. للجداول كبيرة، إذا كانت هناك حاجة للدخول في وفرة عالية في مراكز البيانات، والاتساق قوي، ولكن أيضا لضمان الكمون المنخفض لم يكن ذلك ممكنا، ولا تتفق مع المواقع من جداول كبيرة. كما بعث يستحق Tucao فريق جداول كبيرة هو المدونة:

(Https://cloudplatform.googleblog.com/2015/05/introducing-Google-Cloud-Bigtable.html)

HBase تأخير داخل الرياح السوداء، تأخير استجابة 0.996 مللي ثانية، HBase 280ms. في الواقع، نظرة على متوسط تأخير استجابة من الفجوة ليست كبيرة جدا .... جداول كبيرة لأنه مكتوب في C ++، وميزة هي أن التأخير على نحو سلس جدا. ولكن بقدر ما أعرف المجتمع HBase يفعلون الكثير من العمل لتقليل تأثير GC جلب، مثل بعد خارج كومة والتحسين الأخرى القيام به، HBase يؤخر أداءه سيكون أفضل.

جوجل في السحاب

في عام 2011، نشرت جوجل ورقة ميغاستور، وأول وصف لدعم توافر عالية عبر مراكز البيانات يمكن تحجيم أفقيا + + يدعم دلالات ACID المعاملات من أنظمة التخزين الموزعة. جوجل ميغاستور مبنية على جداول كبيرة، والتزامن بين مراكز البيانات المختلفة عن طريق باكسوس، كيان المجموعة وفقا لشريحة البيانات. كيان المجموعة نفسها تتكرر عبر مراكز البيانات باستخدام باكسوس، والمعاملات عبر كيان المجموعة ACID تحتاج إلى اتخاذ مرحلتين ارتكاب، لتحقيق مقرها الطابع الزمني-MVCC.

ولكن هذا هو بالضبط بسبب Timstamp تخصيص الحاجة للذهاب مرة أخرى باكسوس والاتصالات آخر مختلف الكيان 2PC بين المجموعات تحتاج طابور على التواصل بشكل غير متزامن، وبالتالي فإن ميغاستور الفعلي لل2PC تأخير كبير نسبيا، ذكرت الصحيفة أيضا كبيرة أكثر من الكتابة تطلب متوسط تأخير استجابة من حوالي 100 ~ ما 400mS. ووفقا لصديق الداخلي Google المذكورة، ميغاستور معهم بطيء جدا، المستوى الثاني من التأخير هو شيء مشترك ...

كما ينبغي أن يكون أول من دعم جوجل الداخلية SQL والمعاملات ACID توزيع قاعدة البيانات، لا يزال هناك عدد كبير من التطبيقات التي تعمل على ميغاستور، وذلك أساسا لبرامج الكتابة باستخدام SQL والمعاملات حقا أسهل بكثير. لماذا الكثير من الأشياء ميغاستور؟ لأن الخلفية جوجل في السحاب هو ميغاستور ...

في السحاب في الواقع، في عام 2011، كان على الخط في محرك جوجل التطبيق، مشغل البيانات هو عام السامية النسخ المتماثل مخزن البيانات، لم الأسماء تغير الآن يسمى في السحاب، لا يعرف وراء الأصلي هو ميغاستور الشهير آسف حقا.

على الرغم من أن وظيفة تبدو الماشية جدا، ولكن أيضا دعم توافر عالية، ودعم ACID، كما يدعم SQL (تبسيط فقط جوجل نسخة من GQL) ولكن تأخر من وجهة نظر المبدأ ميغاستور كبيرة جدا، يتم توفير واجهات إضافية في السحاب مجموعة مماثلة من SDK ORM، والعمل لا يزال لديه بعض الغازية.

جوجل المفك

على الرغم من أن ميغاستور بطيئة، ولكن Jiabu تشو سهلة الاستخدام. وقال مفتاح البراغي في ورقة، في عام 2012 ربما لديه 300+ الأعمال تعمل على ميغاستور، إنشاء عجلة تنفيذ عملية ACID على جداول كبيرة في عدد متزايد من عمل بعد، وجوجل لا يمكن أن يقف، وبدأ في بناء عجلة كبيرة مفتاح البراغي، مشروع طموح ضخم، وتقديم الدعم ميغاستور، والمعاملات ACID + + SQL التوسع الأفقي.

لكن ميغاستور وليست هي نفسها، لم المفك لا يختار لطبقة بناء الصفقة على رأس جداول كبيرة، ولكن بدأ في بناء قرص تكرارها باكسوس مباشرة على رأس الجيل الثاني من نظام الملفات الموزعة جوجل العملاق.

وبالإضافة إلى ذلك، على عكس ميغاستور تنفيذ الصفقة كما طابع زمني المعاملة التي يحددها منسق منها من قبل باكسوس، ولكن إدخال الأجهزة، التي تتألف من الساعات الذرية وGPS API مدار الساعة TrueTime لتنفيذ الصفقة. ونتيجة لذلك، ومراكز البيانات المختلفة لا تحتاج إلى بدء التنسيق الزمني المعاملات عبر مراكز البيانات، ولكن الاستغناء مباشرة من خلال مركز البيانات API TrueTime المحلي، وهذا التأخير هو أقل من ذلك بكثير.

المفك قرب الكمال تخزين موزعة، ولكن أيضا مكملا في داخل جداول كبيرة غوغل، نريد توافر عالية عبر مراكز البيانات والمعاملات ثابتة وقوية الكلمات، مع مفتاح البراغي، وتكلفة المرجح أن تضحي تأخر قليلا، ولكن لم ميغاستور التضحية كثيرا. تريد عالية الأداء (الكمون المنخفض)، ثم استخدام جداول كبيرة.

جوجل المفك غير متوفر حاليا في خدمات Google Cloud Platform، ولكن الاتجاه هو ببساطة أن نرى أشياء معينة، على الأقل والجيل القادم من في السحاب مؤكد. من ناحية أخرى جوجل لا يوجد حتى الآن طريقة لإلقاء نظرة على المصدر المفتوح المفك وأسبابه وجداول كبيرة كما تعتمد على العملاق الكامنة وحفنة من المكونات الداخلية جوجل، والآخر هو أكثر صعوبة من جداول كبيرة، TrueTime عبارة عن مجموعة من الأجهزة ...

حتى بعد الإفراج عن الأوراق في نهاية المفك 12، هناك مجتمع المصادر المفتوحة لتحقيق مثل ناضجة نسبيا سيتم ذكرها TiDB وCockroachDB، عندما سيتم عرضه على تنفيذ قاعدة بيانات سحابة المجتمع. واجهة المفك أغنى قليلا من جداول كبيرة بعض الدعم لما تسميه بنية الجدول شبه العلائقية، يمكن أن يكون مثل قاعدة بيانات علائقية كما DDL، وإن كانت لا تزال لديك لتحديد الخط الأساسي لكل مفتاح، ولكن لا يزال أفضل من ك.ف بسيطة بكثير .

F1 جوجل

في حين المفك بداية المشروع، أطلقت غوغل F1 توزيعها محرك SQL آخر مشروع من المفك ودعم استخدام، حتى لا يكون هناك أداء الأساسي القوي المفك متسقة، ثم يمكنك محاولة لفتح OLTP وOLAP في الجزء العلوي. موضوع أطروحة F1 التي هي في الواقع قاعدة بيانات، لكنها لا تخزن البيانات و، مجرد محرك استعلام موزعة، تعتمد على واجهات المعاملات الأساسية المقدمة المفك، ستترجم البيانات على المفك ذلك المستخدم في SQL يطلب توزيع خطة التنفيذ.

توفر Google F1 احتمال، ولم يتحقق ذلك في قواعد البيانات الأخرى: إمكانية OLTP والتكامل OLAP. لأن الهدف التصميم F1 جوجل لاستخدام نظام Google الإعلاني، ونظام عرض الإعلانات لهذا النوع من نظام واحد هو شرط الاتساق عالية جدا، وتحت ضغط كبير، بل هو مشهد OLTP نموذجي، والثاني هو المرجح أن يكون هناك الكثير من إعلانية متكاملة تقييم الأثر التحقيق، وأكثر هذا النوع من الاستعلام في الوقت الحقيقي ممكن، وهذا بدوره يعني القليل من الوقت الحقيقي OLAP.

النهج التقليدي هو قاعدة بيانات OLTP على فترات منتظمة لمزامنة البيانات إلى مستودع البيانات، وتحسب خارج الخط في مستودع البيانات، أفضل قليلا تدفق حساب باستخدام بعض الإطار لحساب الوقت الحقيقي. الاستخدامات الأولى لحلول تخزين البيانات، والأداء في الوقت الحقيقي ضعيف نسبيا، والبيانات التحول هو شيء مزعج جدا؛ أما البرامج باستخدام تدفق إطار الحوسبة، والمرونة واحدة ليست جيدة، والكثير من المنطق الاستعلام حاجة إلى الكتابة في وقت مبكر، وليس مخصصة لتفعل الكثير من الأشياء، والآخر لأن كلا الجانبين التخزين غير المتجانسة، مما أدى إلى عمل ETL جدا مزعجة.

F1 المفك في الواقع تعتمد على خصائص المعاملات MVCC ACID وحققت 100 OLTP، ونفسها كمحرك SQL الموزعة، يمكن الاستفادة من موارد نظام الحوسبة لتحقيق الاستفسارات OLAP الموزعة. هذا يجلب الفوائد التي لا تتطلب مجموعة إضافية تصل في مستودع البيانات لتحليل البيانات، ولكن مع الوقت الحقيقي التحليل مباشرة في قاعدة البيانات، والآخر بسبب MVCC وتقديم نسخ متعددة من المفك لقطة قفل خالية من قراءة خصائص، التي الطبقة OLAP الاستعلام، وسوف لن يؤثر على سير العمل العادي للOLTP.

لOLTP، غالبا ما تظهر من عنق الزجاجة على IO. لOLAP، عنق الزجاجة ولكنها غالبا ما تظهر على وحدة المعالجة المركزية ويتم احتساب. في الواقع، يبدو أن تكون قادرة على الاندماج، وتحسين استخدام الموارد عبر الكتلة، والذي هو السبب أنا متفائل F1 جوجل + المفك هذا الجمع، والتكامل مستقبل قاعدة بيانات مستودع البيانات قد توفر تجربة أكثر اكتمالا وأكثر من ذلك في الوقت الحقيقي.

(وفي الواقع، فإن GFS يلي ليست دقيقة، وهو الآن العملاق)

مفتوحة المصدر قاعدة بيانات سحابة الأم

2016 في وادي السليكون واطلاق النار فجأة على GIFEE كلمة جديدة، وجوجل البنية التحتية لشخص آخر، يبدو أن الجميع يدركون أنه مع ازدهار وتطوير جيل جديد من برامج البنية التحتية مفتوحة المصدر، والبنية التحتية الأصلي في غضون جوجل لديها الكثير من المصادر المفتوحة ذات جودة عالية يتحقق.

على سبيل المثال، هناك جوانب الحاوية عامل الميناء، والجوانب جدولة مبادرة جوجل المصدر المفتوح برج الجيل الثاني Kubernetes والمجتمعات المحلية التقليدية وكذلك جداول كبيرة وGFS على الرغم من البراز ولكن لا يزال يمكن أن تجعل علاقة Hadoop، Hadoop والعديد من المصنعين يجدون أنفسهم البراز الأساسية وقدم عجلة مماثلة ......

ناهيك عن حديث جوجل مفتوح المصدر الادمان، Kubernetes لم يرد ذكرها، Tensorflow من الساخن إلى شعبية نسبيا ولكن أنا شخصيا أعتقد أن أباتشي شعاع كبير (جوجل أساس سحابة تدفق البيانات) ومستقل في الأساس مجتمع المصادر المفتوحة هم بنشاط احتضان .

وقد أدى ذلك في المجتمعات ذات فجوة Google الداخلية تضيق، ولكن في الوقت الراهن، لا يتم إجراء المفك وF1 بهذه السهولة. حتى لو لم الجهاز يذكر TrueTime جانبا لتحقيق الاستقرار متعدد باكسوس ليس بالأمر السهل، بالإضافة توزيع نوع SQL محسن من شيء لديها أيضا عتبة فنية عالية، والآخر حتى لو مصنوعة، ومدى تعقيد الاختبار أيضا أفضل قليلا من تنفيذ التعقيد منخفض (الرجوع إلى مشاركة عدد قليل من الفلسفة اختبار توزيع PingCAP).

حاليا من منظور عالمي، وأعتقد أن العالم مفتوحة المصدر لا يوجد سوى اثنين فرق: أ PingCAP من TiDB، CockroachDB على CockroachLabs هو أن تكون القدرة التقنية الكافية والرؤية يمكن أن المفك جعلت تنفيذ مفتوحة المصدر من. حاليا TiDB RC1 ولديه الكثير من المستخدمين في بيئة الإنتاج، أفضل قليلا من نضج CockroachDB أقرب إلى F1 الأرثوذكسية فوق العمارة المفك على الهندسة المعمارية. النضج CockroachDB قليلا وراء بعض الاتفاق وتحديد كيو، اختار TiDB الخلية التوافق بروتوكول.

ومن دون TiKV TiDB، رأينا نموذج لجيل جديد من KV الموزعة، RocksDB + متعدد الطوافة لا تعتمد على الغير نظام الملفات الموزعة (DFS) على التوسع الأفقي أصبح جيل جديد من توزيع KV معايير التخزين الهندسة المعمارية. وهناك أيضا مسرور جدا أن نرى أن تبين أن تبدأ من قبل فريق من الداخل والحفاظ على هذا المستوى من المشاريع مفتوحة المصدر، حتى في وادي السيليكون هو تصميم أعلى وتنفيذها، من جيثب تدفق النشاط واستخدام الأدوات وجهة نظر المجتمع التشغيلي من الصعب أن نرى هو فريق المحلي.

Kubernetes + مشغل

مجرد ذكر كلمة السحابة الأصلية، في الواقع، فإن كلمة ليس لها تعريف دقيق، ولكن ما أفهمه هو أن مطوري التطبيقات والعزلة المادية المرفق، وهو طبقة رجال الأعمال لا تحتاج للذهاب للقلق حول أداء السعة التخزينية وذلك كل شيء يمكن أن تكون شفافة التحجيم الأفقي، دعم المجموعة الآلي للغاية وحتى الشفاء الذاتي.

لنظم تخزين واسع النطاق وزعت هو يدويا من الصعب جدا على المشاركة، مثل نظام توزيعها مع الآلاف من العقد، وتقريبا كل يوم قد يكون هناك مجموعة متنوعة من فشل العقدة، عابرة غضب الشبكات ومراكز البيانات حتى كامل تعليق مباشرة، هل اليدوية ترحيل البيانات، استعادة البيانات من المستحيل تقريبا.

وهناك الكثير من الناس متفائلون جدا حول عامل الميناء، واعتقد أنها غيرت طريقة نشر البرمجيات والتشغيل والصيانة، ولكن أعتقد أنه من Kubernetes أكثر وضوحا. جدولة هي بنية السحابة الأم الحاوية الأساسية هي فقط حاملة لا يهم، Kubernetes يعادل نظام التشغيل الموزعة، الطبقة المادية هي مركز البيانات بالكامل، وهو DCOS، الذي هو السبب في أننا إعادة الحقن في العليا والسفلى Kubernetes والسبب، وأعتقد أن مستقبل قاعدة بيانات وزعت على نطاق واسع لا يمكن فصلها DCOS.

ولكن على Kubernetes لتزامن خدمة جليل هو شيء أكثر صعوبة. الخصائص العامة لنظم البيانات الموزعة، ولكل عقدة انه التخزين فحسب، لكنه يستند أيضا على احتياجات المستخدمين للقيام بهذا التوسع، والحد من حجم.

عندما يمكن القيام به التحديثات برنامج للحفاظ على الخدمات المتداول الترقية عند الانتهاء من النظام في ظل يعيد توازن البشرة الاختلالات تحميل تجربة البيانات، وذلك لضمان توافر عالية، والبيانات لكل عقدة لديها نسخ متعددة من عقدة واحدة عندما يكون الحدث خطأ، كما يتطلب الاسترداد التلقائي من العدد الإجمالي من النسخ. هذه Kubernetes لالكوريغرافيا على نظام توزيع، يمثل تحديا للغاية.

Kubernetes في الإصدار 1.3 قدم Petset، تغير اسمه الآن إلى StatefulSet، والفكرة الأساسية هي أن قرنة هوية معينة، وإنشاء وصيانة الروابط بين قرنة والتخزين. عندما قرنة يمكن المجدولة عند وحدة التخزين المستمر المقابلة قادرة على متابعة الارتباطات له. ولكنه لا يحل مشكلتنا تماما، PS لا تزال بحاجة إلى الاعتماد على حجم المستمر.

يوفر Kubernetes في الوقت الراهن سوى وحدة التخزين المستمر، أو تنفيذ نظام الملفات الموزعة على أساس NFS التخزين المشتركة، ولكن أيضا لا توفر الدعم لالتخزين المحلي، وPetset نفسها لا تزال في النسخة ألفا من المسرح، ما زلنا ننتظر لنرى.

ولكن بالإضافة إلى مسؤول Kubernetes أو أي شخص آخر في المجتمع لمحاولة، ونحن سعداء أن نرى، ليس ببعيد، CoreOS طريقة جديدة وملحق جديد Kubernetes تفكير. CoreOS هو أضاف Kubernetes عضوا جديدا، ودعا المشغل.

المشغل هو في الواقع امتدادا للتحكم تنفيذ محددة لأسباب الفضاء لا الالفاظ، والسماح لها أن تكون مجرد خدمة تخزين مع الدولة برنامج جدولة Kubernetes، CoreOS مسؤول يعطي Etcd الكتلة من النسخ الاحتياطي ومشغل المتداول ترقيات لتحقيق، نحن نعمل على تطوير أيضا TiDB المشغل، مهتمة اهتماما يستطيعون تحمل النفقات لدينا جيثب التعرف على آخر التطورات.

مقدمة لبرامج التشغيل الأقدم

هوانغ Dongxu ، PingCAP المؤسس المشارك / CTO، كبير مهندسي البنية التحتية، متخصص في تصميم وتنفيذ نظم التخزين الموزعة، المتعصبين مفتوحة المصدر، والكاتب الشهير مفتوح المصدر وزعت خدمة التخزين المؤقت CODIS والثقافة والتكنولوجيا لبناء مجتمع المصدر المفتوح لديه فهم فريدة من نوعها.

نص اليوم الموصى بها

انقر أدناه لقراءة الصورة

فريق QQ تينسنت مفتوحة المصدر

مللي خلفية توزيع خدمة محرك كامل القرار:

الهندسة المعمارية المحرك، RPC، رمادي ......

ونود أن الثناء النقطة، ونحن نحب أن حصة!