الكاتب | تشيو جيان، نائب المدير العام لالبيانات سحابة يوم شنغهاي

ذبيان | TANG الرصاص

رئيس الشكل | CSDN تنزيل من IC الشرقية

أنتجت | CSDN (ID: CSDNnews)

في الآونة الأخيرة، كانت هناك شائعات سوف كيو الافراج عن 13 نسخة، والذي صدر في سبتمبر من العام الماضي بعد 12 طبعات، PG الجماعة مكثفة خطوة كبيرة أخرى، بما في ذلك تعزيز الاستعلام الأداء، خاصة بالنسبة للمجموعات البيانات الكبيرة، واستخدام الفضاء الكلي وهلم جرا. وفي الوقت نفسه، هواوي GaussDB المحلية 200 ورثت من كيو 9، أصبح كيو غير مسبوق الساخنة البيئية في الصين.

هذا هو العامين الماضيين مع نظرية F1 جوجل تمثل قواعد البيانات NewSQL معا لتشكيل قاعدة بيانات في قرنان في هذا العصر، وتغيير محبوبة من العمارة مركز البيانات العالمي الجديد TI. نأتي اليوم "Paodingjieniu" واحد، لمعرفة الفرق في الطريقتين.

كيو في الماضي والحاضر

كيو هي قوية مفتوحة المصدر نظام قاعدة البيانات وجوه العلائقية التي الاستخدامات وتمتد لغة SQL، ويجمع بين وظائف لعدد من الأمن والتوسع في معظم أعباء العمل تخزين البيانات المعقدة. كيو في تاريخ أصول يعود إلى عام 1986، كجزء من جامعة كاليفورنيا، بيركلي مشروع بوستجرس وأجرى أكثر من 30 عاما من التنمية النشطة على المنصة الأساسية. حتى سبتمبر 2019، فقد تم رسميا إلى الإصدار 12.

المصدر: ويكيبيديا

ميتشايل ستونبراكر، 2014 جائزة تورينج، كيو قواعد البيانات مؤسس. حاليا قاعدة البيانات حقل ما مجموعه أربع جوائز تورينج:

• 1973 باخمان (قاعدة بيانات وشبكة قاعدة البيانات)

• في عام 1981 Codd (قاعدة بيانات علائقية)

• في عام 1998 رمادي (قاعدة بيانات والمعاملات التجهيز)

بيركلي هي مهد بوستجرس

(الشكل: بيركلي معالم Sasse الباب، CSDN تحميل من IC الشرق)

كيو يمكن وصفها من الرسم البياني التالي لتلخيص هذا، كيو العمارة أكثر ملائمة للقيام قاعدة بيانات على مستوى المؤسسات.

فرع استنادا كيو مشروع مفتوح المصدر ل

الانتهاء من سرد تاريخ الإنترنت، علينا أن الحديث عن تنمية المجتمع كيو مفتوحة المصدر في العالم، ونحن نعلم أن تطوير قاعدة بيانات ما يقرب من 40 عاما، وأساسا من RDBMS لفصل OLTP / OLAP، ومن ثم توزيع قاعدة بيانات هذا مسار التنمية.

كيو صحيح بطبيعة الحال، من نواة الإنترنت، كما شهدت OLTP فرع، فرع OLAP، ومن ثم إلى الاتجاه العام، سواء إعادة الإدماج، إلى مزيج الاتجاه OLA / TP لتطور قاعدة البيانات الموزعة.

الهندسة المعمارية وزعت كيو-X2 أدخلت

والآن بعد أن كيو تطورت إلى مرحلة الأقمشة المختلطة، ثم بدأنا في التحدث مباشرة من فحوى هذه المادة، نلقي نظرة على خصائص العمارة X2.

أولا، يتم تحويل X2 في قاعدة بيانات موزعة شفرة المصدر على أساس الإنترنت، لديها ما يقرب من جميع الميزات من قاعدة بيانات قائمة بذاتها:

• دعم المجمع وSQL عبر عقدة JOIN.

• الاتساق قوي من الصفقة العالمية؛

• قراءة ملتزمون دعم مستوى العزل المعاملات؛

• يدعم تقريبا جميع البيانات قاعدة بيانات واحدة DDL.

• دعم الرأي عبر العقد.

• دعم الإجراءات المخزنة عبر العقد.

ثانيا، X2 الهدف الرئيسي هو تحقيق مستوى من البيانات تفتيت ما هو مطلوب استنادا إلى الجدول الفرعي مكتبة بيانات جزئية لحل مشكلة التمدد الطولي.

مرة أخرى، X2 لOLAP هي بنية مشتركة لا شيء، وهذا هو مبدأ تقنية MPP، يمكننا تحقيق عدد من عملية ETL مستودع.

وأخيرا، API هو تطبيقات خارجية متوافقة تماما يمكن الوصول بشفافية بوستجرس-X2، سائق جدبك الأصلي في لغات البرمجة المختلفة مثل بسيطة لا تتطلب تعديل يمكن أيضا الوصول إلى بوستجرس-X2.

يمكننا أن نرى من هذا الرقم من العمارة X2، X2 يتكون من ثلاثة عناصر رئيسية هي:

• GTM: إدارة المعاملات العالمية، وتوفير خدمات المعاملات العالمية؛

• المنسق: تخزين بيانات التعريف العالمي، تقبل طلبات المستخدمين، ومسؤولة عن توليد خطة تنفيذ الاستعلام العالمية (خطة الاستعلام العالمية من خطة تتألف من عدة الاستعلام المحلي، وخطة تنفيذ الاستعلام من توزيع Datanode المحلية)؛

• Datanode: تخزين بيانات التعريف المحلي، قبول وتنفيذ منسق خطة استعلام المحلية (خطة الاستعلام المحلية SQL).

تحليل CAP من توزيع كيو-X2

ونحن نعلم أن مبدأ قاعدة بيانات CAP يعتبر مستوى معايير التقييم، في عهد RDBMS، أوراكل، MS سيكلسرفير يمكن أن يكون أفضل بالقرب من CAP. في عصر قواعد البيانات الموزعة، نظرية CAP لا تزال هي الأداة الرئيسية للتقييمنا. يشير مبدأ AP المعروفة باسم CAP نظرية، إلى نظام توزيع، والاتساق (الاتساق)، وتوافر (توافر)، خطأ التقسيم التسامح (التقسيم التسامح). CAP المبدأ يعني أن أقصى نقطتين فقط بينما تحقق هذه العناصر الثلاثة، وثلاثة لا يمكن أن تؤخذ بعين الاعتبار.

أولا، على الاتساق، كيو-X2 باستخدام GTM إلى تحقيق ما يلي:

GTM صفقة قوية تنسجم مع حماية المساواة RDBMS التقليدي، وهو على المستوى مع الإنتاج. مقارنة مع 2PC وMVCC، مكان المتقدمة. ومع ذلك، فإن التكلفة الإجمالية تكون كبيرة نسبيا، إذا كانت ضخمة سيناريوهات تطبيقات الإنترنت، مليون الوصول المتزامن على العمل والأداء صعوبة من الخلية.

2PC المعروف أيضا باسم مرحلتين ارتكاب (مرحلتين ارتكاب بروتوكول)، 2PC هو كلاسيكي جدا قوية متناسقة، مركزية الذري ارتكاب البروتوكول. يشير هنا إلى مركز للبروتوكول نوعين من العقد: عقدة هو منسق مركزي (منسق) وN عقدة مشارك (partcipant).

دعا MVCC الانجليزية التحكم التزامن متعدد نسخة، وترجم إلى اللغة الصينية، أي متعدد النسخة التحكم التزامن. ويتحقق MVCC عن طريق تخزين البيانات في اللقطة عند نقطة في الوقت المناسب لتحقيق. وهذا يعني أن الصفقة مهما طال المدى، في المعاملة نفسها يمكن أن ينظر في عرض ثابت من البيانات. اعتمادا على الوقت الذي بدأت فيه الصفقة، ولكن أيضا الوسائل التي المعاملات المختلفة في نفس الوقت نرى نفس بيانات الجدول قد تكون مختلفة.

بموضوعية، ونحن نعتقد أن هذا هو تأمين متفائل تنفيذا كاملا، وهذا هو، كل سطر يحتوي على رقم الإصدار، عند اتخاذ قرار لإنقاذ النجاح وفقا لرقم الإصدار.

من حيث التدرجية، والتوسع بوستجرس-X2، قد يتم تنفيذ في وقت واحد في كل من التوسع وDatanode منسق.

خط بوستجرس-X2 مع خطي قابلة توزيعها مستوى قاعدة البيانات، إلى x86 في عهد المستشري، الحوسبة وموارد التخزين عن طريق تمديد الجانبي للجهاز يتم توزيع المفهوم الأساسي، في هذه المرحلة، بوستجرس-X2 هو أن تفعل ذلك.

ومع ذلك، فإن المشكلة تكمن في كمية بوستجرس البيانات نفسها لا يمكن أن تدعم كمية كبيرة من البيانات في 40 TB ~ 200TB، قيام عدد كبير من مستودعات التخزين، مع كمية البيانات لرفع مستوى الأداء، وزيادة عدد العقد، ويحدث تسوس، لا يمكن أن تتبع تماما التمدد الطولي أداء فرضه خطيا. هذا ومن المرجح أن يكون نقطة انتقاد.

آخر، لا يمكن أن تدعم قابلة للتبديل على الانترنت الساخنة، والساخنة وظيفة إضافية. إذا قمت بإضافة عقدة، ما عليك القيام به وصولا الى إعادة التشغيل، في هذه الحالة، وهذا النوع من تطبيق المواد المستنفدة للأوزون في الوقت الحقيقي لا يمكن أن تستخدم في بوستجرس-X2 بنيت OLAP.

قضايا تقسيم المناطق PostgresSQL الخطأ والتسامح ليس هو الاعتبار الرئيسي. لأن توزع أكثر الأنظمة الموزعة عبر عدة شبكات فرعية. ويسمى كل شبكة فرعية منطقة (التقسيم). المتسامحة يعني التقسيم، قد تفشل الاتصالات النطاق. على سبيل المثال، خادم في الصين، خادم آخر في الولايات المتحدة، وهو المنطقتين لا يمكن التواصل بينهما.

الشكل أعلاه، G1 و G2 نوعان عبر ملقم. ارسل رسالة الى G2 G1، قد لا تكون وردت G2. تصميم النظام، يجب أن تأخذ بعين الاعتبار هذا الوضع. هذه الحالة، والمفتاح هو سحابة كبيرة البائعين مثل: الأمازون QWS S3، وجوجل المفك وعلي سحابة OceanBase إلى التركيز على بناء. بحثنا فقط من ارتفاع توافر مراكز البيانات بوستجرس-X2:

جوانب توفر عالية، GTM غرينبلوم ليس فقط عقدة رئيسية، ليست مناسبة للمعاملات OLTP. وعلى الرغم من بوستجرس-X2 في حد ذاته لا الآلي توفر عالية، ولكن يمكن أن تكون نقطة العطل المفردة (نقطة واحدة من الفشل) تحليل، وفقا لأعمال مختلفة بناء توافر عالية، وعلى سبيل المثال هو استخدام FIG. الطريق الرئيسي-الاستعداد لإطار بناء عالية توفر. وعلاوة على ذلك، بين الأصلي بوستجرس-XC لا يمكن تمرير البيانات D-عقدة والبيانات اللازمة للسماح بنقل البيانات بين D-عقدة إلى عقدة C بعد التقارب تجهيز بوستجرس-X2.

أعلاه، هل لدينا فهم أكثر شمولا له PostgresSQL وزعت مشروع بوستجرس-X2، يمكننا تلخيص:

في "من 40 عاما من تطوير تكنولوجيا قاعدة البيانات في رحلة جديدة"، وهو النص، ونحن من خلال مراجعة التاريخ من قاعدة البيانات، فهم جديد لتعريف قاعدة بيانات - قاعدة البيانات هي مستودع للتخزين البيانات، ومستودع وفقا للهياكل بيانات معينة (بيانات ويشير هيكل إلى الارتباط بين تنظيم البيانات أو البيانات) لتنظيم مخزن، ونحن يمكن أن توفر مجموعة متنوعة من الأساليب من خلال قاعدة بيانات لإدارة البيانات في قاعدة البيانات. تعمل برامجنا في الذاكرة، وبمجرد تشغيل البرنامج قبالة نهاية أو الكمبيوتر، وتشغيل البيانات سوف تضيع، لذلك نحن بحاجة لتشغيل بعض البيانات استمرار البرنامج في القرص الصلب لضمان أمن البيانات الجنس. لوضعها بصراحة، يتم تخزين قاعدة البيانات في مستودع البيانات.

ويمكن تقسيم قاعدة البيانات التي قمنا التي سبق ذكرها في عدة فئات هي:

بعد 40 عاما من تطوير قواعد البيانات، وبعد MPP ومن ثم من RDBMS إلى رقم قاعدة بيانات NoSQL، والآن نبدأ في قاعدة بيانات NewSQL تولي اهتماما. خصائص كل مرحلة ما هو عليه؟

• مزايا RDBMS-- من قواعد البيانات العلائقية هي: الصفقة، ويرتبط هذا المؤشر، الاتساق قوي، وهو وضع غير مؤات: قابلية محدودة، وتوافر محدود، اعتمادا على بنية البيانات الفضاء الجدول؛

• ميزة MPP-- من بكثافة موازية الحوسبة قاعدة بيانات والتدرجية، والمعاملات، ومؤشر، ويرتبط قابل للتعديل عيوب الاتساق: تجزئة على مستوى التطبيق، وهياكل البيانات، اعتمادا على جدولية.

• NoSQL-- خارج قواعد البيانات العلائقية، والذي هو مفيد في هذا التدرجية، والاتساق هو قابل للتعديل، وهياكل البيانات مرنة، ودعم المعاملة والحرمان وسوء وضعف الدعم الفهرسة، دعم SQL ضعيف.

الأكثر كلاسيكية هو OLTP التقليدية قاعدة البيانات العلائقية، والذي يستخدم أساسا لمعالجة المعاملات قاعدة البيانات المهيكلة، والمثال النموذجي هو نقل الفواتير، والبضائع النظام وإدارة المخزون للشركة. إن التحدي الأساسي الذي يواجهونه هو التزامن عالية، وتوافر عالية ودقة البيانات واتساقها في ظل الأداء العالي.

وجاء ذلك عقب بيانات NoSQL وقاعدة بيانات خاصة، والذي يستخدم بشكل رئيسي لتخزين ومعالجة الاتساق غير منظم أو شبه منظم البيانات (مثل المستندات، FIG توقيت والزمانية، KV)، والبيانات ليست إلزامية، من أجل إعادة النظام مستوى التنمية، من أجل تعزيز القدرة الإنتاجية.

وعلاوة على ذلك هو قاعدة البيانات التحليلية (أون لاين معالجة تحليلية، OLAP)، والسيناريوهات تطبيقه هي كميات هائلة من البيانات، وأنواع البيانات المعقدة والشروط تحليل معقدة، قادرة على دعم تحليل عمق ذكاء. ويتمثل التحدي الرئيسي الذي نواجهه هو الأداء العالي، وعمق التحليل، جنبا إلى جنب مع قاعدة البيانات TP وربطها مع قاعدة بيانات NoSQL.

بالإضافة إلى بيانات المحرك الأساسي، فضلا عن الخدمات الطرفية وأدوات الطبقة إدارة قواعد البيانات، مثل نقل البيانات، والنسخ الاحتياطي للبيانات وإدارة البيانات.

NoSQL قابلية حل قاعدة البيانات، وارتفاع الوصول المتزامن، ولكن ليس هناك الكثير من مكان مرضية، مثل:

• مؤشر لا يمكن أن الاستخدام الفعال للمؤشر - > سؤال المخصصة؛

• وحدة التشغيل لا يمكن أن تفرق مهام الحوسبة - > تاريخ الاستعلام جدول كبير.

• بخلاف تحليل الاستعلام SQL - > العلوم البيانات / آلة التعلم.

• مصادر البيانات الأخرى الوصول - > Hadoop البيانات تحقيقا مشتركا (أيزومرات متعدد المصادر) القائمة؛

• التحليل التفاعلي - > مشكلات في الأداء الاستفسارات SQL معقدة.

حتى NewSQL على استعداد للخروج.

قاعدة بيانات قل NewSQL، يجب علينا أولا تبدأ مع قاعدة بيانات جوجل وزعت F1 / المفك على نطاق واسع.

A، جوجل F1 / المفك

والعديد من شركات الإنترنت، وجوجل في وقت مبكر من الاستخدام المكثف الخلية. الخلية هي بذاتها، يمكن أن السيد والعبد يكون المتسامحة، القسم الموسع. ولكن يتطلب الكثير من العمل اليدوي وأعمال الصيانة، وهناك الكثير من القيود. لذلك، وقد وضعت جوجل على المتسامحة وRDBMS قابلة لل- F1. وزعت عموما يختلف قاعدة البيانات، F1 يتوافق RDMS وظيفة مناسبة، لا هوادة فيها. في F1 الأول هو الخلية، ولكن سوف يهاجر تدريجيا إلى المفك القائمة.

F1 له الخصائص التالية:

• 7 24 توفرها. حتى لو أغلقت مركز بيانات واحد إلى أسفل، فإنه لا تزال متاحة.

• ويمكن توفير ذلك في الوقت نفسه القوي والضعيف التجانس التام.

• التدرجية.

• دعم SQL.

• حقوق 50-100ms تأخير، وقراءة 5-10ms الكمون، وإنتاجية عالية.

المفك هو المستويين العالمي وزعت قاعدة بيانات جوجل (قواعد البيانات الموزعة على الصعيد العالمي). وصل قابلية المفك المستوى العالمي مذهلة، يمكن أن تمتد إلى الملايين من الآلات، ومئات من مراكز البيانات، على الخط تريليون دولار. أكثر من القوة، بالإضافة إلى ما وراء التوسع المبالغ فيه، وانه يمكن في نفس الوقت لتلبية تكرار متزامن الخارجي والتناسق من خلال إصدارات متعددة، وتوافر جيدة جدا. CAP كسر أغلال، والتوازن المثالي بين الثلاثة.

المفك هو تحجيم، متعددة الإصدار، كما يدعم موزعة عالميا قاعدة بيانات منسوخة. وهو أول جوجل يمكن أن تدعم التوسع العالمي والشؤون الخارجية متسقة. البراغي يمكن أن تفعل هذا، لا يمكن أن تكون مفصولة GPS الوقت API والساعات الذرية لتحقيقه. هذا API هي المرة بين مركز بيانات متزامنة يمكن أن تكون دقيقة إلى داخل 10ms. لذلك هناك عدد قليل من السمات الأساسية: لا تأمين قراءة الصفقة، التغييرات المخطط الذرية، قراءة أي كتلة البيانات التاريخية.

كما F1 / المفك ليست مفتوحة المصدر، من خلال المعلومات العامة الحالية يمكن أن نلمح فقط فقط لإسقاط في F1 المحيط / المفك، لذلك علينا أن نتعلم بشكل رئيسي من خلال المعلومات جوجل العامة والتنمية الخاصة بها، والتي ينبغي أن المحمود من كيو حركة التضامن الدولية.

اثنين، F1 الاستعلام عن الأساس NewSQL

عام 2018، نشرت جوجل ورقة "F1 الاستعلام: تصريحي الاستعلام عن على مقياس"، وهذا يعني F1 ترقية / المفك الهندسة المعمارية. العديد من القضايا الأساسية حلها على النحو التالي:

• أولا، ومجموعة متنوعة من منصات التخزين غير متجانسة (جداول كبيرة، المفك، وجوجل جداول البيانات، وما إلى ذلك) التعايش.

• تحسب الثانية على منصة التخزين المختلفة ليست موحدة.

• ثالثا، بدأ المنطق الأعمال المعقدة التي تتطلب التحليل في الوقت الحقيقي ومعالجة البيانات (HTAP).

وهكذا قاعدة بيانات F1 تمتد تصبح قاعدة البيانات:

• أولا، يتم احتسابها طبقة مستقلة، والجزء السفلي التزاوج مصادر بيانات مختلفة.

• ثانيا، يحاول توحيد OLTP، OLAP وETL من عبء العمل.

• ثالثا، بل هو أيضا منصة ETL كاملة؛

• رابعا، قدم عدة أشكال جديدة من الوصول إلى البيانات، UDF، UDA وTVF SQL.

• خامسا، تظليل لا شيء، وسيتم وصف هذه التفاصيل في وقت لاحق.

A البيانات، بعد مزيج مثالي من مبادئ CAP، ولكن أيضا من أجل حل يدعم قاعدة بيانات غير مسبوقة على حد سواء OLTP، OLAP، ETL ثلاثة سيناريوهات الاستخدام. ويمكن القول جلبت لنا العالم "الجديد"، لأن لخلق حقبة "الجديد" من قاعدة البيانات. هذا "الجديد"، وكان اسمه في 451 المحلل في المجموعة ماثيو Aslett هو "NewSQL".

ثلاثة، NoSQL الدعوة الستار، NewSQL لاول مرة

كلمة NewSQL التي كتبها المحلل ماثيو Aslett المجموعة 451 المقترحة في ورقة بحثية. إنها تدل على نوع جديد من نظام قاعدة البيانات لجعل تحديا للبائعين قاعدة البيانات المنشأة. يشار NewSQL لمختلف قاعدة بيانات جديدة قابلة للتطوير / عالية الأداء، وهذه قاعدة بيانات NoSQL لا يحتوي فقط على القدرة على إدارة كميات ضخمة من تخزين البيانات، ولكن أيضا للحفاظ على ACID وSQL التقليدي دعم قاعدة البيانات وغيرها من الميزات.

يشير NewSQL إلى فئة من نظام جديد لإدارة قواعد البيانات العلائقية للOLTP (قراءة - كتابة) عبء العمل، والسعي من نفس قابلية المقدمة وأنظمة NoSQL، ولا تزال تحافظ على ACID وSQL وغيرها من الميزات (قابلة للتطوير وACID و (العلائقية و / أو مزود -access)).

NewSQL مرة المتاحة، وقد تم تطوير وتكوين أسرة كبيرة من التقنيات:

من ما سبق يمكننا أن نعرف، NewSQL ميزة القدرة SQL الدعم، والتدرجية، في الوقت الحقيقي وقدرات معالجة المعاملات. في إطار فرضية NewSQL المزدهرة، بدأت العديد من شركات التكنولوجيا الناشئة لبناء الجيل المقبل من قاعدة البيانات الخاصة بهم وزعت، فلسفة التصميم:

والهندسة المعمارية وزعت

التي جعلت وضع مهمة من العقد الرئيسية، ويمكن لكل عقدة تقديم خدمات على تطويره، وسوف ماستر لا يكون عنق الزجاجة.

• واجهات العميل لأشكال مختلفة الوصول، والوصول المباشر إلى خدمة سيد العقدة الخدمة؛

• يتلقى العقدة خدمة سيد تحليل طلبات الخدمة، المخصصة لتنفيذ عقدة خدمة التوزيع المختلفة.

• تتلقى شريحة عقدة خدمة طلب التنفيذ، SQL تحليل وتنفيذ خطة SQL.

• خدمات تنفيذ SQL الوصول تتم معالجة تخزين البيانات الأساسية، ومعالجة النتائج في العودة؛

• ضمان مزامنة البيانات بين الخدمة بالاتفاق الطوافة.

• تخزين AP، TP إلى الذاكرة المشتركة والذاكرة غير مشترك.

على النقيض من ذلك قارنت، كيو الآن توزيع MPP الهندسة المعمارية، وحصة أي شيء، هناك زيادة، مشكلة انخفاض إعادة توزيع البيانات العقدة.

ثانيا، مكتبة فرعية مع الجدول الفرعي إلى قسم عملية التجزئة (تجزئة وتقسيم)

عن طريق التفسير السابق لدينا من الإنترنت، الجدول الفرعي الفرعي مكتبة البيانات هو خيار القسري، مفاجأة، إذا كنا لا نستطيع أن نفعل الجدول الفرعي الفرعي مكتبة، وليس محاولة للقيام التصميم في هذا المجال، وذلك لأن الأعمال ستطلب أو تغيير في مجال الأعمال التجارية. ولذلك، فإننا في NewSQL تهدف إلى بذل المزيد من الجهد مع تقسيم عملية التجزئة (التجزئة والتقسيم) تصميم.

قسم البيانات

يتم تقسيم جدول البيانات إلى كتل N، في النهاية فقط منطقيا جدول، ولكن تتكون الطبقة السفلية من N كتلة المادي منه.

وعند النظر في استخدام التقسيم ذلك؟ عندما كانت طاولة سرعة الاستعلام بطيئة أن تؤثر على استخدام الوقت، وكمية البيانات، تم تحسين SQL للبيانات في الجدول ومجزأة، أو تشغيل البيانات غالبا ما ينطوي على جزء فقط من البيانات، وليس كل البيانات.

المشكلة الرئيسية تكمن في قرار التقسيم يمكن أن تحسن كفاءة الاستعلام.

قطع البيانات

في نظام التخزين الموزعة، البيانات اللازمة لتفريق المخزنة على أجهزة متعددة، يتم استخدام تقنية شريحة البيانات (عملية التجزئة) لتحديد البيانات على عدد وافر من أجهزة التخزين الموزعة. قطعة البيانات لتحقيق ثلاثة أهداف:

• التوزيع، أي كمية البيانات على كل جهاز أن يكون في أقرب وقت ممكن.

• موازنة، وهذا هو، المبلغ المطلوب على كل جهاز أن يكون في أقرب وقت ممكن.

• يحدث ترحيل البيانات عند تحجيم قدرة أقل قدر ممكن.

ثالثا، تتم مزامنة البيانات مع الاتساق - الطوافة / باكسوس

ويستند البروتوكول مزامنة البيانات قاعدة البيانات الحالية السائدة NewSQL على الطوافة.

في الطوافة في ثلاثة أدوار:

القائد: مسؤولة عن تلقي طلبات العميل، نسخ سجل لإعلام العقد الأخرى والعقد الأخرى متى تطبق هذه السجلات هي آمنة.

انتخابات زعيم لنوع واحد من الدور؛: مرشح

تابع: زعيم أو يستجيب للطلبات المقدمة من المرشح.

• كافة العقد هي الحالة الأولية أتباع الدور؛

• لم زعيم لا تتلقى طلب تحويل الانتخابات ضمن المهلة المحددة للمرشح.

• عقد المرشح تلقى أكبر عدد من الأصوات وتحويلها إلى زعيم، زعيم أو وجدت استلام طلب تحويل إلى أعلى على المدى أتباع.

• يتم تحويل قائد لأعلى عند المدى طلب أتباع.

آلة الدولة الطوافة:

• وستوجه كل خوارزمية إجماع على جهاز الدولة، وآلة الدولة لضمان حالة النظام متسقة من البداية، وسلسلة من التعليمات المنفذة يصل في النهاية إلى حالة متناسقة إلى آخر في نفس الترتيب.

• كل العقد في نفس معالجة سجل النظام، وبعد س النهائية، ص، ض القيم هي نفسها في تعدد العقد.

وفي هذا الصدد، يتم تحديد وضع كيو-X2 العمارة وضع الاستعداد.

رابعا، المعاملات الموزعة

• بداية المعاملات، وسجلات المعاملات ID فريدة من نوعها، لتنفيذ العمليات، سجل تعديل شارد، نفذ مسبقا-ارتكاب العملية، في ارتكاب أو التراجع.

• عند كتابة آلية تأمين المستخدمة حاليا.

• القراءة قراءة باستخدام لقطة، وطبقة التخزين هو مكتوب كل كتابة إضافية الوقت، والبيانات التي تم تغييرها من خلال آلية تجاوز.

ميزة هي أن الحيويه يمكن أن تضمن البيانات في الوقت الحقيقي، وإدراج وتحليل البيانات وتحديثها يمكن القيام به معا، مثل عددا من المناصب في الوقت الحقيقي، في الوقت الحقيقي حسابات ملخص إحصاءات يمكن تحقيقه. في طريق كيو OLAP على الرغم من أنه يمكن تحقيقه من خلال التحديثات دفعة أو إدراجها، ولكن للقيام دليل التحسين والاستثمار المستمر في التدخل البشري وضمان الأداء السلبي.

خامسا، طبقة ذاكرة التخزين --KV

على الجانب التخزين، لدينا خيارين:

• تخزين: يمكن الحصول على البيانات الأساسية، في حين يمكن قراءة البيانات مباشرة.

• غير تكديس: يمكن الحصول على البيانات إلا من خلال مفتاح، البيانات لا يمكن قراءة مباشرة.

لا يمكن الحصول على بيانات التخزين غير كومة من خلال المفتاح، وسوف نستمر في قيادة قراءة منفصلة، وبالتالي فإن AP لا يمكن أن تتكيف مع المشهد.

• واجهات العميل لأشكال مختلفة الوصول، والوصول المباشر إلى خدمة سيد العقدة الخدمة؛

• يتلقى العقدة خدمة سيد تحليل طلبات الخدمة، المخصصة لتنفيذ عقدة خدمة التوزيع المختلفة.

• تتلقى شريحة عقدة خدمة طلب التنفيذ، وتحليل SQL وتنفيذ خطة SQL.

• خدمات تنفيذ SQL الوصول تتم معالجة تخزين البيانات الأساسية، ومعالجة النتائج في العودة؛

• حارس الحديقة الخدمات ذات الصلة لضمان تطبيقات توفر عالية؛

• HDFS الكامنة وراء استمرار تخزين البيانات، واستخدام التكنولوجيا ثلاث نسخ لضمان البيانات لا تضيع.

مقارنة بذلك، كيو التخزين المحلية، ويمكن تقسيم الذاكرة التخزين في العمود والذاكرة المتتابعة وما شابه.

ستة متعدد المصادر كونفدرالية البيانات غير المتجانسة

NewSQL البيانات غير المتجانسة متعددة المصادر، أن تأخذ في الاعتبار النظر في الدعم الكامل من قاعدة البيانات في الماضي، وخاصة NoSQL وHadoop النظام الإيكولوجي، لأنه بعد كل شيء، سواء من التي كانت تحظى بشعبية كبيرة.

من حيث متجانسة متعددة المصادر، ويدعم كيو كتبها FDW متعدد المصادر غير متجانسة، ويمكن الوصول إلى أوراكل، PG، الخلية، MongoDB، الخ، وانخفاض أنظمة Hadoop وNoSQL تدعم والكفاءة والأداء هي أيضا أكثر صعوبة لتحقيق في نهاية المطاف.

سبعة، استنادا إلى قاعدة بيانات وزعت من ممارسة NewSQL

وبناء على ما تقدم ستة، من خلال NewSQL من:

• وزعت الهندسة المعمارية.

• شريحة بيانات التقسيم.

• مزامنة البيانات والاتساق.

• المعاملات الموزعة.

• طبقة الذاكرة، تصميم تخزين KV.

• متعدد المصادر قواعد البيانات غير المتجانسة.

لدينا تصميم شامل والتنمية، شن قاعدة بيانات وزعت من ضبط النفس المحلية - هابل. وفي الوقت نفسه هابل دعم كل OLTP وOLAP المشهد، وهذا هو على نفس البيانات، وتحقيق دعم معالجة المعاملات للتحليل في الوقت الحقيقي، مما يلغي الحاجة لعملية ETL تستغرق وقتا طويلا.

وأخيرا، وممثل هابل وPsostgreSQL-X2 القيام بتحليل مستعرضة، فإنه يمكن أن تساعدنا على فهم أفضل ذكرت الصحيفة في البداية - قرنان من خارطة الطريق التكنولوجيا قاعدة بيانات وزعت بهم.

نبذة عن الكاتب: تشيو جيان، نائب المدير العام لفرع شانغهاى أيام من سحابة، البنية التحتية لتكنولوجيا البيانات الكبيرة وكبار المتخصصين في القطاع المالي. بعد درجة الماجستير في العلوم والتكنولوجيا الكمبيوتر، وعملت لIBM وغيرها من الشركات، وأعضاء اللجنة المالية من جمعية جيو سان. في الوقت الحاضر، لتوفير تخطيط وتصميم البرامج ومنصة الذكاء الاصطناعي لمنصة البيانات الكبيرة للأعمال المصرفية والأوراق المالية والتأمين وغيرها من عملاء القطاع المالي. وقد نشر العديد من البحوث في مجلات IEEE وهلم جرا.

الإيرادات قفزت بنسبة 30 عاما: من مجتمع حر في شركة بمليارات الدولارات

قم فهم واحد من أعظم إنجازات منظمة العفو الدولية: القيود التفاف الشبكة العصبية

تألق GitHub 10000 +، مشروع أباتشي أعلى مستوى ShardingSphere من الطريق المفتوح

HKUST أكاديمي تشنغ غوانغتنغ الاستجواب المستقبل، كشفت أحدث التطبيقات وممارسة AI

تحديات التشغيل والصيانة الذكية في تعزيز كبير: كيف صمدت علي "مزدوجة 11 القطط في وقت متأخر"؟

إيثرنت ساحة 2.0 حضانة لعبة وتنفيذ MPC

الصعب جدا لكتابة الأسئلة تسعة الخلية الوجه بالنسبة لك، ونحن نوصي جمع!