مقالات المؤلف: هوانغ Dongxu
لTiDB وPingCAP 2018 هو عام التحول من الحدث إلى الكبار، إذا تم تلخيصها على الكلمة مع "التحول" . في العام مسرور جدا لرؤية TiDB وTiKV في عدد متزايد من المستخدمين في مجموعة واسعة على نحو متزايد من السيناريوهات، تماما كمشروع مفتوح المصدر العمر 3 سنوات، من دون مجتمع قوي وراء ذلك، لا توجد وسيلة تحقيق مثل هذا التقدم. وفي الوقت نفسه من الناحية الفنية، 2018 وأعتقد أنه لإنتاج إجابة مرضية، ويتضمن العديد من TiDB مشروع كبير ما مجموعه 4380 قدمت هذا العام، في الأيام القليلة الماضية الانتهاء من 2018 غير المفتاح عند مقارنة ما في الإصدارات المبكرة، وهو ما يمثل 4380 وراء يرتكب ما، وهنا لكتابة ملخص المادة بسيط.
في وقت لاحق، تم وضع TiDB باعتبارها واحدة من أقرب للأغراض العامة HTAP قواعد البيانات الموزعة، إذا دراية مع أصدقائنا القدامى يجب أن تعرف أن أقرب وقت لدينا تم وضع NewSQL، بالطبع، هو الآن. لكن NewSQL هذه الكلمة لديه مشكلة، في النهاية حيث الجديدة لحل المشكلة وهو أمر صعب في لمحة، في الواقع، بدءا أردنا حل الخلية مشكلة في الجدول الفرعي الفرعي مكتبة، ولكن بعد ذلك ببطء أكثر وأكثر كما مستخدمينا أكثر المشاهد تستخدم أكثر وأكثر وضوحا، وقد بدأت العديد من المستخدمين المشهد وراء استخدام "أكبر الخلية"، لذلك وجدنا من المختبر والأوساط الأكاديمية نشعر أكثر وضوحا: HTAP والأمل قادرة على بناء مزيج من قاعدة بيانات OLTP وOLAP للأغراض العامة الموزعة. ولكن لتحقيق هذا الهدف ومعقدة جدا، وإذا حكمنا ليس لإعادة تصميم من الألف إلى الياء، فمن الصعب تحقيق أهدافنا، نحن نعتقد أن هذا هو أكثر صعوبة لكن في الطريق الصحيح، ويبدو الآن، وهذا الطريق هو على الطريق الصحيح، ولكن في المستقبل سوف يكون الحصول على أسرع وأسرع، أبعد والاستقرار.
الجانب طبقة SQL، اختار TiDB الخلية بروتوكول متوافق، مع الاستمرار في تعزيز التوافق لغوي، على اختيار من ناحية أخرى لتحسين الاستفادة من البحوث والمحركات، وجلبت هو الأمثل أي عبء تاريخي مستمر. يجب إعادة النظر في عمل واحد من أكبر الإعمار يكون إطار التنفيذ ، TiDB طبقة SQL أو نموذج بركان الكلاسيكية، قدمنا جديدة في الذاكرة هياكل البيانات القطعة لدفعة تجهيز صفوف متعددة من البيانات، ولقد مختلف المشغلين تحقيق ذاتها واجهة القطعة مكرر، والتحسينات لتحسين بناء على طلب OLAP من الواضح، على اختبار TPC-H يحدد TiDB يمكن أن نرى ذلك قدم (https://github.com/pingcap/docs-cn/blob/master/benchmark/tpch.md)،Chunk التنفيذ الشامل بالنسبة لنا لتحديد CodeGen ودعم المؤسسة. تحت التوقعات الحالية بالنسبة للقطاعات الفرعية التنفيذ-لم تستخدم في التحول TiKV القطعة الداخلية، ولكن هذا هو بالفعل في الخطة، في TiKV ومن المتوقع أن يعزز الاستعلام الأداء ستكون أيضا كبيرة جدا في هذا التحسن.
من ناحية أخرى، واحدة من المكونات الأساسية قاعدة بيانات محرك الاستعلام: محسن، حققت هذا العام تقدما ملحوظا . ونحن في عام 2017 قد قدم SQL محسن شامل على أساس التكلفة (CBO، على أساس التكلفة الأمثل)، قمنا بتحسين نموذج تقييم التكلفة لدينا العام، مضيفا بعض القواعد الأمثل الجديدة، في حين تحقيق تاريخ إعادة ترتيب، الخ سلسلة من التحسين، ومن نتائج، في الوقت الراهن على مجموعات اختبار TPC-H لجميع الاستعلام وقد أعطيت TiDB محسن SQL خطة المثلى. وحدة رئيسية أخرى يتم جمع إحصاءات البنك المركزي العماني، هذا العام، ولقد قدم إحصاءات التلقائي خوارزمية جمع، وقابلة للتكيف محسن. أيضا لسيناريوهات OLTP TiDB ما زال يحتفظ RBO خفيفة الوزن حتى مباشرة تجاوز محسن لتحسين أداء OLTP. وبالإضافة إلى ذلك، وذلك بفضل مساهمة المعهد عدة سامسونج الكوري للمهندسين، أعطوا قدم TiDB سؤال خطة ذاكرة التخزين المؤقت، لتحسين أداء الاستعلام في إطار سيناريوهات التزامن عالية واضحة. أيضا في وظيفة، وقدمنا الدعم الجدول التقسيم، بالنسبة لبعض خصائص واضحة للعمل التقسيم، TiDB تكون قادرة على القراءة والكتابة تحديث البيانات جدولة أكثر كفاءة.
كل جانب، TiDB طبقة SQL كما نقية اللغة العودة لتحقيق أكمل طبقة التوافق تركيب الخلية، العديد من الأدوات طرف ثالث باستخدام الخلية TiDB من SQL محلل، واحدة من ممثلين بارزين مثل الدخن حلق (Https://github.com/XiaoMi/soar). من أجل تسهيل طرف ثالث لأفضل إعادة TiDB محلل، ونحن سوف محلل في 2018 جردت من المشروع الرئيسي بها، أصبح مشروع مستقل: pingcap / محلل، وآمل أن مساعدة المزيد من الناس.
يتحدث TiDB الكامنة TiKV تخزين هذا العام، وهناك تحديث العديد من المواقع مشرق . وTiKV حجر الزاوية - خوارزمية إجماع الطوافة هنا، ونحن نعلم TiKV يستخدم متعدد الطوافة الهندسة المعمارية والداخلية من قبل العديد من انقسام ديناميكية الطوافة المجموعة، دمج، والتحرك لتحقيق التوسع الديناميكي وتحميل موازنة ديناميكية. ونحن لا تزال مستمرة في تمديد الحدود متعدد الطوافة من هذا العام، انضممنا هذا العام دمج مجموعة الطوافة ديناميكية، من أجل تخفيف العبء على تخزين الفوقية المعلومات والاتصالات ضربات القلب، لتوسيع الطوافة دور المتعلم (فقط دور دخول متزامن لعدم التصويت) ل OLAP مقروءة الأساس؛ خوارزمية لمؤسسة الطوافة انضمت إلى مرحلة ما قبل التصويت، حتى أن النظام بأكمله شبكة أكثر موثوقية في حالة غير طبيعية.
< مركز > دمج الطوافة المجموعة < / مركز >
من حيث الأداء، قضينا الكثير من إعادة الإعمار الطاقة لدينا نموذج متعدد خيوط الطوافة المجموعة على قائمة بذاتها (https://github.com/tikv/tikv/pull/3568)، على الرغم من عدم دمجها بعد في فرع الرئيسي، في تجاربنا، وهذا التحسين يجلب أكثر من ضعف الزيادة الإنتاجية، في حين يتم تقليل زمن الكتابة إلى 1/2 من الإصدار الحالي من المتوقع خلال أسبوعين سوف نكمل هذا ضخمة كود مراجعة PR، يمكن للطلاب حاليا نتطلع إلى ذلك :)
الشيء الثالث هو أن نبدأ واجهة TiKV مشغل التخزين المحلية المستخرجة تماما، ويقترن الهدف ضعيفة إلى RocksDB يمكن أن تفعل اهمية كبيرة لهذه النقطة، سواء كان المجتمع أو الخاصة بنا، ومشغل التخزين جديد مستقل وسوف تصبح أكثر ملاءمة الدعم.
في المجتمع TiKV هنا، حدث كبير آخر هذا العام هو إدراج CNCF، أصبح CNCF استضافة المشاريع، ومؤسسة أيضا CNCF أول مشروع قاعدة البيانات غير المهيكلة. وفي وقت لاحق، وكثير من أصدقائي سألني لماذا التبرع TiKV بدلا TiDB، في الواقع، والسبب الرئيسي للI مثل هذا اليوم من التغريدة قائلا TiKV أشبه عنصرا أكثر شيوعا، وعند يمكن أن يكون لها قابلة للمرونة، عندما الدعم للمعاملات ACID من بين البنوك قاعدة البيانات الرئيسية ذات القيمة، وسوف تجد العديد من مبنى آخر النظم الموزعة موثوق سيكون أسهل كثيرا، فقد انعكس بشكل جيد في TiDB هاكاثون بعد لنا. وبالإضافة إلى ذلك بدأت المجتمعات في الظهور على TiKV بنيت رديس دعم بروتوكول، وكذلك نظام الطابور الموزعة، مثل meitu / مشروع تيتان. كمشروع مؤسسة، والمجتمع لا يمكن فقط مباشرة، ولكن أيضا أن تكون قادرة على استخدامه بمثابة حجر الزاوية في بناء أنظمة أخرى، أشعر أكثر وضوحا. وبالمثل، وهذا العام سوف نحقق استقلالنا الطوافة من (pingcap / طوف-RS) من المشروع الرئيسي، ومن المؤمل أن المزيد من الناس يمكن أن تستفيد.
"...... KV والأزياء SQL الهرمية لها، تماما تمشيا مع فنادقنا NoSQL التخزين ومتطلبات التخزين ذات العلاقة، بالإضافة إلى ذلك، PingCAP وثائق كاملة ونشطاء المجتمع، وهناك بالفعل تطبيق على نطاق واسع في سيناريوهات التطبيق العملي، والشركة في بكين والتبادلات الفنية هي أيضا مريحة للغاية، كما تبين، وردت هذه المزايا في وقت لاحق ...... "- ميتو شركة تيتان مدير المشروع رن يونغ الكامل للتعليقات على TiKV
في تصميم TiDB في البداية، جردت شركتنا سوف جدولة والفوقية المعلومات الخروج من طبقة التخزين (PD)، يبدو الآن، وفوائد بدأت تدريجيا لتظهر . هذا العام على PD قضينا الكثير من الجهد في تجهيز البنية للكشف عن بؤر التوتر وبؤر التوتر جدولة سريعة، وإيفاد وتخزين تفصلنا سواء كانت فعالة جدا في تطوير واختبار أو على الخط سياسة الجدولة الجديدة. وكانت بقعة ساخنة لحظية العدو الأكبر للتخزين توزيعها، وكيفية العثور بسرعة والتعامل معها، ايضا لدينا خطط لمحاولة إدخال تعلم الآلة PD الإرسال، وهذا أمر من 2019 المحاولات. عموما، هذه مسألة طويلة الأجل.
TiDB لماذا ذكرتها من يوم 1 من الكل في Kubernetes ( "الأسئلة العشرة TiDB: بعض الأفكار حول التصميم المعماري") في مقال قبل بضعة أشهر، وهذا العام يسر جدا أن نرى، Kubernetes و المحيطة النظام البيئي قد نضجت تدريجيا، وقد بدأت العديد من الشركات لتشغيل مع Kubernetes أنظمة بعثة الحرجة، التي تؤيدها أيضا نحكم ذلك العام. في النصف الثاني من 2018، ونحن أيضا فتح مشغل TiDB لدينا (https://github.com/pingcap/tidb-operator)، وهذا المشروع هو أكثر من مجرد أداة بسيطة على K8s الآلي التشغيل والصيانة TiDB في منطقتنا استراتيجية وهي قاعدة هامة سحابة TiDB الماضي نظام متعدد المستأجر مصممة تصميما جيدا هو شيء صعب للغاية، في حين جدولة قاعدة بيانات كائن موجود مع الخدمات التي تقدمها الدولة، حتى أكثر صعوبة، TiDB-المشغل تأمل أيضا في استخدام القوة من مجتمع المصادر المفتوحة، ونحن سوف نفعل ذلك معا.
< مركز > متعدد المستأجر TiDB < / مركز >
هذا العام أيضا قام الكثير من الأشياء، أنشأنا TEP قسم جديد (TiDB المؤسسة منصة) يركز على تسويق مكونات والتسليم ذات الصلة لمراقبة الجودة. كما قاعدة بيانات على مستوى المؤسسات الموزعة، TiDB الانتهاء هذا العام التجارية من جميع أنحاء 0-1، قد تكون أكثر وأكثر الزبائن يدفعون ثبت الأساسية أوكلت TiDB النضج مع هذه المهمة، ومن المؤمل أن إنشاء مجموعة TEP في المؤسسة تواصل قوة الاتجاه المنتج. من TiDB البرق (الخلية TiDB إلى بيانات عالية السرعة حاليا أداة استيراد) لTiDB-DM (TiDB-DataMigration، نهاية ترحيل البيانات - أداة التزامن) يمكن أن ينظر في وضع مفتاح تسمح للمستخدمين بسهولة تهاجر من المنبع إلى TiDB على. من ناحية أخرى، TiDB-Binlog هذا العام، وإن لم تكن جديدة، ولكن هذا العام هذا العام في العديد من ممارسة السيناريو المستخدم المجتمع، وأكثر وأكثر استقرارا. أدوات قد تفعل في نظر الكثيرين ليست كذلك "التكنولوجيا العالية"، ومرات كثيرة هي الأعمال القذرة حقا، ولكن بعد العديد من خندق المحيطة بهذه الأدوات وسيناريوهات المستخدم مصقول البيئة هو برنامج البنية التحتية ناضجة والحواجز أمام المنافسة داخل PingCAP، وحجم الفريق المسؤول عن تطوير الأدوات والأنظمة الطرفية والفريق الأساسي هو تقريبا نسبة 1: 1، أهمية هو واضح.
في السيناريو الاستخدام واستخدام TiDB الحجم ينمو أيضا، فإن الصورة أدناه هو مستخدمي الإحصاءات لدينا ونحن نعرف TiDB، بما في ذلك المستخدمين على الخط وعلى الخط المحتملين، من 1.0 GA، يكاد يكون منحنى الدالة الأسية للنمو، فقد أصبح المشهد عبر تطبيقات OLTP لمجموعات البيانات في الوقت الحقيقي مكونات النظام الأساسي بيانات مشتركة من بسيطة بدائل الخلية عملية التجزئة.
< مركز > عدد مستخدمي الإحصاءات TiDB < / مركز >
النظام الأساسي التداول هذا العام، العديد من حالات الاستخدام نموذجية، من عمق الممارسات عبر OLTP والعدد الحقيقي للمواقع جماعة الولايات المتحدة، ليتجول في جميع في وTiDB الخبرة، لدعم TiDB من بنك بكين. يمكن أن ينظر إليه من هذه الحالات شركات الإنترنت خارج الخط متطلبات تخزين البيانات إلى أقصى SLA نظام المعاملات المصرفية الأساسية التقليدية، TiDB جميع تألق في هذه المشاهد في الداخل، وشركات الإنترنت حتى (حول) كل دعوة للجميع في TiDB شعار، ونحن نقدر هذه الثقة، يجب علينا بذل كل جهد ممكن لجعل منتجات جميلة والمستخدمين والعملاء خدمة ذات نوعية جيدة. من ناحية أخرى، TiDB بدأ ببطء لإنتاج النفوذ الدولي، والفيديو على الانترنت القرع العملاقة البرمجيات (Hulu.com)، الهند أكبر على الانترنت التذاكر BookMyShow الموقع، واحدة من أكبر مزود الكهرباء Shopee في جنوب شرق آسيا وهلم جرا واستخدام على نطاق واسع كانت TiDB، في أمريكا الشمالية وأوروبا أيضا عددا من المحتملين شركة الإنترنت العملاقة على خط والاختبار.
استعراض موجز لما الماضي في عام 2018، حيث ننظر إلى المستقبل.
في الواقع، يمكنك ان ترى من قلة فعلنا في عام 2018، وقرارات التكنولوجيا الكبيرة نسبيا، 2019 ستكون استمرارا لعدة اتجاهات أعلاه. العديد من الاتجاه الرئيسي للأيديولوجية التوجيهية هو:
لمشهد HTAP صحيح، فإن التحدي الأكبر هو مدى قيام أنواع مختلفة من العزلة عبء العمل وهيكل البيانات على التكيف وفقا لخصائص الوصول. ولقد آتينا جوابه على هذه المشكلة: من خلال توسيع خوارزمية الطوافة من نسخ مختلفة من البيانات المخزنة على بنية متجانسة لاستيعاب أنواع مختلفة من الاستعلامات.
هذا الأسلوب له الفوائد التالية:
< مركز > تصبح TiDB 2019 السنوي من هذا القبيل < / مركز >
< مركز > تطبيق المتعلم في HTAP < / مركز >
في المحرك، وسوف نستمر في المضي قدما لقياس، ليس من قبيل الصدفة، ثم، وسيتم الانتهاء من هذا العام، وجميع المشغلين لقياس المسار الكامل للتنفيذ.
مفتاح آخر لهذا البرنامج هو HTAP مشغل التخزين نفسها. 2019، وسوف نقدم محرك التخزين الجديدة، بطبيعة الحال، سوف تستمر المرحلة الأولى لتحسين RocksDB، وتحسين ما زال الهدف هو تقليل LSM-شجرة التضخيم الكتابة نفسها. النموذج المختار هو WiscKey (FAST16 و https: //www.usenix.org/system/files/conference/fast16/fast16-papers-lu.pdf)، WiscKey الفكرة الأساسية هي القيمة نسج الخروج من LSM-شجرة، و للحد من الكتابة والتضخيم، وإذا أصدقاء الاهتمام TiKV، استطعنا أن نلاحظ منذ بضعة أيام مشغل التخزين الجديد تيتان (PingCAP تيتان، والندم والجمال أن المشروع الذي يحمل نفس الاسم مثل) دمجها في TiKV الفرع الرئيسي للتيتان هو تحقيق نموذج WiscKey لدينا على RocksDB، بالإضافة إلى WiscKey الأساسية نفسها، واضاف نحن أيضا في KV صغيرة وغيرها الأمثل مضمنة، تيتان في الاختبارات الداخلية لدينا مع نتائج جيدة، ومرت من طول عشوائي الكتابة مفتاح القيمة تلبية أساسا 2 مواليد RocksDB - ثلاث مرات، وبطبيعة الحال، والأداء ليس قلقي، لهذا المحرك TiDB الأكثر أهمية هو أن هذا المحرك سوف تسمح TiDB قابلة للتكيف، إلى أن تكون أكثر استقرارا، وأكثر "يمكن التنبؤ بها."
< مركز > TiKV مشغل التخزين المحلي الجديد تيتان < / مركز >
في حين تيتان نحو الاستقرار، ونحن نبني من الصفر مسح للTiDB OLTP مشغل التخزين عبء العمل أكثر ملاءمة، وقال قبل عام 2018، مشغل التخزين المحلي تفعل شيئا TiKV مجردة ووضع حجر الأساس لهذا، بطبيعة الحال، فإننا سوف لا تزال تذهب LSM-شجرة الطريق. هنا أكثر من ذكر أنه، في الواقع، كثير من الناس قد يساء فهمها والاستفادة الحقيقية من نموذج LSM-شجرة، في رأيي ليس الأداء، ولكن إلى حد ما: في نفس الوقت تحقيق أداء مقبول، تنفيذ LSM-شجرة بسيط جدا ويمكن أن تستمر إلا الأشياء البسيطة التي يمكن الاعتماد على هذا القرار وتفضيلنا بين الطوافة وباكسوس يتسق أيضا. وبالإضافة إلى ذلك تصميم LSM-شجرة على المستوى الكلي، وأكثر انسجاما مع فكرة "الطبقات الباردة" لتتناسب مع وسائط التخزين غير المتجانسة، والتي أعتقد هو الاتجاه الكبير المقبل على أجهزة التخزين.
كما هو الحال في الجانب مشغل التخزين OLAP، فإننا السير في هذا الطريق النقي تخزين عمودي، ولكن تصميم وهياكل البيانات عمودي التقليدية ليست هي نفسها، وهذا التقدم، ونحن سوف TiDB في 19 يناير المساعدة DevCon ليالي العرض الأول، حيث السرية الأولى.
كبير اتجاه آخر نموذج الصفقة، في الوقت الراهن، TiDB منذ ولادته، لم يتغير نموذج المعاملة، مع الأخذ في مزحلة التقليدي لل2PC. صالح النموذج هو بسيط، والإنتاجية ليست عنق الزجاجة، ولكن المشكلة الكبرى هي التأخير، وخاصة في المشهد عبر مراكز البيانات، والتأخير هنا أساسا على TSO أن تأخذ الطابع الزمني للذهاب وإياب الشبكة، وبطبيعة الحال، وأنا ما زلت أعتقد الساعة (TSO) عنصرا أساسيا في عزلة دون التقليل من مستوى الثبات ولنا الافتراض هو حاليا أفضل خيار، في حين مزحلة النموذج ليس أي وسيلة لتحسين تأخير، ونحن في الواقع عام 2018، لجعل مزحلة نفسها بعض التحسينات في النظرية، والحد من العديد من الشبكات ذهابا وإيابا، وأيضا في الكتابة ل2PC جديد كامل تحسين TLA + دليل (https://github.com/pingcap/tla -plus / فقاعة / الماجستير / OptimizedCommitTS / OptimizedCommitTS.tla)، وثبت صحة خوارزمية جديدة، في 2019 سيكون هناك أكثر من هذا التحسن، في الواقع، لقد تم التفكير، وكيف يمكن أن نفعل ما هو أفضل، اختيار الوقت المناسب للقيام الأمثل الصحيح. من ناحية أخرى، فإن نموذج المعاملات في هذا الصدد، 2PC من الناحية النظرية والهندسة لديها الكثير من مجال للتحسين، ولكن المهمة الأكثر إلحاحا الآن هو الاستمرار في هيكل رموز الأمثل والاستقرار العام، وهذا جزء من العمل في الفترة المقبلة من الوقت سيبقى التركيز من الناحية النظرية والبرهان. شيء آخر يمكن أن نتوقع أن بحلول عام 2019 سوف نقدم الأمن أتباع / المتعلم القراءة، قراءة هذا مع الحفاظ على الإنتاجية بما يتفق والزيادة، بينما في المشهد عبر مركز البيانات، وقراءة والتأخير تكون أصغر.
تقريبا على الحق، وأخيرا وضعت واحدة من المفضلة تشرشل الشهيرة مع اقتراب نهاية.
النجاح ليس نهائيا، والفشل ليس قاتلا: فهو الشجاعة لمواصلة هذه التهم.
النجاح ليس نهائيا، والفشل ليس نهاية المطاف، فإن الأهم هو الشجاعة للمتابعة.
عمود بلوق اليومي، والمواد التقنية الموصى بها يوميا من المدونين نوعية ممتازة بالنسبة لك. وبينما ترحب بتقديم المستخدم، مرة واحدة يتم تضمين المقالة في الرواية الرسمية، وسوف نوصي يا في المنزل وغيرها من المواقع. الصين تشعر بالقلق إزاء مفتوحة الوصول مصدر OSC اليومي لدفع جودة، انقر فوق " تعرف على المزيد "اقرأ المقال الأصلي.
