الكاتب شو ليو هوان (الضحلة يي)

مشكلة الخلفية

ويعرف توزيع ذاكرة التخزين المؤقت بصفة عامة عبارة عن مجموعة من البيانات وتوزيع البيانات (أو التقسيم) على أي عدد من العقد الكتلة. عقدة نظام المجموعة مسؤولة عن جزء معين من ذاكرة التخزين المؤقت البيانات، عموما أجنبي توفير وصول موحد واجهة . مخبأ موزعة تحقيق عموما آلية التكرار النسخ الاحتياطي على أساس توافر البيانات، والمعروفة أيضا باسم الشبكة ذاكرة البيانات (IMDG، في الذاكرة شبكة البيانات). في التطور السريع للمنصة سحابة اليوم، باعتبارها وسيلة هامة لتحسين أداء التطبيقات، وقد تم توزيع تكنولوجيا التخزين المؤقت في القطاع الصناعي أكثر مزيد من الاهتمام ووالاستثمار في R & D . مطاطا العازلة الانترنت هو شكل جديد من مخبأ موزعة في سحابة المشهد العنقودية، التي تؤكد على تطويره مجموعة ديناميكية وتوافر عالية. أعرب ديناميكية قابلية التخزين المؤقت منصة تقدم خدمات شفافة لتوسيع منصة القدرات، عالية توفر للتعبير عن ذاكرة التخزين المؤقت يمكن أن يتسامح مع فشل العقدة.

طير علي بابا مجموعة الدراسة الذاتية من منصة داخل مرونة مخبأ / التخزين لديها عدد كبير من نشر واستخدام. العنصر الأساسي طير هي عالية الأداء، متدرجة، ونظام تخزين موثوق بها للغاية NoSQL. تدعم حاليا MDB، LDB، RDB ومحرك التخزين الأخرى. MDB الذي يشبه محرك ذاكرة تخزين أعطها، LDB هو استخدام LSM شجرة KV القرص المستمر مشغل التخزين، RDB الدعم قائمة الانتظار، مجموعة، خرائط وهياكل البيانات الأخرى في الذاكرة ومحرك التخزين الثابتة.

طير قطعة البيانات وتحسين خوارزمية التوجيه يستخدم خوارزمية التجزئة متسقة المقترحة في عام 2007 الأمازون . وينقسم الفضاء خوارزمية البعثرة بأكمله في عدد وافر من Q أجزاء قسم البيانات متساوية في الحجم (كما يشار إلى عقدة الظاهري، Q > > N، N كونه العقد التخزين المؤقت)، يتم تعيين كل عقدة مخبأ عدد مختلف من أقسام البيانات على أساس القدرة على التجهيز لها. طلب العميل الرئيسي البيانات إلى القيم وظيفة التجزئة عن طريق تعيين موقف حلقة الرمز بواسطة رمز التجزئة، يتم تعيين قيمة التجزئة رمزية مرة أخرى كمعرف التقسيم. بعد الحصول على هوية تقسيم المناطق، ورسم خرائط العميل من جدول الأقسام الخادم يتم تخزينها في مخبأ عقدة الاستعلام بعد تقسيم البيانات للوصول إلى البيانات. هذه الخوارزمية بحساب نفس مفتاح البيانات، والتي لا بد أن يتم تعيينها في الصعود إلى DataServer ثابتة، كما هو مبين:

في هذا الوقت، وقراءة، وأصبح أداء الكتابة DataServer عقدة واحدة من عنق الزجاجة القراءة والكتابة أداء بيانات واحد مفتاح ولا يمكن حلها عن طريق مستوى العقد توسيع الطريق. لأن النظام المورد الكهرباء الداخلية من مجموعة علي بابا، وتعزيز النقاط الساخنة الطبيعية في البيانات، وذلك لتعزيز منصة مخبأ المرونة الشاملة / تخزين قدرات الاستقرار والخدمات، فمن الضروري لتحسين القراءة والكتابة من البيانات الساخنة، لتمكينها من تحقيق مستوى التوسع .

واستنادا إلى مبدأ تخزين والوصول إلى طير، القراءة والكتابة التخزين المؤقت من القضايا الساخنة لمناقشة، وتعطي حلا لتلبية احتياجات المرحلة الحالية من قراءة البيانات الساخنة والكتابة المشاكل.

حلول

تقسيم الحل إلى ثلاثة أجزاء: تحديد المناطق الساخنة، والنقاط الساخنة برنامج القراءة والكتابة برنامج البقع الساخنة. حيث التركيز الكتابة إلى برامج الخادم قادرون على الوصول إلى تحديد دقيق من النقاط الساخنة الفرضية. أيضا في حالة من النقاط الساخنة يمكن التنبؤ مفتاح مقدما، وأيضا توفير API العميل المناسب لدعم جميع البيانات لبيانات معينة أو مساحة الاسم مفتاح مفتاح خاص للقدرة للمضي قدما في بقعة ساخنة ملحوظ مفتاح.

عملية إحصائية الساخنة على DataServer

DataServer بعد استلام طلب العميل، من خلال كل المواضيع عامل معالجة طلب طلب محدد (عامل الموضوع) الإحصاءات. هياكل البيانات الإحصائية من المواضيع عامل تستخدم هياكل البيانات هي الساخن نمط ThreadLocal، تماما دون تصميم القفل. الساخنة خوارزمية التعرف على استخدام هياكل البيانات تصميم متعدد المراحل سلسلة الترجيح LRU والجمع بين HashMap مع طلب الاحصاء في الخادم لضمان كفاءة فرضية معالجة الطلب، والنقاط الساخنة المرور وQPS دعم الساخنة (أي طلب البيانات ولكن لا QPS نقطة ساخنة) نفسها الناجمة عن تشكيل المفرط للمعدل تدفق تحديد دقة كبيرة. في نهاية كل فترة أخذ العينات، وسيتم نقل ترابط عامل لإحصاءات بنية البيانات من تحليل إحصائي خلفية تجمع مؤشرات الترابط والتجهيز. العمل الإحصائي بشكل غير متزامن في الخلفية، وليس لاستباق طلبت تجهيز الموارد الطبيعية البيانات.

قراءة برنامج الساخنة

تصميم الخادم

طير بعد الوصول إلى البيانات الخام هو أن تكون محسوبة تجزئة (مفتاح) BucketCount، حصلت تخزين دلو محددة البيانات، وإعادة-استرجاع جدول التوجيه لإيجاد يقع DataServer دلو القراءة والكتابة طلبات. ولذلك، فإن قراءة نفس الطلب مفتاح يقع حتما على DataServer ثابتة، ولا يمكن حلها من قبل الأفقي الرقم الداخلي DataServer.

هذه طريقة واحدة مخطط بتقسيم منطقة التخزين على HotZone DataServer للوصول إلى عزم البيانات الساخنة. هذا المجال بتخزين كافة البيانات قراءة الساخنة في التيار الناتجة عن المنطق وصول مخبأ تكوين لمعالجة وصول العميل إلى مستويات ذاكرة التخزين المؤقت. العمارة مخبأ متعدد المستويات على النحو التالي:

لا علاقة بين وزن كل منطقة تخزين DataServer HotZone، كل مخزن HotZone نفس البيانات للقراءة الساخنة. طلب العميل هو عشوائيا مفتاح بيانات الساخن لمنطقة DataServer HotZone Renyiyitai مثل هذا التركيز نقطة واحدة بناء على طلب وتجزئته إلى عدد وافر من العقد والكتلة كلها.

تصميم العميل

المنطق من جانب العميل

عندما تهيئة العميل قبل الطلب الأول، معلومات العقدة تحصل عليها من الكتلة بالكامل طير وكامل البيانات جدول التوجيه، ولكن أيضا تكتسب تجزئة تكوين الجهاز الساخنة (أي مدى وصول العميل العقد HotZone). العميل ثم يختار عشوائيا منطقة HotZone ثابتة في المنطقة القارئ HotZone الخاصة بها. في حال لم يتغير عدد وتجزئة DataServer تكوين الجهاز، واختيار لا تتغير. وهذا هو، كل وصول عميل فقط فقط منطقة HotZone.

العميل مفتاح الساخنة بعد استلام خدمة المعلومات من ردود الفعل، على الأقل بالنسبة للعميل نافذة المفعول N ثواني. سارية المفعول رئيسيا خلال الساخن، وعندما وصول العميل إلى مفتاح، المحاولات الأولى ساخنة للوصول إلى البيانات من عقدة HotZone، وعقدة المصدر في هذا الوقت البيانات عقدة HotZone DataServer تتكون من اثنين الكاش النموذجي. يحتوي عميل داخلي اثنين من ذاكرة التخزين المؤقت منطق المعالجة، أي للبيانات الساخنة، العميل العقدة طلبات الأولى HotZone، إذا لم البيانات غير موجودة، فإن البيانات إلى عقدة طلب المصدر، بعد الحصول على البيانات إلى البيانات غير المتزامنة المخزنة في العقد HotZone. عام طير استخدام التطبيق لاستدعاء واجهة العميل يمكن الحصول على البيانات، فإن التركيز كله من ردود الفعل، والتعرف والوصول إلى مخبأ متعدد المستويات هو شفاف تماما إلى الخارج. انتهاء الوقت المحدد من قبل العميل من التهيئة مخبأ HotZone الاتساق لضمان البيانات، زمنية محددة تحدد من قبل رجال الأعمال محددة من أقصى السكوت وقت البيانات المخزنة مؤقتا التناقضات.

العميل المخزنة في النقاط الساخنة المحلية بعد صدور بيانات ردود الفعل انتهاء DataServer مفتاح عقدة المصدر وسيتم قراءة. إذا كان مفتاح لا يزال في حالة الساخنة في الخادم، سوف يتلقى العميل حزمة ردود الفعل الساخنة مرة أخرى. لأن جميع عملاء تخزين في المناطق الساخنة ردود الفعل المختلفة من المعلومات الفشل إيقاع المحلية، فإنه لا يظهر If عودة جميع الطلبات إلى مصدر كل نفس لحظة. حتى لو يعود كل الطلبات إلى مصدر، فإنه من الضروري فقط أن يقرأ مرة واحدة إلى المصدر، والحد الأقصى لعدد التطبيقات لقراءة سوى عدد قليل من الآلات. بعد اكتشاف الجزء الخلفي الرئيسية للمصدر، إن لم يكن الساخنة، فإن العميل العودة إلى وضع الوصول العادي.

العلاقة بين التجزئة وQPS نسبة الانحراف

برنامج نقطة ساخنة إرسال

تصميم الخادم

علاج

لبؤر التوتر الكتابة، لأن مسألة الاتساق، من الصعب استخدام طريقة مخبأ متعدد المستويات لحلها. إذا كانت ذاكرة التخزين المؤقت للكتابة المحلية، ثم برنامج DataServer مصدر التحديث غير متزامن. عندما هو مكتوب في ذاكرة التخزين المؤقت ولكن لم يتم تحديث، إذا كان الجهاز الأعمال وتنخفض، وسوف يكون هناك لكتابة مشاكل فقدان البيانات. وفي الوقت نفسه، فإن البيانات ذاكرة التخزين المؤقت المحلية يؤدي إلى تحديث التطبيق الحالي لتعديل الجهاز في التحديث آلات دورة غير مرئية لتطبيقات أخرى، وبالتالي توسيع نطاق البيانات غير متناسقة الوقت. لذلك، متعدد المستويات الحل المؤقت لا يمكن أن تدعم البقع الساخنة الكتابة. طلب الكتابة النهائي باستخدام طريقة مجتمعة الساخنة في عملية الخادم.

يتم توزيع طلبات الكتابة مفتاح الساخنة إلى موضوع معالجة مخصص الساخنة مجتمعة موضوع IO أن دمج ضمن مفتاح زمنية معينة وفقا لطلب الكتابة، ثم يقدم الطلب إلى المحرك وفقا لدورة مجتمعة محددة سلفا مجتمعة من قبل موضوع توقيت الطبقة. نتيجة مشتركة من عملية طلب عاد مؤقتا إلى العميل، مثل طلب الاندماج مكتوبة للعودة بعد نجاح محرك التوحيد. وهذا لن يكون قضية التوافق، ولكن لم أقرأ بنجاح بعد كتابة البيانات القديمة، ولكن أيضا لتجنب العودة إلى نجاح مجموعة LDB، ونادرا أقراص الحالة البيانات (كتابة كاذبة). يمكن تكوين تفاصيل فترة توطيد على الخادم، وتغيير ديناميكية الدعم نافذ المفعول.

تصميم العميل

كتابة النقاط الساخنة المخطط هو شفاف تماما إلى العميل، والعميل لا يحتاج لإجراء أية تغييرات.

مؤشرات الأداء

LDB الضغط الفعلي نتائج القياس العنقودية هي والاندماج مفتاح واحد يكون الملايين الرئيسية واحدة من QPS (1MS الاندماج، والاندماج لا يحد من عدد المرات)، العنقودية على الانترنت حقيقية ممكن لضمان الوقت الحقيقي، فقد اعتمدنا أكبر 0.1ms والحد الأقصى للواحد العدد الإجمالي من 100 مرة من الحد المسموح به. هذا قرص واحد QPS مفتاح أقصى المحرك قبالة طبقة يمكن التحكم أقل من 10000 (أدرج QPS يعتمد على وتيرة وصول التطبيق). طلب طير خادم تجهيز حزمة من غير المتزامن تماما لعمليات دمج عملية الساخنة لا يمنع طلبات أخرى. التأثير الوحيد هو زيادة العميل RT مفتاح التشغيل السريع للطلب الكتابة. ووفقا للالتكوين الحالي، في أسوأ الأحوال، فإن عمليات العميل الكتابة مفتاح التشغيل السريع زيادة 0.1ms، وأثر هو الحد الأدنى.

مراجع

• أوراكل بالاتساق، http: //www.oracle.com/technetwork/cn/middleware/coherence/distributed-caching-089211-zhs.html

• تشين XL، تشانغ WB، وي J، وانغ W، H تشونغ، وهوانغ T. التقدم المحرز والتحديات تقنيات التخزين المؤقت وزعت في الحوسبة السحابية Ruanjian Xuebao / مجلة البرمجيات، 2013،24 (1): 50-66 ( بالصينية).

• غالتييري M، ريمر JR وفورستر موجة :. مطاطا التخزين المؤقت platforms.Q22010. ftp://ftp.software.ibm.com/software/solutions/soa/pdfs/wave_elastic_caching_platforms_q2_2010.pdf

• Hastorun D، Jampani M، Kakulapati G، Pilchin A، S موزس، Vosshall P، فوجيلز W. دينامو: جاهزون للغاية store.In المفتاح القيمة الأمازون: بروك لSYMP ACM على أنظمة التشغيل المبادئ (SOSP 2007 .. ). 2007. 205-220.