خلفية الأعمال

مع تطور الخدمات الترفيهية السمك، للمستخدمين الوصول إلى حجم مئات الملايين من الطبقة، وأبعاد المقاييس بيانات المستخدم، ليصل إلى ما يصل إلى المئات. كيف من مائة مليون البيانات على مستوى، بسرعة مرشح تلبية تطلعات السكان المستخدم، لمشغلي حشد ما يرام، والمشاكل الفنية التي يتعين حلها. وغالبا ما تتطلب العديد من الحلول صناعة ساعات أو دقائق حتى على مستوى الصف من أجل إنتاج نتائج الاستعلام. توفر هذه المقالة حلا للبيانات فعالة في مكان الحادث من البيانات الكبيرة تصفية، الأساليب الإحصائية والتحليلية، وبيانات من مائة مليون المستوى في أي استفسار الجمع، وتصفية البيانات اللازمة لتحقيق عودة ميلي ثانية واحدة.

اختيار التحليل الفني

من منظور تقني، سيناريو العمل لديه الخصائص التالية:

• نحن بحاجة لدعم أي مجموعة من الأبعاد (و / أو) استعلام متداخلة، والمنخفضة للتأخير؛
• البيانات على نطاق واسع، على الأقل مائة مليون المستوى، والحاجة لدعم التوسع المستمر.
• A المؤشرات بيانات واحدة متعددة الأبعاد، على الأقل مئات، والحاجة إلى دعم متزايد، وتحليل شامل، وهذا هو مشهد OLAP نموذجي.

OLTP وOLAP

وفيما يلي مقارنة موجزة تحت OLTP وOLAP:

• كمية من الاختناقات البيانات: الخلية هو أكثر ملاءمة للبيانات بناء على أمر من مليون شخص، أي قدر من الكلمات، والاستعلام وأداء الكتابة وسيتم خفض إلى حد كبير. لذلك، عادة عن طريق الجدول الفرعي الفرعي مكتبة، والتحكم في حجم البيانات في المليون.
• الاستعلام اختناقات الأداء: الاستفسارات الخلية عن الأمراض الشائعة، الحاجة إلى مؤشر أو مؤشر مركب وحده. استعلامات الحقول غير المفهرسة تحتاج إلى مسح الجدول بأكمله، انخفض الأداء بشكل ملحوظ.

التحليل السابق، السيناريو لدينا، والخط غير مناسب لتخزين قاعدة البيانات، لذلك علينا أن نحافظ النظر قاعدة بيانات مفتاح العمود.

صف وتخزين العمود التخزين

لفترة وجيزة بعد مقارنة خصائص التخزين تمشيا مع التخزين المرتكزة على التوالي:

HybridDB لماي الحوسبة المواصفات على

HybridDB لماي الحوسبة مواصفات المشهد لدينا، والكفاءات الأساسية هي:

• أي مؤشر البعد مزيج ذكي (مؤشر المستهلك دون ذاتي مستقل)
• 10B يتعامل الاستعلام استجابة ميلي ثانية واحدة الجدول
• الخلية BI بيئة متوافقة، دعم SQL شامل
• استرجاع الفضاء، البحث عن النص الكامل، وأنواع البيانات المعقدة (العمود متعددة القيمة، JSON) الدعم

لذا، HybridDB لماي الحوسبة مواصفات هي كيفية القيام بأي رد ميلي ثانية واحدة بعد في موقع مجموعة كبيرة من البيانات الاستفسارات من ذلك؟

• العمود الأول HybridDB أداء المحرك التخزين، وسعة الذاكرة التي بنيت في تقييم الأصلية، ويجوز استخدام إحصاءات مختلفة بسرعة تخطي كتلة البيانات للكشف السريع.
• والثاني هو HybridDB تقنيات الفهرسة الذكية، على متر كبير مؤشر الكامل واسعة ومفتاح للحالة الأصلية تلقائيا التراكيب المختلفة وفقا لمؤشر العمود مرشح ذكي؛
• والثالث هو التكامل عالية الأداء من محرك حساب MPP + DAG، سواء التزامن عالية وعالية الإنتاجية الحوسبة القائمة على نموذجين لتحقيق أعلى أداء ناقلات خطوط الأنابيب، والمحرك الحساب والعمل التخزين معا بشكل وثيق لتجعل الكمبيوتر أسرع؛
• الرابع هو HybridDB دعم مجموعة متنوعة من البيانات والنمذجة تقنيات مثل نموذج نجمة، نموذج ندفة الثلج، وجمعت فرز بيانات نمذجة الأعمال المناسب يمكن تحقيق أداء أفضل.

وباختصار، HybridDB عن الخلية هي مواصفات الحوسبة متعددة الأغراض-SQL تركز على الانترنت في الوقت الحقيقي نظام مستودع، وهي مناسبة لسيناريو أعمالنا، لذلك بنينا على رأس هذه الدائرة المحرك الكامن وراء الحشد لدينا.

الطابق الأعمال

بعد الدوران حول محركات الحشد بنيت، ركزنا على تحويل نظامنا رسالة دفع، نقطة الهبوط أهمية عن صقل حشد من العمليات.

رسائل دفع الملف الشخصي

رسالة دفع (PUSH) معلومات للإتصال به هو ما يصل الى المستخدم معظم وسائل فعالة. ندفع يشيع استخدامها وسيلة لأول حساب PUSH الحشد حاليا، وعلى استعداد لنسخة تتوافق PUSH، ومن ثم دفع الوقت المحدد في اليوم التالي. PUSH ومهمة دورية عموما. ولو كان مؤقتا، ليتم إرسالها فورا PUSH مهمة ملحة، تحتاج إلى الطلاب BI تشارك في كل حاجة PUSH مهمة لتناول ما معدله حوالي نصف الطلاب الوقت اللازم لتطوير استقصاء المعلومات، والعملية صعوبة نسبيا. هذه المرة نحن حلقت الحشد مع النظام الأصلي من خلال الحصول على نظام PUSH، إلى حد كبير تحسين إعداد هذه البيانات ارسلت PUSH والكفاءة، وتحرير موارد التنمية.

بنية النظام

 طبقة حاليا البيانات: بيانات المستخدم البعد، وفرقت في جدول حاليا كل نظام عمل. نحن المهام العادية متواجد حاليا T + 1، وطبقة جمع البيانات المحسوبة في الوقت الحقيقي في جدول المستخدم واسعة واسع.

في الوقت الحقيقي الحوسبة طبقات: معايير التصفية على أساس عدد السكان، وطاولة واسعة كبيرة من المستخدم، وعدد الاستعلام وهوية المستخدم القائمة مطابقة من المستخدمين، لتقديم الخدمات للتطبيقات.

حشد تحلق نظام الاستقبال: توفير واجهة مرئية. طلاب اختيار عمليات التصفية، باستثناء الحشد، لتحليل أو PUSH الإرسال. كل واحد من الحشد، ويتوافق مع SQL المخزنة. على غرار: حدد عدد (*) من userbigtable حيث COLUMN1 >  1 وCOLUMN2 في (ع '،' ب ') و (column31 = 1 أو column32 = 2) في وقت واحد، SQL أي مجال يمكن أن تدعم طبقات متعددة و / أو مجموعات المتداخلة. حفظ الحشد مع وضع SQL، عندما SQL يمكن تنفيذها بيانات المستخدم في الجدول التغييرات في أي وقت، للمستخدمين الحصول على أحدث الناس لتحديث الحشد.

نظام PUSH: الحصول على شرط WHERE السكان من الحشد المقابلة تدور حول النظام الأمامي، ومن ثم يحسب في الوقت الحقيقي من طبقة، وقائمة الترحيل من المستخدمين، أرسل PUSH للمستخدم. في عملية التنفيذ، فقد ركزنا على حل الاستعلامات ترقيم الصفحات مشاكل الأداء.

ترحيل الاستعلام تحسين الأداء: عند النداء، وعندما يبلغ عدد سكانها على نطاق واسع (مستوى مليون دولار)، في الصفحة التالية، سيكون الاستعلام الأداء انخفضت بشكل ملحوظ. ولذلك، فإننا استخدام خط البيانات السكانية زيادة أرقام، وتصديرها إلى طرق الخلية لتحسين الأداء. بنية الجدول كما يلي:

• عدد الكثير: حشد كل الصادرات مرة واحدة، بالإضافة إلى دفعة جديدة، رقم الدفعة هو الزيادات الطابع الزمني.
• رقم السطر: 1 زيادات من كل دفعة عدد المقابلة لأرقام الأسطر هم من 1 إلى N.

نحن "معرف الحشد" + "الكثير رقم" + "أرقام الأسطر" بناء المؤشر المركب، عندما ترحيل الاستعلام، واستخدام بديلة طريقة الترحيل الاستعلام مؤشر لضمان كفاءة صفحة الاستعلام كبيرة.

وبالإضافة إلى ذلك، فإن تكلفة بيانات إضافية تصدير الأجور لهذا الغرض، وذلك بفضل HybridDB قدرات قوية تصدير البيانات، كمية البيانات في واحد مليون مليون مستوى إلى مستوى، يأخذ عدة ثوان لعشرات من مستوى ثواني. بعد المقايضة، ونحن نستخدم هذا البرنامج.

PUSH فوائد تحديث النظام

حشد نظام الدوران يوفر الدعم الأساسي القوي للقدرة عمليات المستخدم المكرر لدينا. في نفس الوقت، تدور حول الحشد، ويمكن أيضا أن تطبق على سيناريوهات الأعمال الأخرى، مثل المنزل وغيرها من احتياجات من المقرر أن يصوت السيناريوهات التشغيلية المستخدم الهرمي الخريطة التركيز، وتوفير الكثير من الفضاء لالأمثل للعمليات التجارية السمك مجانا.

تنفذ ورقة المستوى الثاني كتلة جنبا إلى جنب بيانات متعددة الأبعاد التي أرجعها نتيجة الاستعلام هو مخطط التكنولوجيا العام في سيناريو OLAP. عرض التطبيقات أيضا التحول من النظم التجارية القائمة مع هذا الحل، حققت نتائج أعمال جيدة لتلبية احتياجات أو مسرحا لإشارة مماثلة.

الخطوات التالية

حشد تحلق بيانات المستخدم محرك، T + 1 نستورد حاليا. والتي تعطى للمؤشر المتعلقة بالسكان وتيرة التغيير ليست سريعة، ويتم احتساب العديد من المؤشرات (مثل علامة المستخدم) T + 1 حاليا، لذلك أن وتيرة تحديث البيانات T + 1 هو مقبول. متابعة HybridDB نبني أقوى دائرة السلع المحرك. بيانات المنتج لدينا مقارنة مع بيانات المستخدم تتغير بشكل أسرع. على واحد منها مستخدمي اليد تحديث بضائعهم في أي وقت، من ناحية أخرى، لأن لدينا مخزون سلعة واحدة (أي تباع على أرفف المتاجر) الخصائص، فضلا عن أسباب أخرى، ووضع السلع الخاضعة للتغيير. لذلك لدينا محرك اختيار المنتج يجب أن يدرك هذه التغييرات في أقرب وقت ممكن للبيانات، وإجراء تعديلات في الوقت الحقيقي في مستوى التسليم. نحن مقرها HybridDB (التخزين) في الوقت الحقيقي والمحرك الحساب، لبناء أكثر قوة "ماخ" في الوقت الحقيقي نظام اختيار المنتج.

إشارة: HybridDB لماي قدم (https://www.aliyun.com/product/petadata)

تنويه: هذا تقديم المادة، فإنه ملك للجميع.