I. نظرة عامة

السجلات هي القضايا الرئيسية من نظام تسجيل المعلومات، كما أن البيانات كتلة المشترك. منصة سجلات توفر كل من جمع سجل نظام عمل المجموعة، وتستهلك وتحليل وتخزين وفهرسة، والاستفسارات خدمة محطة تسجيل. في المقام الأول إلى حل غير مريح التشتت لعرض السجل، عملية البحث السجل معقدة وغير فعالة، وغير قادرة على كشف الاستثناءات الأعمال وهلم جرا.

كما أن هناك مثل تطوير الأعمال والنمو، وسوف يكون لها سجل اليومي لكمية من عشرة مليارات مستوى (وفقا للاحصاءات، في المتوسط 500000 في السجل، وذروة في ما يصل الثاني إلى 800000). شهدت منصة سجل مع التطوير المستمر لأعمال العديد من التغييرات والتحسينات. أحببت هذا المقال لأشاطركم لديها سجل في النظام الحالي للبناء وتطور وتجربة الأمثل لبدء المناقشة هنا، أرحب لمناقشة تبادل.

ثانيا، نظام السجل الأصلي

هناك اشادة من 16 عاما للبدء في بناء مناسبة لأنظمة العمل الموحد منصة السجل، هي المسؤولة عن جمع كل سجلات النظام وسجلات الخدمة في تدفق البيانات، التي يتم تحميلها إلى مركز السجل (كافكا الكتلة) من المسايل أو logstash، ثم شارك في المسار، والعاصفة وسبارك وغيرها في الوقت الحقيقي سجل تحليل وسجل لHDFS التخزين الثابتة لتحليل البيانات حاليا وتجهيزها، وتوفير الاستعلام البيانات أو الكتابة ElasticSearch. ويوضح الشكل 2-1 البنية الكلية.

الشكل 2-1 تراث العمارة سجل النظام

المزيد والمزيد من التطبيقات وصول، وزيادة كمية وصول قطع الأشجار، وظهور تدريجي للاحتياجات ومشاكل جديدة، لا سيما في المجالات التالية:

مجلة الأعمال ليست معيار موحد، مجموعة واسعة من تنسيق السجل التجاري، والتطبيقات الجديدة مما لا شك فيه زيادة كبيرة في تحليل سجل وصول، وتكاليف استرجاع.

بيانات متعددة السجل طرق جمع البيانات وتشغيل أعلى وتكاليف الصيانة.

سجلات منصة مجموعة كبيرة من المعلومات دخول المستخدم لم يرى مباشرة فترة زمنية معينة، والتي رسائل الخطأ أكثر، تزيد من صعوبة تحديد مكان وجود مشكلة.

التخزين:

• وفاق باستخدام إدارة السياسة الافتراضية، كل مؤشر الموافق 3 * 2 قشرة (3 تشرين الأول، و 3 طبق الاصل عشر)، وهو رقم أكبر مؤشر نسبة الموافق كمية البيانات المقابلة لقشرة واحدة ستكون كبيرة، مما أدى إلى عقدة الساخنة، الكثير من الطلب الأكبر رفض، في حين تتركز القرص IO على عدد قليل من الآلات؛
• لرفض طلب معظم السجلات لا التعامل معها، مما أدى إلى فقدان مجلة الأعمال؛
• الافتراضي سجل سبعة أيام، لSSD كوسيلة للتخزين، جنبا إلى جنب مع نمو الأعمال التجارية، وتكاليف التخزين مرتفعة جدا.
• لم العنقودية Lingwai Elasticsearch لا تفعل العزلة المادية، في حالة وفاق مجموعة أوم حتى يتسنى لجميع الأرقام القياسية في الكتلة لا يمكن العمل، لا يمكن حماية العمليات التجارية الأساسية.

الثالث، وتطور النظم القائمة

لاسترداد السجلات من المنتجات، وذلك أساسا من خلال المراحل التالية: جمع - > نقل - > عازلة - > تجهيز - > التخزين - > استرجاع العمارة مفصل هو مبين في الشكل 3-1

FIG الهندسة المعمارية النظام القائم 3-1

3.1 الوصول دخول

ينقسم الوصول سجل الآن إلى بطريقتين، والوصول إلى SDK ودعوة المتشعب الويب خدمة الوصول

• وصول SDK: يوفر نظام السجل لغات مختلفة SDK، فإن SDK تلقائيا السجل محتويات حزمة وفقا لصيغة بروتوكول موحد في نص الرسالة النهائي، وأرسلت أخيرا إلى سجل أخيرا إعادة توجيه طبقة (rsyslog محور) عن طريق TCP.
• المتشعب ويب الوصول إلى خدمة: بعض لا يمكن استخدام SDK تسجل خدمة الوصول، يمكن إرسالها عبر المتشعب تطلب مباشرة إلى نشر نظام السجل خدمة ويب موحدة توجيهها من قبل الشبكة خلقي لكافكا العنقودية تسجيل طبقة عازلة.

جمع 3.2 السجل

هناك rsyslog محور وبوابة إلكترونية كنظام نقل السجل، هو rsyslog مجموعة معالج سجل النظام سريع، يوفر عالية الأداء، وميزات الأمان وتصميم وحدات. قبل نشر تطور نظام المسايل استخدامها مباشرة على المضيف، لأن المسايل نفسه هو تطوير جافا، فإنه سيكون أكثر تولي موارد الجهاز وموحد ورفع مستواها لاستخدام خدمة rsyslog. من أجل منع نشر وكافكا اتصالات العميل المحلية أيضا، يتم تلقي rsyslog على البيانات الوحدة، العملية ليست أيضا مباشرة إلى الأمام البيانات إلى rsyslog محور المجموعات، تحميل موازنة من خلال LVS، وrsyslog- خلفي سوف مركزا من محتويات تحليل السجل استخراج الحاجة إلى إرسالها مرة أخرى موضوع نهاية كافكا.

عازلة 3.3 السجل

كافكا هي عالية الأداء، وتوافر عالية وسهلة لتوسيع نطاق توزيعها سجل النظام، وتدفق كامل معالجة البيانات يمكن أن تنفصل، المخزن المؤقت طبقة سجل كافكا كتلة منصة يمكن أن توفر فصل للخدمات غير متزامن التالية موزعة تسجيل المستهلك، الحمولة التحول، ويشمل أيضا تراكم البيانات كتلة، وخصائص الكتابة إنتاجية عالية.

تشريح 3.4 السجل

تحليل السجل هو أهم، من أجل بسرعة أكبر، وذلك ببساطة ودقة معالجة البيانات. شرارة سجل تدفق منصة باستخدام تيار الحوسبة إطار مكتوبة استهلاك كافكا سجلات الأعمال التجارية، والغزل كما الحوسبة إدارة تخصيص الموارد من الحاويات، وسجلات ستتبع ترتيب الخدمات المختلفة، وتخصيص مختلف من الموارد للتعامل مع نماذج السجل المختلفة.

بعد البعثة شرارة كلها رسميا وتشغيلها، فإن مهمة دفعة واحدة أن يكون لسحب كل من سجل مكتوبة بشكل غير متزامن إلى الكتلة ES. يمكن أن قواعد الإنذار يكون تعيين نموذج سجل مختلفة أي محطة إدارة مرشح مطابقة، شرارة excutor وكل مهمة حفظ نسخة من الحكم على مثل هذه في الذاكرة المحلية قبل وصول الخدمة، ضمن مجموعة قواعد الوقت، الروافد عدد ناقوس الخطر بعد قواعد العتبة المكونة، وإرسال إنذار إلى القناة المحددة المحدد من قبل المستخدم، من أجل الكشف عن المشكلة. عندما الزيادة المفاجئة في حركة المرور، وفاق الطلب الأكبر رفض ستكون مكتوبة بخط إعادة kakfa سجل، في انتظار التعويض.

تخزين 3.5 السجل

• ستتم كتابة كل السجلات إلى ES الأصلية كتلة قرص SSD، logIndex يقابل مباشرة إلى هيكل الرقم القياسي داخل ES، جنبا إلى جنب مع نمو الأعمال التجارية، من أجل حل إس مشكلة قائمة بذاتها استخدام القرص تصل إلى 70 إلى 80 من نظام التخزين الموجودة باستخدام Hbase اكتمال ElasticSearch بيانات سجل الخام ومزيج من فهرس المحتوى، ومؤشر يتم تخزينها.
• البعد مؤشر إنشاؤها يوما بعد يوم، خلق ومؤشر تقدم وفقا لكمية البيانات التاريخية، قررت إنشاء غدا المقابلة مؤشر عدد قشرة، كما منع يؤدي التركيز على خلق لا يمكن كتابة البيانات. الآن نظام تسجيل تبقي فقط بتسجيل ما يقرب من الأعمال لمدة 7 أيام، إذا كان سيتم حفظ تكوين فترة التخزين الطويل في سجل المحفوظات.
• لتخزين ذلك، نظم Hbase، وتوزع إس، ويمكن أن يتم القياس الخطي.

رابعا، متعددة المستأجر

مع التطور المستمر لسجل النظام، QPS سجل شبكة كاملة ينمو، وبعض المستخدمين لتسجيل الوقت الحقيقي، ودقة، كلمة، طلب استعلام أكثر وأكثر تنوعا. من أجل تلبية احتياجات هذا الجزء من المستخدم، ونظام السجل يدعم وظائف متعددة المستأجر، وفقا لاحتياجات المستخدمين، والمخصصة للمستأجرين مختلفة من أجل التفاعل تجنب.

لبنية المستأجر واحدة هي كما يلي:

• SDK: تخصيصها وفقا لاحتياجات أو استخدامات سكاي نت TrackAppender أو SkynetClient.
• كافكا العنقودية: يمكن أن تكون مشتركة، كافكا يمكن أن تستخدم لتحديد الكتلة.
• مجموعة سبارك: شرارة الكتلة الحالية هي مجموعة في الغزل، ويتم عزل الموارد، في ظل الظروف العادية لا تحتاج إلى عزل تحديدا.
• التخزين: ES وتضم Hbase، قد تتطلب مشترك أو ES منفصلة وHbase نشر.

5. المشاكل القائمة وخطط المستقبل

حاليا، هناك الثناء كما سجل نظام متكامل في سكاي نت في وحدات وظيفة، يوفر وسيلة سهلة للبحث، بما في ذلك الاستعلامات مدى الزمن، والترشيح المجال، NOT / AND / OR، مطابقة غامض وغيرها، ويمكن تسليط الضوء على مجال الاستعلام عرض، حدد موقع سياق السجل، فإنه يمكن أن تلبي أساسا معظم استرجاع السجل الموجود من المشاهد، ولكن نظام تسجيل هناك العديد من أوجه القصور، بما في ذلك:

لينك تفتقر قسم الرصد: سجل يمكن الاطلاع عليها من الجيل الذي من خلال وحدات متعددة المستويات، والآن جمع وطبقة عازلة سجل هو فقدان يست بعد في سلسلة، لا يمكن رصدها بدقة، وأجهزة الإنذار دفع في الوقت المناسب.

الآن نموذج المقابلة لسجل كافكا الموضوع أو موضوع الاحالة الافتراضي ثلاثة التقسيم، لأنه ليس هناك مقدار الفرق السجل نموذج السجل الكتابة، مما أدى إلى بعض الموضوعات تحميل عالية، الموضوع ما يدعو بعض هدر الموارد، ودينامية الموارد تمتد وغير مريح . رقم الموضوع كبير جدا، مما أدى إلى تقسيم العدد المفرط، لكافكا تسبب أيضا بعض هدر الموارد، سيزيد من تأخير الوسيط التوقف ووقت الانتعاش.

حاليا كلمة Elasticsearch الصينية التي نستخدمها ikmaxword، كلمة المستهدفة هي الصينية، والنص هو أن تفعل معظم تقسيم الحبيبات يرام، ولكن معظمها في سجل الإنجليزية، وتجزئة ليست مرضية.

أوجه القصور في ما سبق هو ما نعمل بجد لتحسين المكان، بالإضافة إلى ذلك، قيمة سجل حفر أعمق هو الاتجاه نستكشف، وبالتالي فإن عملية عادية من الخدمات المرافقة.