Hadoop حقل البيانات الكبيرة هو الأكثر التيار الرئيسي للنظام تقني يتضمن مجموعة متنوعة من التقنيات، مثل HDFS (نظام الملفات الموزعة)، غزل (الموزعة نظام جدولة الموارد)، مابريديوس (توزيع نظام الحوسبة) وهلم جرا.

بعض الناس قد سمعت من Hadoop، ولكن في النهاية أنه ليس من الواضح ما، لاستخدام العامية في هذه المقالة لإعطائك المزيد من التفاصيل.

إذا وضعت بيانات شركتك الآن في الخلية، ثم كل شيء على خادم قاعدة بيانات واحدة، ونحن نفترض أن مساحة القرص هذا الخادم يكون 2T ذلك، فإننا ننظر إلى الصورة أدناه.

والسؤال الآن هو، عليك أن تبقي على الخلية والخادم وضعت هذه البيانات، ونتائج كمية متزايدة من البيانات، وتجاوز حجم 2T، والآن نحن من المفترض أن؟

أقول لكم، وأستطيع أن أفعل متعددة الخلية خادم قاعدة البيانات، دون مكتبة الجدول الفرعي آه! لم يقم كل خادم لوضع جزء من البيانات. كما هو مبين في الشكل!

حسنا، لا مشكلة، ثم نقوم به ثلاثة خوادم قاعدة البيانات، ثلاثة سبيل المثال الخلية، ولكل خادم يمكن 2T من البيانات.

الآن أنا أسألك سؤالا، ما يسمى يفعل البيانات الكبيرة؟ ونحن نتطلع لمعظم المبتدئين من سيناريو استخدام البيانات الكبيرة.

افترض أن لديك موقع على شبكة الانترنت المورد الكهرباء، ووضع تحليل المورد الكهرباء هذا الموقع في جميع المستخدمين على الصفحة وانقر شراء التطبيقات، وتصفح يتم تخزين سجلات السلوك معا.

كنت وضعت جميع البيانات وضعت على ثلاثة خادم MySQL، وكمية كبيرة من البيانات، ولكن لا يزال يمكن وضع بالكاد إلى أسفل.

في صباح أحد الأيام، جاء رئيسك. للاطلاع على التقرير، على سبيل المثال، للبحث في الموقع كل يوم مؤشر X، Y مؤشر، مؤشر Z، وهلم جرا، عشرين أو ثلاثين المؤشرات البيانات.

حسنا، شقيق، والآن محاولة الانتقال من هذه النقرات، وشراء، وتصفح سجل خلال كتابة SQL لتحليل الفهارس التي عشرين أو ثلاثين محاولة؟

أراهن لك، وسوف بالتأكيد كتابة بضع مئات من خطوط تبدأ، SQL أو حتى آلاف معقدة السوبر كبيرة من الخطوط. هذا SQL، كنت أعتقد أنه يمكن تشغيلها على ثلاث نقاط بعد مكتبة الخادم الجدول الفرعي الخلية ذلك؟

إذا كنت تعتقد أنك تستطيع، ثم يجب أن لا يعرف الكثير عن قاعدة بيانات MySQL تقسيم متعددة الجدول شبه حفرة، ومئات من خطوط عبر قاعدة بيانات كبيرة SQL تاريخ، العمليات الحسابية المعقدة ببساطة غير واقعي.

لذلك، وتخزين البيانات الكبيرة والحوسبة ببساطة لم يتوقف على الخلية حمل خارج بلده، لذلك Hadoop، سبارك وغيرها من نظام تكنولوجيا بيانات كبيرة تأتي إلى حيز الوجود.

أساسا، Hadoop، سبارك وتقنيات البيانات الكبيرة الأخرى، في الواقع، سلسلة من النظم الموزعة. على سبيل المثال، في Hadoop HDFS، بل هو أساسا حاسما لنظام تكنولوجيا البيانات الكبيرة، هي المسؤولة عن البيانات الموزعة التخزين، وهي تقصد؟ لا داعي للقلق، على قراءة.

HDFS لتقف على نظام الملفات الموزعة Hadoop، Hadoop هو نظام الملفات الموزعة.

وهي تتألف من العديد من الآلات، تشغيل عملية DataNode على كل جهاز، التي تدير جزءا من البيانات.

ثم وجهاز تشغيل العملية على NameNode، NameNode عموما يمكن اعتبار أن هذه العملية هي المسؤولة عن إدارة الكتلة HDFS بأكملها، الذي يقوم بتخزين جميع البيانات الوصفية HDFS العنقودية.

ثم هناك الكثير من الآلات، كل جهاز تخزين كجزء من البيانات! حسنا، HDFS يمكن الآن تخزين وإدارة كميات كبيرة من البيانات جيدة حتى.

هذه المرة سوف يكون بالتأكيد موضع شك: خادم MySQL ليس هذا الحق؟ إذا كنت تعتقد ذلك، هل سيكون خطأ.

هذا ليس ما تريد في غاية البساطة، HDFS الطبيعية والتكنولوجيا وزعت، حتى تتمكن من تحميل كميات كبيرة من البيانات، وتخزين البيانات، وإدارة البيانات، يمكنك استخدام HDFS الطبيعية تفعل.

إذا كنت تصر على الجدول الفرعي الفرعي مكتبة الخلية هذا الشيء، والكثير من الأوقات أن تكون مؤلمة، لأنه لم يتم تصميم الخلية كأنهم بنيان نظام توزيع، إلا أنها تفتقر الكثير من آليات حماية البيانات في قطعة تخزين البيانات الموزعة.

حسنا، أنت الآن تخزين HDFS البيانات الموزعة، ثم ليس لتوزيعها على حساب هذه البيانات حتى الآن؟

لالحوسبة الموزعة:

• العديد من الشركات تستخدم خلية لكتابة مئات من خطوط SQL كبير (على أساس مابريديوس الكامنة).
• هناك العديد من الشركات الكبيرة بدأت في كتابة مئات الأسطر من SQL ببطء مع شرارة (شرارة الأساسية هي المحرك الأساسي).

على أي حال، كتابة SQL كبير، ثم تنقسم إلى عدة مهام الحوسبة، مهيأة لكل آلة، كل واحدة مسؤولة عن الحوسبة المهام احتساب جزء صغير من البيانات، وهو ما يسمى الحوسبة الموزعة.

هذا هو بالتأكيد أكثر مما كنت تشير لنقاط جدول قاعدة بيانات الخلية إلى بضع مئات من خطوط تشغيل SQL كبير للطيران أكثر من ذلك.

لأعلاه تخزين موزعة المذكورة والحوسبة الموزعة، القواعد القديمة، والشيء نفسه بالنسبة للجميع أن يكون صورة، ويتبع الجميع الخريطة لننظر بعناية القوية العملية برمتها.

NameNode مبدأ المعماري HDFS

حسنا، بعد مقدمة لتمهيد الطريق الانتهاء، التي تم إدخالها. هذا المقال هو مناقشة جوهر مبادئ العمارة NameNode الكتلة HDFS.

هناك ذاتها وظائف NameNode الأساسية: إدارة الفوقية للمجموعات HDFS بأكملها، مثل ملف شجرة الدليل، تعيين الأذونات، تعيين عدد النسخ، وهلم جرا.

وهنا يكمن معظم صيانة نموذجية شجرة الدليل الملف، لأعطيك مثالا، ونحن ننظر إلى الرسم البياني التالي. وهناك الآن نظام عميل لتحميل ملف كبير إلى 1TB الكتلة HDFS.

عند هذه النقطة سوف تبدأ الاتصالات NameNode، وقال: أخي، أنا أريد أن إنشاء ملف جديد، انه دعا "/usr/hive/warehouse/access_20180101.log"، حجم و1TB، أنت تنظر كل الحق؟

ثم NameNode ستكون في ملف الذاكرة شجرة الدليل الخاصة بها، إلى الانخراط في كائن ملف جديد باسم الدليل المحدد هو "access_20180101.log".

وHDFS شجرة الدليل ملف ليست قطعة مركزي جدا من البيانات الوصفية، ويحافظ على HDFS توزيع نظام الملفات، التي الدليل، الذي ملف، أليس كذلك؟

ولكن هناك مشكلة، وشجرة دليل ملف في ذكرى آه NameNode! هذا الأب حفرة، كنت وضعت وضعت الفوقية الهامة في الذاكرة، في حالة NameNode يذهب عن طريق الخطأ أسفل يمكن Zezheng؟ الفوقية لا تفقد كل شيء؟

إذا كنت تستطيع تعديل دائما القرص متكررة أداء الفوقية ملف بالتأكيد منخفض آه! بعد كل شيء، وهذا هو الكثير من القرص قراءة عشوائية والكتابة!

لا يهم، ونحن نلقي نظرة على حل HDFS أنيقة. كل تغيير الذاكرة أكثر، إرسال بريد التعديلات السجل تعديل السجل عملية التعريف حفظها إلى ملف القرص، لا تعديل محتويات ملف القرص يتم إلحاق، في النظام، والأداء هو أعلى من ذلك بكثير.

كل إعادة NameNode عند تسجيل التعديلات في سجل عملية قراءة حول تشغيل الذاكرة، لا يمكن استرداد البيانات الوصفية؟

ويترتب على النص أعلاه، والعملية برمتها، استخدم هذا المخطط لمتابعة خلال ما يلي:

ولكن المشكلة مرة أخرى، فإنه بتحرير السجل إذا المتنامية، أليس كل إعادة تشغيل ستكون بطيئة جدا؟ لأن لقراءة عدد كبير من التعديلات تسجيل استئناف تشغيل الفوقية!

HDFS حتى أستطيع أن مثل هذا، آه، أعرضه ملف قرص جديد يسمى fsimage، ثم، إعادة عرض مجموعة JournalNodes، فضلا عن NameNode الاستعداد (عقدة الاحتياطية).

كل NameNode النشطة (عقدة رئيسية) لتعديل بيانات التعريف سيولد التعديلات السجل، بالإضافة إلى كتابتها إلى ملف القرص المحلي، كما كتب مجموعة JournalNodes.

ثم الاستعداد NameNode يمكن سحب من JournalNodes مجموعة السجل التعديلات، تطبيقه على شجرة دليل ملف ذاكرتهم، مع NameNode تواجد متسقة.

ثم كل من حين الى حين، وضع الاستعداد NameNode ذاكرتهم لكتابة شجرة الدليل الملف إلى fsimage على القرص، وهذا ليس السجل، وهو نسخة كاملة من البيانات الوصفية. وتسمى هذه العملية نقطة تفتيش للتفتيش.

ثم هذا fsimage تحميلها على NameNode النشطة، ثم أفرغ من عمليات التحرير القديمة السجل ملف NameNode النشطة، قد يكون هناك مليون خط تعديل السجل!

ثم تابع NameNode النشطة للحصول على طلب لتعديل البيانات الوصفية، ثم التعديلات كتابة سجل، وكتب بعض الوقت، قد يكون هناك عشرات من خطوط على تغيير السجل ذلك!

إذا كان في هذا الوقت، إعادة تشغيل NameNode النشطة، البنغو! لا يهم، ما دام NameNode الاستعداد تمر fsimage مباشرة قراءة الذاكرة، وهذا هو التعريف fsimage مباشر لا يتطلب أي عملية إضافية، القراءة نقية، وكفاءة عالية!

ثم تسجيل التغيير التعديلات الجديدة السجل في عشرات من خطوط كمية صغيرة من الذاكرة للعب مرة أخرى على OK!

وسرعة هذه العملية تبدأ أسرع وأكثر! لأن التعديلات السجل لا تتطلب الكثير من عرض على الملايين من خطوط البيانات الوصفية لاستعادته! كما هو مبين في الشكل.

وبالإضافة إلى ذلك، ونحن ننظر إلى هذه الصورة أعلاه، لدينا الآن اثنين NameNode:

• وتحصل عقدة رئيسية على طلب لتوفير الخدمات.
• التعديلات المزيد من السجل هو تزامن استقبال نقية وعقدة رئيسية وينفذ عقدة النسخ الاحتياطي نقطة تفتيش الدوري.

لم أجد! كلاهما الفوقية الذاكرة هو بالضبط تقريبا نفس آه! لذا، إذا علقت NameNode تواجد في الارتفاع، وبالتالي فإنه لا يمكن أن يقف ماسيراتا إلى وضع الاستعداد NameNode توفير الخدمات؟

أليس هذا ما يسمى NameNode الاستعداد توافر عالية الفشل آلية ذلك! ثم نعيد التفكير، ملفات عميل HDFS في الذاكرة NameNode شجرة الدليل، بالإضافة إلى ملف جديد.

ولكن هذه المرة، والناس تريد لتحميل البيانات إلى أجهزة متعددة DataNode يصل آه، هذا هو ملف كبير إلى 1TB! أيها تمرير ذلك؟

بسيطة جدا، وتقسيم الملفات الكبيرة إلى 1TB إلى كتلة N، كل كتلة 128MB. 1TB = 1024GB = 1048576MB، كتلة هو 128MB، هو 8192 كتلة المقابلة.

سوف كتلة إدارة التوزيع على أجهزة مختلفة، على سبيل المثال، ما مجموعه 100 آلات مجموعة مكونة، ثم وضع نحو 80 كتلة على OK على كل جهاز.

ولكن المشكلة مرة أخرى، وهذه المرة انه اذا جهاز واحد يذهب إلى أسفل، فإنه لا يؤدي إلى فقدان 80 كتلة؟

أن تحميل الملفات كبيرة تصل إلى 1TB، فقدت جزء صغير من آه البيانات. لا يهم! تعتبر HDFS جيدة!

وسوف الافتراضي للحصول على ثلاث نسخ من كل كتلة، صورة طبق الأصل، مقسمة على أجهزة مختلفة، إذا كان الجهاز باستمرار، نفس الكتلة هناك نسختين على الأجهزة الأخرى أيضا!

الجميع نلقي نظرة على هذه الصورة أدناه. وكل كتلة لديها ثلاث نسخ على جهاز آخر، أي تعطل الجهاز هم كل الحق! يمكنك أيضا الحصول على كتلة من الأجهزة الأخرى.

الآن، يمكنك تحميل ملف كبير إلى 1TB من HDFS، يمكنك الجلوس والاسترخاء الآن!

OK، فوقه هو معا العامية مع سلسلة الرسم اليدوي، على الجميع أن الحديث عن المبادئ الأساسية للبنية يمكن فهم Hadoop من البيض.

كيف Hadoop NameNode تحمل آلاف المرات في الثانية الواحدة تحت الوصول المتزامن عالية لمجموعة واسعة النطاق

وقد سبق لك البنية الكلية الأولية لمبدأ Hadoop HDFS، أعتقد أن لدينا كمية معينة من المعرفة والفهم.

دعونا نلقي نظرة، إذا كان عدد كبير من العملاء لبدء NameNode التزامن عالية (على سبيل المثال، آلاف المرات في الثانية الواحدة) الوصول إلى تعديل البيانات الوصفية، وهذه المرة NameNode كيف صمدت؟

من مصدر المشكلة

دعونا نحلل، وارتفاع الطلبات المتزامنة NameNode ما سوف يكون واجه النوع من المشاكل.

ونحن نعرف الآن، في كل مرة طلب NameNode تعديل البيانات الوصفية (على سبيل المثال، تحميل تطبيق ملف، ثم تحتاج إلى إضافة ملف في شجرة الذاكرة)، ينبغي أن تكتب التعديلات السجل.

تضم خطوتين التالية:

• كتابتها إلى القرص المحلي.
• JournalNodes تنتقل إلى الكتلة عبر الشبكة.

ولكن إذا كان هناك بعض الفهم للطلاب على بينة من القضايا الأمنية متعددة الخيوط جافا، أليس كذلك؟

NameNode القاعدة الأولى عندما السجل الكتابة التحرير: يجب علينا أن نضمن أن كل التعديلات السجل يحتوي على النظام العالمي المتزايد transactionId (المشار إليها باسم txid)، بحيث يمكن تحديد واحدا تلو الآخر التعديلات خروج من النظام.

حتى إذا كنت تريد التأكد من أن كل التعديلات سجل txid تتزايد، لديهم ليكون مؤمنا.

بعد كل موضوع تعديل البيانات الوصفية، لكتابة التعديلات السجل الوقت، يجب أن يصطف من أجل الحصول على القفل، من أجل توليد txid تدريجيا، نيابة عن الرقم التسلسلي للسجل الكتابة التعديلات.

حسنا، لذلك فإن السؤال هو، ونحن ننظر إلى الرسم البياني التالي. اذا في كل مره كتلة من التعليمات البرمجية في مقفل، وtxid جيل، ثم التعديلات ملف القرص كتابة سجل، تطلب الشبكة JournalNodes مكتوبة التعديلات السجل، سوف Zeyang؟

وغني عن القول، وهذا يتم الانتهاء بالتأكيد! NameNode نفسها مع عميل متعددة الخيوط لتلقي طلبات أكثر المتزامنة المرسلة من النتائج بعد الانتهاء من المواضيع متعددة في الواقع تعديل البيانات الوصفية في الذاكرة، واصطف إلى التعديلات كتابة سجل!

وكما تعلمون، الكتابة إلى القرص المحلي JournalNodes شبكة نقل +، هي آه تستغرق وقتا طويلا جدا! أداء اثنين من القتلة: + شبكة قرص الكتابة الكتابة!

إذا كان هذا صحيحا، وإذا كان الأمر كذلك تصميم الهندسة المعمارية HDFS، أساسا عدد NameNode المتزامنة في الثانية يمكن أن تحمل على عدد قليل، قد تعامل مع عشرات الطلبات المتزامنة معالجتها في Chengsi الثاني!

  حل HDFS أنيقة

لذلك، لهذه المشكلة، والناس لا هو الأمثل الكثير من HDFS!

أولا وقبل كل نفكر، لأننا لا نريد أن التعديلات الكتابة تسجيل كل موضوع عندما قائمة انتظار القرص التسلسل إنشاء txid + الكتابة + الكتابة JournalNode، فإنه ليس من الممكن الدخول في مخزن الذاكرة المؤقت؟

وهذا هو، ويمكن الحصول على مواضيع متعددة بسرعة قفل، وتوليد txid، ثم سرعان ما يكتب التعديلات السجل مخزن الذاكرة المؤقت.

بعد ذلك بسرعة الافراج عن القفل، بحيث موضوع القادم لاكتساب قفل على الاستمرار في توليد التعديلات معرف + الكتابة تسجيل الدخول إلى مخزن الذاكرة المؤقت.

ثم موضوع واحد القادم يمكن فرشاة الذاكرة سجل التعديلات إلى القرص، ولكن في هذه العملية، أو الاستمرار في السماح والمواضيع الأخرى التعديلات السجل هو مكتوب عازلة لالذاكرة.

ولكن هنا هناك مشكلة، إذا كان المخزن المؤقت للذاكرة نفسه، كانت مكتوبة في نفس الوقت، في حين كتب أيضا أنه بعد قراءة القرص، بل هو أيضا مشكلة، لأنهم لا يستطيعون المتزامنة القراءة والكتابة البيانات إلى الذاكرة المشتركة!

حتى هنا أخذت HDFS نقرا مزدوجا العازلة آلية التخزين المؤقت مزدوجة للتعامل مع! وتنقسم الذاكرة عازلة في قسمين:

• حيث جزء يمكن أن تكون مكتوبة.
• وعلاوة على ذلك كتابتها إلى القرص وجزء للقراءة JournalNodes.

قد تشعر أنك أقل السرد بديهية، القواعد القديمة، نأتي إلى الخريطة، وذلك للجميع للتفاصيل.

آلية شريحة قفل مخزنة ضعف الذاكرة +

أولا، من اجل الأول من كل موضوع للحصول على قفل، من أجل زيادة TxID ولدت، ثم التعديلات سجل كتابتها إلى منطقة الذاكرة 1 التخزين المؤقت مزدوج، ومن ثم إلى الإفراج فورا القفل الأول.

الاستفادة من هذه الفجوة، والجزء الخلفي من موضوع يمكن الحصول على قفل حلقت للمرة الأولى، وبعد ذلك على الفور إرسال التعديلات الخاصة بك تسجيل الدخول إلى مخزن الذاكرة المؤقت.

كتابة الذاكرة في أسرع وقت ممكن قبل عشرات تستغرق وقتا طويلا من دهاء، وبعد ذلك طار لأول مرة لتحرير القفل. لذلك هذا هو بالتأكيد الأمثل المتزامنة فعال، لم نشعر؟

ثم المواضيع المختلفة تتنافس للمرة الثانية في الحصول على القفل، ثم هناك موضوع للحصول على قفل، كما ترى، لا يوجد أحد في الكتابة على القرص والشبكة؟

إن لم يكن، وأيضا، ثم هذا الموضوع هو كلب محظوظ! مناطق 1 و 2 ضعف التبادل المباشر مخزنة، تليها قفل الإصدار الثاني. هذه العملية سريعة جدا، القاضي ذاكرة عدة شروط، وليس مضيعة بضعة ميكروثانية.

حسنا، حتى هذه اللحظة، تم تبادلها الذاكرة العازلة، مباشرة خلف موضوع يمكن أن تتحول بسرعة إلى الحصول على القفل، ثم التعديلات سجل كتابة مساحة الذاكرة عازلة 2، يتم تأمين البيانات 1 السطح، ولا يمكن الكتابة.

كيف، أليس كذلك شعرت أيضا قليلا قليلا الأمثل متعددة الخيوط؟

مئة الأمثل متعددة مترابطة الإنتاجية

ثم، وقبل موضوع محظوظا 1 في منطقة الذاكرة المخزن المؤقت للبيانات هو قراءة (هذا الوقت لم يكن أحد كتب المنطقة 1، 2 المنطقة في الكتابة)، مكتوبة داخل ملفات الدخول edtis إلى القرص، وكذلك من خلال JournalNodes شبكة الكتابة العنقودية.

لكن هذه العملية تستغرق وقتا طويلا جدا! ولكن هذا موافق، آه، والناس لم الأمثل في عملية الكتابة إلى القرص والشبكة، لا يتم عقد قفل!

ولذلك منطقة سريعة من الجزء الخلفي من موضوع طقطقة قد الحصول على قفل مكتوبة على الفور إلى الذاكرة العازلة 2، ومن ثم الافراج عن القفل.

هذه المرة عددا كبيرا من المواضيع يمكن أن تكون مكتوبة بسرعة إلى الذاكرة، لا الحجب وكيتون! ماذا عن؟ شعر الأمثل المتزامنة لا معنى له!

الأكبر مخزنة شبكة البيانات على القرص فرشاة الأمثل +

ثم موضوع Hangchihangchi محظوظا لمعالجة البيانات والقرص الشبكة الكتابة، وجاء في وراء عدد كبير من المواضيع وسريعة أولا الحصول على قفل، والكتابة عازلة منطقة الذاكرة 2، والإفراج القفل، ثم مرة ثانية للحصول على هذه المواضيع لماذا القفل؟

وسوف العثور على شخص لكتابة القرص، آه، أيها الإخوة! وسوف السكون على الفور 1 ثانية، والإفراج القفل.

في هذا الوقت عدد كبير من المواضيع المتزامنة القادمة، ثم، سيكون هنا أسرع للمرة الثانية لاكتساب القفل، ثم العثور على شخص لالكتابة على القرص والشبكة، وتأمين الافراج عنهم بسرعة، والنوم.

كيف، وهذه العملية لا أحد يمنع طويلا الآخرين، أليس كذلك! ونظرا لسرعة الافراج وقفل، وبالتالي فإن الخلفي من المواضيع أو يمكن الحصول بسرعة القفل الأول الكتابة ذاكرة عازلة!

مرة أخرى! شعر الأمثل المتزامنة لا معنى له؟

وهذه المرة، سيكون هناك الكثير من الصفحات وجدت أن محظوظا قبل مثل موضوع txid وراء خاصة بهم، ثم وضعت بالتأكيد هو مكتوب على التعديلات الخاصة السجل إلى القرص وشبكة من داخل المخزن.

وستكون هذه المواضيع حتى لا الانتظار الى النوم، على أن تفعل خلاف ذلك سيكون مباشرة بعد العودة، ببساطة لم تتعثر هنا. هنا مرة أخرى يشعر التوافق الأمثل لا؟

ثم المحظوظين الانتهاء بعد القرص وشبكة موضوع وموضوع سوف توقظ تلك نائمة قبل.

وستكون هذه المواضيع يصطف مرة أخرى بعد أقفال اكتساب إلى الحكم الثاني، مهلا! لا أحد جدت مكتوبة في القرص والشبكة!

ثم فإنه سيتم ثم تحديد، ليس هناك خلاف في موضوع بعد أن تتم كتابة سجل edtis الخاصة إلى القرص وشبكة:

• إذا كان الأمر كذلك، ثم العودة مباشرة.
• إن لم يكن، ثم أصبح موضوع محظوظا الثاني، وهما الصرف منطقة عازلة 1 و 2 منطقة لتبادل.
• ثم تحرير القفل، التي Hangchihangchi يتم كتابة البيانات المنطقة 2 إلى القرص والشبكة.

ولكن هذه المرة لا يهم آه، إذا كان موضوع راء التعديلات الكتابة تسجيل، أو يمكنك الحصول على أول مرة مباشرة بعد قفل الذاكرة عازلة الكتابة وتحرير القفل. وهلم جرا.

ملخص

هذه الآلية هي معقدة جدا وتنطوي على شريحة الذاكرة مخزنة المزدوج، وآليات تأمين اثنين.

من خلال هذه الآلية، NameNode لضمان أنه عندما مواضيع متعددة إرسال التعديلات السجل بعد تعديل البيانات الوصفية التزامن عالية، ولن أقول موضوع قرص الكتابة موضوع والشبكة، بحيث أداء سيء للغاية، والقدرة المتزامنة ضعيفة!

لذلك من خلال مجموعة من الآليات المعقدة المذكورة أعلاه، ونحن نبذل قصارى جهدنا لضمان أن مجموعة من موضوع يمكن أن يكون العديد من التعديلات تسجيل الدخول إلى قرص عازلة فرشاة والشبكة.

في هذه العملية الطويلة Hangchihangchi، يمكن أن المواضيع الأخرى الكتابة بسرعة التعديلات المتزامنة للغاية الدخول إلى الذاكرة العازلة، لا يمنع المواضيع الأخرى إرسال التعديلات السجل.

وبالتالي، فإنه هو الاعتماد على آلية المذكورة أعلاه، إلى أقصى حد لأقصى قدر من القدرة على التعامل مع ارتفاع NameNode الوصول المتزامنة تعديل البيانات الوصفية!

الكاتب: الصينية شي شان

المصدر: مذكرات العمارة Huperzine