الكاتب: نيتين رانجان (نيتين رانجان)

الترجمة: تشن يان

تصحيح التجارب المطبعية: سلطة الملك

هذه المقالة حول 1500 كلمة، القراءة الموصى بها 5 دقائق.

في هذه المقالة، سوف الخبراء بيانات كبيرة تظهر لك كيفية استخدامها وكيفية استخدام HDFS HDFS HDFS إنشاء عقدة نظام المجموعة.

وسوف HDFS، سلسلة بلوق على حارس الحديقة، Hbase وOpenTSDB تبدأ في تعلم كيفية استخدام هذه الخدمات إعدادات مجموعة OpenTSDB. في هذه المقالة، سوف نستكشف HDFS.

HDFS

Hadoop الموزعة النظام (HDFS) الملف هو نظام الملفات الموزعة على أساس جافا، والذي هو متسامح خطأ، والتدرجية، والتدرجية، وغيرها، والتي يمكن تشغيلها على الأجهزة المتوفرة تجاريا، قد تكون الأجهزة منخفضة التكلفة في نشر. تطبيق HDFS Hadoop هو التخزين الموزعة، والتي توفر سهولة الوصول إلى واجهة البيانات.

هندسة معمارية

وتشمل HDFS العمارة وNameNode، DataNode وNameNode وضع الاستعداد.

HDFS وجود بنية السيد / العبد.

NameNode: تحتوي مجموعة HDFS على NameNode احد (الماجستير)، التي تدير مساحة نظام الملفات وعميل التحكم في الوصول إلى الملفات. وتحتفظ وتدير نظام الملفات الوصفية، مثل الذي يمنع تشكل الملف، وعقدة تخزين هذه الكتل البيانات.

DataNode: يمكن أن يكون هناك DataNode متعددة، وعادة ما يكون هناك DataNode كل عقدة في الكتلة، والتي هي المسؤولة عن إدارة عملية التخزين عقدة الوصول. HDFS DataNode تخزين البيانات الفعلية، يمكن للDataNode إضافة المزيد من الجهود لزيادة المساحة المتوفرة.

الاستعداد NameNode: NameNode خدمة النسخ الاحتياطي ليست في الحقيقة NameNode الغيار، على الرغم من أن اسم يسمى NameNode وضع الاستعداد. على وجه التحديد، فإنه لا يوفر إمكانية توفر عالية (HA) هو NameNode.

لماذا أحتاج إلى NameNode الغيار؟

NameNode تعديل أثر نظام السجل ملف النسخ الاحتياطي، وإلحاق نظام الملف الأصلي كما سجل التغيير.

• عند بدء تشغيل NameNode النسخ الاحتياطي، فإنه يقرأ الدولة HDFS من fsimage ملف الصورة، ومن ثم تمكين "ملف تحرير دخول" لتحريره.
• ثم كتابة fsimage دولة جديدة HDFS، واستخدام "تحرير فارغة ملف" لبدء التشغيل العادي.
• منذ اندماج NameNode فقط الملفات fsimage وتحرير عند بدء التشغيل، مجموعة مشغولا للغاية، مع مرور الوقت، "تحرير ملف سجل" يمكن أن تكون كبيرة جدا.
• كبير "ملف تحرير دخول" هو أثر جانبي آخر: في المرة القادمة إعادة تشغيل NameNode، يستغرق وقتا أطول.
• NameNode البديل بانتظام وجنبا إلى جنب fsimage "ملف تحرير السجل" وعقد "تحرير ملف السجل" في حدود الحجم.
• البديل NameNode يعمل عادة على NameNode كمبيوتر مختلفة الرئيسي، فإنه هو نفسه كما يتطلب الذاكرة الرئيسية للNameNode.

الملامح الرئيسية

خطأ التسامح: افتراضي لمنع فشل الجهاز، يمكن تكرارها التسامح مع الخطأ عبر البيانات DataNode متعددة، عامل نسخة هو 3 (إذا كان هناك ثلاثة DataNode، يتم تخزين كل كتلة على الأقل في ثلاث أجهزة الكمبيوتر).

التدرجية - النقل المباشر للبيانات يمكن أن يتحقق بين DataNode، بحيث دورات القراءة / الكتابة يجب أن يطابق عدد DataNode.

الفضاء - بحاجة الى مزيد من مساحة القرص؟ مجرد إضافة المزيد DataNodes وإعادة التوازن.

معيار الصناعة - يتم بناء التطبيقات الموزعة أخرى على رأس HDFS (HBASE، خريطة-الحد).

يستخدم HDFS للتعامل مع مجموعات كبيرة من البيانات، وجود الكتابة مرة واحدة قراءة كثير من (الكتابة مرة واحدة - قراءة العديد) دلالات، ليست مناسبة للوصول الكمون المنخفض.

هيكل البيانات

• وينقسم كل ملف في الكتابة HDFS 64MB أو حجم كتلة 128MB.
• يتم تخزين كل كتلة على واحد أو أكثر من العقد.
• ودعا كل الكتل نسخة نسخة طبق الأصل.

سياسة وضع بلوك

• النسخة الأولى على العقدة المحلية.
• يتم وضع النسخة الثانية على رفوف مختلفة.
• يتم وضع النسخة الثالثة من النسخة الثانية في نفس الرف.

مجموعات مجموعة HDFS

لإنشاء مجموعات HDFS، سيتم استخدام عامل الميناء.

خطوة

• عامل الميناء إنشاء شبكة المجموعة.

NameNode

إنشاء ملف متغير البيئة (namenode_env) هو NameNode في VM1.

خلق NameNode على VM1:

إنشاء ملف متغير البيئة (datanode_env) هو DataNode في كل VM ثلاثة.

خلق DataNode1 على VM1:

تم إنشاؤها على VM2 DataNode 2:

خلق DataNode 3 على VM 3.

في كل نظام رصد السفن في، فمن وتشغيلها عن طريق تنفيذ ملاحظة عامل ميناء فحص جميع الحاويات.

مرة واحدة كل كانت الحاويات وتشغيلها، انتقل إلى VM1، فتح المتصفح وفتح http: // المضيف المحلي :. 50070 / dfshealth.html # التبويب datanode سوف يظهر الإخراج التالي:

HDFS CLI

في هذه الورقة، ونحن دراسة وكيفية إنشاء ثلاث عقد نظام المجموعة HDFS HDFS. في المقال القادم، سوف نركز على حارس الحديقة، حارس الحديقة وخلق كتلة.

العنوان الأصلي:

مقدمة لHDFS

الرابط الأصلي:

https://dzone.com/articles/an-introduction-to-hdfs المحرر: وانغ جينغ تم التعليق بواسطة: Hongshu أكثر

مقدمة المترجم

تشن يان، جامعة جياوتونغ بكين، الاتصالات والدراسات العليا هندسة التحكم، ودرجة الماجستير في الهندسة، وشغل منصب والبرمجيات ونظم المهندس سور الصين العظيم الحاسوب، داتانغ الدقيقة مهندس، وترجم الحالي متفوقة بكين والتكنولوجيا المحدودة تشارك حاليا في تدريس تشغيل نظام الترجمة ذكية والصيانة، والتي تراكمت لديها بعض الخبرة في دراسة متعمقة من الذكاء الاصطناعي وشروط معالجة اللغة الطبيعية (NLP). الترجمة وقت الفراغ خلق المفضلة، وتشمل أعمال الترجمة: IEC-ISO 7816، ومشاريع النفط العراقية، والضرائب الجديدة البيان وغيرها، حيث تم نشر الترجمة الإنجليزية العمل "نيو الضرائب البيان" في GLOBAL TIMES. يمكن ترجمة تدخر الوقت للانضمام مجموعة من المتطوعين THU منصة البيانات الإرسال، ونأمل أن حصة مع تبادل التقدم المشترك

- انتهى -

تسينغهوا الانتباه - بيانات أكاديمية تشينغداو للعلوم قناة الصغرى الرسمية منصة الجمهور " بيانات الإرسال THU "أيتها الأخوات ولا". إرسال البيانات THU "لرعاية المزيد من المحاضرات ونوعية المحتوى.