في الموقع الرسمي Hadoop ل( يمكنك العثور على مشروع Hadoop إلكتروني ذات الصلة

معدل، كما هو موضح في الشكل 1-14

الموقع الرسمي الشكل 1-14 أباتشي هدوب

Hadoop 1.3.1 تحميل

أمام النظام البيئي Hadoop عندما قدم، تعلمنا أن التنمية في وقت مبكر من نظام Hadoop تتضمن

المشتركة (اسم يبدأ باستخدام الأساسية)، HDFS ومابريديوس ثلاثة أجزاء، والآن هذه النظم الفرعية

وقد مستقلة، كمشروع فرعي من طراز أباتشي. ومع ذلك Hadoop الصادرة في حزمة 1.0، المشتركة، HDFS و

مابريديوس أو حزم معا، نحن بحاجة فقط الى تحميل حزمة hadoop-1.0.0.tar.gz يمكن أن يكون. ملاحظة،

أيضا توفير Hadoop الوضع الرسمي تحميل التخريب (SVN)، عنوان SVN

القراء مألوفة مع التخريب، ويمكنك أيضا تحميل نسخة Hadoop1.0 من التعليمات البرمجية عن طريق العنوان، والذي يتضمن أيضا علامة

رموز في الأجزاء الثلاثة.

يوفر أباتشي عدد من المواقع مرآة، أمام الجميع لتحميل البرنامج وشفرة المصدر لها، وhadoop- المذكورة أعلاه

1.0.0.tar.gz من عنوان التحميل لل

1-15 هو مبين في الشكل.

FIG تحميل صفحة من 1-15 أباتشي هدوب 1.0

عنوان يحتوي على عدد وافر من طرق التوزيع Hadoop 1.0، hadoop-1.0.0-1.adm64.rpm ونظام 64 بت، رمز المصدر لا تشمل حزمة الإفراج hadoop-1.0.0.bin.tar.gz مثل. تحميل hadoop-1.0.0.tar.gz هو مصدر توزيعات Hadoop.

1.3.2 إنشاء مشروع الكسوف

بفك حزمة hadoop-1.0.0.tar.gz تحميلها بعد الضغط تحمل الدليل الجذر Hadoop هو E: \ hadoop-1.0.0، تبدأ سيغوين، إلى الدليل الجذر للمشروع، ونحن نبدأ الشفرة في الكسوف. ملامح النملة Hadoop لتوفير مهمة build.xml الكسوف، فإن المهمة يمكن أن يكون Hadoop رمز جيل ملفات المشروع الكسوف، دون الحاجة إلى إنشاء الكثير من العمل التكوين المطلوبة المشروع الكسوف. ببساطة تنفيذ "كسوف النمل" الأمر في سيغوين، كما هو مبين في الشكل 1-16.

الشكل 1-16 إنشاء ملفات المشروع الكسوف

علما بأن هذه العملية تتطلب استخدام محرر خط UNIX الحوار الاقتصادي الاستراتيجي، لذلك تأكد من تنفيذ الأمر المذكور أعلاه في بيئة سيغوين

لذلك، وإلا فإنه سوف يكون من الخطأ.

بعد تشغيل الأوامر، يمكنك إنشاء المشروع في الكسوف. فتح ملف الكسوف الجديدة JavaProject، إنشاء مشروع جديد Java، حدد موقع الدليل الجذر للمشروع Hadoop، وهما E: \ hadoop-1.0.0، ثم انقر فوق الزر "إنهاء" لإنجاز المشروع في الكسوف خلق، كما هو مبين في الشكل 1-17.

الشكل 1-17 إنشاء مشروع الكسوف

بعد الانتهاء من العمل، والكسوف يطالب خطأ: "متغير CLASSPATH غير منضم:" ANT_HOME /

ليب / ant.jar "في مشروع" hadoop-1.0.0 ".

ومن الواضح أننا بحاجة إلى تعيين متغير نظام ANT_HOME، بحيث الكسوف يمكن ترجمة التعليمات البرمجية المصدر في حاجة إلى العثور

مكتبة النمل، حدد البند، ثم قم بفتح بناء مسار الكسوف مشروع خصائص جافا، في محرر صفحات المكتبات (انقر زر "تعديل") خطأ مصطلح: ANT_HOME / ليب / ant.jar، إنشاء متغيرات ANT_HOME (في المقطع التالي مربع الحوار انقر على "Varliable"، والثاني مربع الحوار انقر على "الجديد" زر)، قيمة دليل التثبيت النملة، كما هو موضح في الشكل 1-18.

لأن هذا الكتاب وتحليل HDFS المشتركة وحدتين، وبناء مسار مشروع خصائص جافا

مصدر للاحتفاظ اثنين فقط الدلائل صفحة، هي الأساسية وHDFS، هو مبين في الشكل 1-19.

بعد الانتهاء من هذه العملية، مهمة خلق مشروع الكسوف كاملة.

الشكل 1-18 إنشاء المتغيرات ANT_HOME

الشكل 1-19 التحفظات الأساسية واثنين من مصدر الدلائل hdfs

1.3.3 منظمة شفرة المصدر Hadoop

وقد ضغط 1.0 Hadoop شفرة المصدر المفتوح، حصيلة عملية SRC الدليل الذي يحتوي على جميع الأجيال Hadoop

التعليمات البرمجية، هو مبين في الشكل 1-20.

كما ذكر سابقا، فإن حزمة الإفراج Hadoop 1.0، المشتركة، HDFS ومابريديوس حدة مزيد من ثلاثة

يتم حزم معا، وتقع تنفيذها في النواة، mapred hdfs والدلائل. SRC الدليل تحت شفرة المصدر وهناك العديد من الدلائل جديرة بالملاحظة، على النحو التالي.

tools: بعض تطبيقات Hadoop وتشمل المرافق، مثل هار الأرشيف، والنسخ الموزعة من distcp أداة، تنفيذ مابريديوس الأدوات التحليلية مثل الكرش.

benchmarks: يحتوي على اثنين من أدوات gridmix وgridmix2 من اختبار الأداء Hadoop من خلال هذا

هذه الأدوات، يمكنك اختبار بعض مؤشرات الأداء Hadoop العنقودية.

c ++: الحاجة إلى الإشارة إلى أن libhdfs، من خلال واجهة مكتبته جافا C، لتحقيق مجموعة من الوصول HDFS C واجهة.

examples: توفر للمطورين مع بعض الأمثلة على استخدام Hadoop، ولكن تشترك هذه الأمثلة فقط في API مابريديوس، وهذا الكتاب لا يناقش هذا الجزء.

contrib: يحتوي على اختصار مساهمة تنفيذ عدد كبير من Hadoop وحدات المساعدة، مثل مرونة الحوسبة السحابية نشر الأمازون اللازمة لتشغيل البرامج النصية Hadoop في contrib \ دليل EC2.

test: خلية اختبار تحتوي على المشروع، يمكن العثور المشتركة، HDFS ومابريديوس في الدليل

غيرها من وحدات كود وحدة الاختبار.

الشكل 1-20 Hadoop مجتمع المصادر

1.4 ملخص

البيانات الكبيرة والمفاهيم ذات الصلة، وتكنولوجيا صناعة المحتوى والأوساط الأكاديمية الانتباه مؤخرا ساخنة، Hadoop التي للعب

وهناك دور مهم جدا. هذا القسم أولا لمقدمة موجزة لHadoop، تظاهر الطلاب Hadoop المزدهر

النظم الإيكولوجية والتاريخ بسيط من Hadoop. وعلى هذا الأساس، يدخل القراء لقراءة التحاليل اللازمة لفتح Hadoop

بيئة تطوير عملية الإنشاء، وتشمل: تثبيت JDK والتكوين، وتركيب الكسوف والتكوين والتركيب والتكوين يساعد العمل

جعل. وأخيرا، في البيئة المذكورة أعلاه، يتم تأسيس بيئة مصدر الصفر وHDFS Hadoop المشتركة التي تضم،

لمزيد من الدراسة شفرة المصدر Hadoop جاهزة.

هذا هو للجميع للقيام "Hadoop من الداخل تكنولوجيا" لحصة، وهذا الكتاب هو من أعمالنا Chenxiang بينغ تساى بن، نريد أن نتعلم Hadoop أن تجد الكتاب على الانترنت.

المتابعة سوف اعطيكم، لذلك ضبطها البقاء.

تصميم جوهر إطار Hadoop هو: HDFS ومابريديوس. يوفر HDFS تخزين كميات هائلة من البيانات، يتم توفير مابريديوس لحساب البيانات الجماعية. Hadoop هو أيضا أساس وراء التقنيات الأخرى، وتعلم لتعلم أفضل Hadoop الخلية، hbase، شرارة، العاصفة، وهلم جرا.

[1] نريد أن نعرف أن Hadoop المعرفة، I نركز دون تعليق الأمام، بريد إلكتروني خاص "المواد".

[2] بعض المعلومات لديها مهلة زمنية، واغتنام الوقت الآن!

أشكركم على دعمكم!