المرحلة الأولى من نظام لينكس hadoop + البحث +

لينكس الأساس قذيفة البرمجة عالية التزامن العمارة لوسين، بحث المؤسسة العامة نظام hadoop HDFS مابريديوس hbase حارس الحديقة خلية المسايل sqoop مشروع واحد حقيقي

المرحلة الثانية من آلة التعلم

قتال R لغة محوت مشروع اثنين

يتم حساب المرحلة الثالثة العاصفة تدفق

كافكا عاصفة القتال رديس المشروع ثلاثة

الحوسبة شرارة ذاكرة المرحلة الرابعة

البرمجة سكالا شرارة الأساسية شرارة مزود شرارة تدفق شرارة mllib شرارة graphx الثعبان القتالية المشروع أربعة آلة البرمجة التعلم شرارة الثعبان مشروع مشروع القتال الفعلي خمسة ستة

المرحلة الخامسة من منصة الحوسبة السحابية

عامل ميناء المربعة أوبن ستاك الحوسبة السحابية الوظيفي

المرحلة الأولى: لينكس + بحث نظام hadoop + لينكس الخطوط العريضة لهذا الفصل هي الدورة التأسيسية، والمساعدة لنا للدخول في مجال البيانات الكبيرة لينكس وضع الأساس لأفضل تعلم Hadoop، hbase، NoSQL، سبارك، العاصفة، عامل ميناء، المربعة، أوبن ستاك وغيرها الكثير الدورات. لأن الشركات دون استثناء، هو استخدام لينكس لبناء أو نشر المشروع. 1) لينكس مقدمة، لينكس تركيب: محطة إم وير البرمجيات الافتراضية عملية التثبيت، سينت أو إس الجهاز الظاهري عملية التثبيت

2) فهم خوادم الرفوف، رف خوادم نشرها باستخدام لينكس الحقيقي

3) لينكس تستخدم عادة الأوامر: استخدام وممارسة يصف الأوامر المشتركة، والأوامر المشتركة

4) إدارة عملية نظام لينكس المبادئ الأساسية والأدوات الإدارية ذات الصلة مثل PS، وpkill، أعلى، HTOP مثل هذا الاستخدام.

5) عملية التمهيد لينكس، وتشغيل مستوى مفصل، chkconfig مفصل

6) VI، VIM المحرر: VI، يصف VIM محرر، والسادس، واستخدام VIM ومفاتيح الاختصار تستخدم ألتو

7) لينكس المستخدم وحساب مجموعة الإدارة: إدارة المستخدم، إدارة المجموعة

8) إدارة القرص لينكس، LVM حدات التخزين المنطقية، NFS تفصيلي

9) لينكس إدارة أذونات ملف النظام: أذونات الملف للتقارير، فإن تشغيل أذونات الملف

10) لينكس إدارة الحزم RPM: مقدمة حزمة RPM، RPM تثبيت أو إلغاء تثبيت وغيرها من العمليات

11) يم الأوامر، يم بناء مصدر

12) لينكس الشبكة: شبكة لينكس، لينكس تكوين الشبكة وصيانتها

13) قذيفة البرمجة: كتابة مقدمة من شركة شل، شيل

14) تثبيت البرنامج المشترك لينكس: تثبيت JDK، تثبيت القط وتركيب الخلية، مشروع ويب نشر مواقع كبيرة

التزامن عالية في هذا الفصل سوف نفهم مصدر البيانات الكبيرة، تأتي البيانات من ثم فهم البيانات الكبيرة. وتعلم كيفية التعامل مع المواقع الكبيرة إذا كان عكس القضايا عالية التزامن أكثر دراسة متعمقة لينكس، بينما كان واقفا على نقطة أعلى من أجل سبر الهندسة المعمارية. 1) تحميل موازنة الطبقة الرابعة

 أ) موازنة لفس

 ط. خوارزمية الحمل، ووضع NAT، ووضع التوجيه المباشر (وDR)، وضع النفق (TUN)

 ب) تحميل F5 موازن مقدمة

2) تحميل موازنة طبقة السابعة

 أ) إنجن إكس ب) أباتشي

3) قط، JVM الأمثل لتحسين التزامن

4) مخبأ الأمثل

 أ) الإطار جافا caching

 ط. Oscache، ehcache

 ب) قاعدة بيانات مخبأ

 ط. رديس، أعطها

5) + إنجن إكس + هر + رديس لفس | memcache الحمل مبنى من طابقين تحقيق التوازن بين عشرة ملايين المعالجة المتزامنة

6) Haproxy

7) Fastdfs صغيرة إدارة تخزين الملفات مستقلة

8) نظام مخبأ رديس

 أ) رديس استخدام الأساسية ب) رديس الحارس توفر ج) بحث في كبيرة البيانات رديس أصدقاء توصية خوارزمية لوسين بالطبع داخل البيانات النص هو جزء هام جدا، خصوصا داخل التكنولوجيا الكلمة هي حجر الزاوية وراء تعلم الآلة داخل التعدين النص، نحن بحاجة إلى أن نتعلم جافا عمق الميدان داخل لوسين تقنية البحث الأساسية، ولكن أيضا يمكن أن تتعلم بايدو البحث جوجل لمثل هذا النظام هو كيفية تنفيذ العمارة. 1) لوسين مقدمة

2) لوسين مقلوب مبدأ مؤشر

>

3) بناء مؤشر IndexWriter

4) ابحث عن IndexSearcher

5) سؤال

6) الترتيب وتصفية (فلتر)

7) وتسليط الضوء على مؤشر ضبط المؤسسة العامة دورات تقنية البحث ثم أمام لوسين، إذا التكنولوجيا لوسين مثل المحرك، وهذا هو، واثني عشر المؤسسة العامة على شكل سيارة. تعلم الانتهاء من المؤسسة العامة يمكن أن تساعدك بسرعة نظام البحث في هيكلية المؤسسات. أولا، على أساس وسين المؤسسة العامة يتم، لوسين هو استرجاع المعلومات مجموعة من الأدوات، ولكنه لا يشمل نظام محرك بحث، والذي يتضمن فهرسة هيكل والقراءة والكتابة أدوات الفهرسة والأدوات المرتبطة بها، والفرز وغيرها من المهام، وذلك عندما تستخدم لوسين لا تزال بحاجة إلى التركيز على نظام محرك بحث، مثل الحصول على البيانات والتحليل، ما أوجه كلمة وهلم جرا. هدف المؤسسة العامة هو بناء نظام محرك بحث على مستوى المؤسسات، لذلك هو أقرب إلى فهمنا للنظام محرك بحث، والذي هو محرك البحث الذي يتيح لك استخدام تطبيق خدمة البحث من خلال API المختلفة، دون منطق البحث في احتياجات التطبيق إلى أن يقترن. وعلاوة على ذلك وفقا لملف التكوين قد تحدد المؤسسة العامة تحليل وضع بيانات، أشبه الإطار، كما أنها تدعم البحث سيد والمكتبات حرارة عمليات الصرف. كما تضيف ميزات الدعم شيوعا من المكاسب محرك بحث في جميع المجالات، وجه من وجوه وهلم جرا. 1) ما هو المؤسسة العامة

2) لماذا هو المشروع الذي تريد استخدامه المؤسسة العامة

المبدأ 3) المؤسسة العامة لل

4) كيفية تشغيل في المؤسسة العامة هر

5) كيفية استخدام المؤسسة العامة للمؤشر، والبحث

6) المؤسسة العامة الاستفسارات المختلفة

7) المؤسسة العامة للتصفية

8) المؤسسة العامة الرتب

تسليط الضوء 9) المؤسسة العامة لل

10) المؤسسة العامة للإحصاءات نطاق

11) مجموعة المؤسسة العامة للإحصاءات

12) إعداد نظام solrcloud

Hadoop

مخطط الحوسبة متواجد حاليا أولا، التعارف hadoop  وسمعت من البيانات الكبيرة، أن يسمع hadoop، تقودنا إلى فهم الغرض من هذا القسم hadoop، استخدامها في البيانات الكبيرة، وبسرعة إنشاء hadoop بيئة اختبار، في هذه العملية، وليس فقط استخدام المعرفة السابقة لينكس، وسوف hadoop فهم متعمق للهيكل وإرساء أساس متين لمشروع البيانات العمارة كبير في المستقبل. 1) Hadoop بيئة مقدمة

2) والعلاقة بين الموقف من سحابة Hadoop

3) إدخال تطبيقات Hadoop الداخلية والخارجية

4) Hadoop نسخة مفهوم التاريخ

5) عنصرا أساسيا Hadoop من مقدمة وhdfs، والهندسة المعمارية مابريديوس

6) هيكل كتلة Hadoop

المفصلة خطوة تثبيت 7) Hadoop الزائفة توزيع

8) سطر الأوامر hadoop المرصودة ومتصفح

اثنين، HDFS الهندسة المعمارية وتشغيل قذيفة وجافا تحليل مفصل لHDFS، مبادئها من مشروع مفتوح المصدر إلى القرص بحيث نتعلم لوضع الأساس للبيانات الكبيرة، والبيانات الكبيرة في والتعلم وزعت توزيع يبدأ التعلم الموزعة النظام (HDFS) ملف. 1) HDFS الأعمال الأساسية

2) HDFS datanode، namenode مفصل

3) Hdfs قذيفة

4) Hdfs جافا المعهد

ثالثا، شرح في مابريديوس التفاصيل مابريديوس إطار الحوسبة يمكن القول أن أي من بيانات شركة كبيرة سيتم استخدامها، وكذلك كل من المهندسين البيانات يجب أن إتقان التعلم هنا بالإضافة إلى المعلم لشرح نظرية في التفاصيل، ولكن دعونا الجميع يتقن بشكل دقيق من قبل عدد كبير من الحالات. 1) يصف مابريديوس أربع مراحل

2) قابل للكتابة

3) InputSplit وOutputSplit

4) Maptask

5) المراوغة: ترتيب، المجزىء، المجموعة، الموحد

6) المخفض

أربعة، مابريديوس حالة حالة 1) الترتيب الثانوي

2) مؤشر عكس النظام

3) الطريق الأمثل

4) استخراج البيانات الاتصالات المتنقلة ----- تحليل التنبؤ المسار المنحنى (خطط بريزم الصين)

5) الأصدقاء توصية الاجتماعية خوارزمية

6) الإعلان على الإنترنت دفع خوارزمية دقيقة

7) سباق البيانات بابا تيانتشى "الوشق توصية خوارزمية" حالة

8) خوارزمية مابريديوس المقاتلة رانك

، إعداد خمسة Hadoop2.x العنقودية الأمامي وتؤدي بنا إلى تطوير الكثير من البرامج مابريديوس، وهذا القسم تمكنك من تحقيق برنامج تم تطويره لتشغيل في كتلة الموزعة، وتشغيل قوية العنقودية عالية توفر. 1) قدمت العمارة العنقودية Hadoop2.x

2) إعداد Hadoop2.x العنقودية

3) توفر عالية NameNode (HA)

4) الاتحاد HDFS

5) توفر عالية ResourceManager (HA)

6) مشاكل كتلة Hadoop مشتركة وحلول

7) قاعدة بيانات إدارة المجموعة Hadoop توزيعها

Hbase المستخدمة في كثير من الحالات تكثر Hbase بيانات كبيرة، والحاجة إلى ويمكن أيضا تسليط الضوء الجميع للتعلم. تحتاج السنوات الزوجية البيانات الكبيرة المهندسين Hbase أيضا إلى التركيز على دراسة تحسين الصعب. 1) تعريف HBase

2) مقارنة مع RDBMS HBase

3) نموذج بيانات

4) نظام العمارة

5) مابريديوس في HBase

6) تصميم الجدول

عملية 7) بناء كتلة شرح

8) كتلة مراقبة

إدارة 9) كتلة

10) HBase شل والتظاهر

11) تصميم Hbase الجدول شجرة

12) Hbase لكثير وكثير إلى طاولة تصميم

13) Hbase حالة المدونات الصغيرة

14) Hbase بالدفع حالة

15) Hbase الأمثل على مستوى الجدول

الأمثل 16) كتابة البيانات Hbase

17) Hbase قراءة البيانات الأمثل

يتم احتساب مستودع البيانات HiveHive باستخدام إطار hadoop SQL، عمل الجزء الأكثر استخداما من المقابلة هو محور هذا القسم سوف تتعلم كل جوانب تطبيق الخلية، وسوف تعطيك بأي قدر من التفصيل المعنية. 1) تخزين البيانات أساسيات

2) تعريف الخلية

3) هيكل نظام خلية مقدمة

4) كتلة الخلية

5) ملف تعريف عميل

6) المعرفة HiveQL

7) مقارنة HiveQL مع SQL

8) أنواع البيانات

9) جدول الأقسام والجدول الخارجي

10) العروض العميل DDL وCLI

11) العروض العميل DML وCLI

12) تحديد العروض العميل CLI

13) المشغلين وظائف مع العروض العميل CLI

14) خلية SERVER2 مع جدبك

15) دالة معرفة من قبل المستخدم () تطوير UDF وUDAF والتظاهر

16) خلية الأمثل

تنطبق أداة ترحيل البيانات لتحويل البيانات إلى Sqoopsqoop بين HDFS توزيع قواعد البيانات العلائقية ونظم البيانات في المؤسسة، هو أداة عظيمة لبناء مستودعات البيانات. 1) لتكوين Sqoop

2) Sqoop قذيفة باستخدام

3) Sqoop والاستيراد

 أ) DBMS-hdfs ب) DBMS-خلية ج) نظم إدارة قواعد البيانات، hbase

4) Sqoop-exportFlume توزيعها

كان الإطار سجل المسايل أول نظام جمع سجل تقدمها Cloudera، حاليا مشروع حاضنة تحت أباتشي، المسايل دعم جميع أنواع مرسل البيانات المخصصة في سجل النظام لبيانات اجمع. الانتهاء من هذه الدراسة ليس فقط يمكن فهم مهرجان المسايل الاستخدام، ويمكن القيام بها لتطوير المجرى. 1) المسايل مقدمة - أساسيات

2) المسايل تجميعها واختبارها

3) نشر المسايل

4) تكوين مصدر المسايل والاختبار

5) تكوين بالوعة المسايل والاختبار

6) تكوين المسايل محدد ودراسة حالة

7) المسايل التكوين ودراسات الحالة بالوعة المعالجات

8) المسايل التكوين ودراسات حالة اعتراضية

9) المسايل التنمية العميل AVRO

10) المسايل والتكامل كافكا

حارس الحديقة

دور حارس الحديقة في تنمية التجمعات وزعت (Hadoop النظم الإيكولوجية) البارزة على نحو متزايد، وتطوير التطبيقات الموزعة كما يوفر راحة كبيرة، وهذا هو المكان الذي يؤدي دراستنا المتعمقة للأسباب حارس الحديقة. ويتضمن محتوى الدورة المتعمقة حارس الحديقة والتنمية العميل (البرمجة جافا، وتطوير الحالة)، وتشغيل والصيانة اليومية، ورصد اجهة ويب. نحن هنا نتعلم حارس الحديقة، غيرها من التكنولوجيات الهامة للتعلم في وقت لاحق. 1) وضع حارس الحديقة جافا المعهد

2) حارس الحديقة جمهورية جزر مارشال وزعت تطوير التجمعات توفر عالية

3) حارس الحديقة رديس تحقيق مراقبة توافر عالية

4) Netty غير متزامن إطار التواصل الإعلام والتوعية

5) توزيع حارس الحديقة العمارة لتحقيق توافر عالية المشروع netty القتالية تحليل سجل المورد الكهرباء الرئيسية وإدارة النظام في التعلم القتال الفعلي، التكنولوجيا إلى حد كبير، عن كيفية التطبيق العملي لهذه النقاط هو أن لدينا خبرة في مسار أقل من الذات. الكهرباء تحليل سجل المورد تشمل: الكهروضوئية، الأشعة فوق البنفسجية، ومعدل ارتداد، فإن معدل القفزة الثانية، ومعدل التحويل الإعلان، محرك البحث الأمثل، وحدة النظام: توصيات المنتج، وتصنيفات الأعمال والاستفسارات أجل التاريخية، تقارير النظام والإحصاءات. مشروع بنية النظام التقنية:

أ) مشاريع ويب التكامل ومشاريع الحوسبة السحابية

ب) مشروع المجرى إلى سجل الويب جمع في الوقت الحقيقي من خلال أفرو

ETL ج) بيانات

د) تنفيذ مزود دفعة خلية

ه) وظيفة الخلية مخصص

و) خلية والتكامل hbase.

تحليل الدعم بيانات SQL ز) Hbase

ح) مابريديوس استخراج البيانات

ط) تجهيز Hbase داو

ي) استخدام Sqoop في المشروع.

ك المكالمة) مابريديوس ورصد توقيت

المرحلة الثانية: آلة R تعلم اللغة

R آلة التعلم في حد ذاته هو تحليل البيانات والتصور جيد جدا البرمجيات، في وقت واحد والجيل الأول من آلة أدوات التعلم، بما في ذلك عدد كبير من الحزم لإضافة تعلم الآلة. هذا الجزء من لغة R ليقودهم لمعرفة المزيد هو أن يقودنا إلى مجال تعلم الآلة، آلة التعلم خوارزميات في حين أن الخط الرئيسي، من خلال دراسات الحالة سوف تسمح لنا لفهم أكثر وضوحا محتويات السياق. 1) يصف لغة R الوظائف الأساسية، وأنواع البيانات

2) الانحدار الخطي

3) تجميع النظرية الافتراضية ساذج

4) تصنيف شجرة القرارات

5) ك وسيلة تجميع أ) المنحرف كشف

6) استكشاف قواعد الرابطة

7) الشبكة العصبية محوت

آلة محوت تعلم لتوفير بعض تحقيق آلة قابلة للتعلم خوارزمية الكلاسيكية، فإن العديد من الشركات تستخدم محوت بسرعة وسهولة إنشاء تطبيقات ذكية. محوت يحتوي على العديد من التطبيقات، بما في ذلك تجميع وتصنيف وتوصية الترشيح والتعدين الطفل بشكل متكرر. باستخدام محوت أباتشي هدوب، يمكن أن تمتد على نحو فعال في سحابة. وهو يعتبر أدوات التعلم الآلي الجيل الثاني من هذه الصناعة. بعد هذا القسم سوف لا تعلم فقط محوت مكونات المشروع بحيث يكون لدينا حقا وتطبيقه على عملهم. 1) مقدمة لماذا استخدامها، آفاقها

 أ) موجز محوت ب) موجز آلة التعلم ج) أمثلة تثبت محوت برنامج توصية مستقل

2) تثبيت تكوين (الإصدار hadoop2.x) مترجم تركيب الخطوة الوصف

 أ) اختبار تشغيل سطر الأوامر مفهوم تصفية التعاونية

3) الموصى بها

 أ) تصفية التعاونية القائمة على العضو شرح ب) شرح مقال على أساس تصفية التعاونية

4) تصنيف

 أ) تصنيف مفهوم ب) تصنيف التطبيقات ومزايا تصنيف محوت ج) تصنيف وتجميع، والفرق بين د مستحسن) أعمال تصنيف

 ه) و مفهوم تصنيف المدى) سرية المشروع سير العمل ز) كيفية تحديد مؤشرا ح) يصف المصنف الخطي، النظرية الافتراضية المصنف و

 مقدمة ط) المصنف شجرة القرارات، وي المصنف الغابات عشوائي) يظهر كود كيفية استخدام المصنف النظرية الافتراضية والمصنف الغابات عشوائي

5) العنقودية

 أ) مفهوم تجميع ب) تجميع خطوة عملية ج) مسافة الكتلة مقياس د) شرح E-K وسائل تجميع) K-وسائل تجميع المعرض خوارزمية

 و) آخرين خوارزميات تجميع ز) ح مقدمة TF-IDF) تطبيع ط) المدونات الصغيرة القتالية مشروع تجميع القضية المدونات الصغيرة مشروع استخراج البيانات التسويقية وباستخدام بيانات من منصة المدونات الصغيرة، وأهداف المشروع من خلال التعلم الآلي من مجموعات العملاء المستهدفة التعدين المعرفة، لإيجاد المتحدثين باسم الصغرى بلوق الإعلان والتسويق. مشروع بنية النظام التقنية:

أ) منصة توزيع Hadoop، مابريديوس

ب) الحصول على البيانات المسايل

ج) التنظيف بيانات ETL

د) قاعدة بيانات Hbase، رديس

ه) آلة التعلم محوت

المرحلة الثالثة: عاصفة حساب تدفق رديس عازلة

والخطوط العامة للدورة النظام 1) رديس خصائص مقارنة مع قواعد البيانات الأخرى

2) كيفية تثبيت رديس

3) كيفية استخدام العميل سطر الأوامر

4) رديس نوع السلسلة

5) رديس نوع التجزئة

6) رديس نوع قائمة

7) رديس نوع جمع

8) كيفية استخدام جافا للوصول إلى [a.python الوصول رديس رديس، رديس الوصول سكالا]

9) رديس الصفقة (صفقة)

10) رديس قناة (أنابيب)

11) رديس استمرار (AOF + RDB)

12) رديس الأمثل

الرئيسي 13) رديس النسخ المتماثل من

14) رديس توافر الحارس

15) twemproxy، CODIS القتالية

16) redis3.x تكوين التثبيت الكتلة

كافكا كافكا هو يصطف الدورات الشعبية الحالية، يمكن القول أن جزءا هاما من البيانات التي تم جمعها من البيانات الكبيرة العلاقة الحوسبة، في هذا القسم سوف نقوم بدراسة الهندسة المعمارية في التفاصيل، كافكا الجميع تقريبا سوف تشارك في بيانات المشروع كبيرة. 1) ما هو كافكا

2) كافكا العمارة

3) كافكا تكوين مفصل

4) تركيب كافكا

5) كافكا استراتيجية التخزين

6) خصائص التقسيم كافكا

7) كافكا من نشر والاشتراك

8) التنسيق حارس الحديقة والإدارة

9) كافكا عملية البرمجة جافا

10) سكالا كافكا عملية البرمجة

11) المسايل والتكامل كافكا

12) التكامل بين كافكا والعاصفة

عاصفة

بعد البيانات في الوقت الحقيقي تجهيز جزء من هذه الدراسة، فإننا سوف نسيطر تماما على آليات ومبادئ الداخلية العاصفة، من خلال القتال المشروع كبيرة، بحيث يكون لدينا فكرة كاملة عن تطوير المشاريع والهندسة المعمارية، والبيانات الرئيسية التي تم جمعها من تخزين البيانات في الوقت الحقيقي ومن ثم لحساب العرض المقدمة كل الناس الحصول على وظيفة! على سبيل المثال يمكن للشخص الحصول على تاوباو المزدوج المشروع 11 الشاشة الكبيرة! ليس فقط لتحقيق مستوى تطوير المشروع، ويمكن أن يقف منظور المهندس المعماري من المستوى المعماري لإكمال المشروع. مشروع بنية النظام التقنية:

المفاهيم الأساسية لل1) عاصفة من

2) تطبيق سيناريوهات العاصفة

3) مقارنة بين العاصفة وHadoop

4) تركيب الاستعدادات العاصفة بيئة نظام لينكس

5) إعداد نظام حارس الحديقة

6) إعداد العاصفة العنقودية

7) العاصفة شرح الجانبي التكوين البند

8) لبناء حلول للمشاكل المشتركة العنقودية

9) عاصفة المكونات التقليدية وAPI برمجة: طوبولوجيا، صنبور، بولت

10) عاصفة استراتيجية تجمع (تجمعات تيار)

ستروم تطوير مثال WordCount 11)

12) عاصفة وضع برنامج محلي التصحيح، العاصفة برنامج التصحيح عن بعد

13) تجهيز المعاملات العاصفة

14) عاصفة موثوقية الرسالة والتسامح مع الخطأ المبدأ

15) عاصفة قائمة انتظار الرسائل ملزمة كافكا: المفاهيم الأساسية الرسائل في قائمة الانتظار (منتج، المستهلك، المواضيع، وسيط، الخ)، ورسالة طابور سيناريوهات الاستخدام كافكا، العاصفة برمجة API ملزمة كافكا

16) مفهوم العاصفة ترايدنت

مبدأ الدولة 17) ترايدنت

18) ترايدنت التنمية مثال

19) عاصفة DRPC (المكالمات البعيدة الموزعة) مقدمة

20) عاصفة DRPC القتالية شرح

21) دمج الإصدار 2.x Hadoop والعاصفة: عاصفة على غزل

تطوير عاصفة القتال: كافكا + العاصفة + + Hbase رديس القتال المشروع، فضلا عن العديد من الحالات القتال المشروع تشاينا موبايل حماية منصة محطة قاعدية A موبايل البلدية، أنتجت كتلة بيانات الحركة اليومية (المدن أعلى الاولى من الدرجة)، من خلال تحليل الوقت الحقيقي لأعداد كبيرة، ومعدل انخفاض اتصال مراقبة كل محطة قاعدة، فإن العدد الإجمالي للمكالمات قاعدة، المكالمات انخفض إجمالي عدد المحطات القاعدية، والتنبيه المحطة الأساسية، 3G / 4G حركة المرور على الإنترنت في الوقت الحقيقي. لمزيد من الأبعاد من أجل تحقيق في الوقت الحقيقي محطة الرصد تحليل يعمل. مشروع بنية النظام التقنية:

العاصفة + + hbase كافكا + المسايل + echarts

أ) سجل المسايل الاستحواذ في الوقت الحقيقي

ب) كافكا عازلة طابور

ج) معالجة العاصفة في الوقت الحقيقي

د) Hbase داو مخازن معالجة النتائج

ه) تقارير الأمامية الويب في الوقت الحقيقي العرض

المرحلة الرابعة: الحوسبة الذاكرة شرارة قسم دورات اللغة بيثون بيثون تتمكن من دراستها بشكل كامل بعد فهم جوهر بيثون، ومن خلال هذا الجزء من التعلم للجميع لإرساء أساس، في إطار الحوسبة آخرين في لغات متعددة سوف تنطوي على استخدام الباب اللغة الشعبية بيثون. والمناهج الدراسية في الوقت نفسه من خلال التعلم الآلي من حالة تسمح لهم لتعلم بايثون في الوقت نفسه إلى فهم أفضل للتعلم الآلة. 1) مقدمة وملامح بيثون

2) تركيب بيثون

العمليات الأساسية 3) بيثون (لاحظ، المنطقية، سلسلة، الخ المستخدمة)

4) بيثون هياكل البيانات (الصفوف، والقوائم والقواميس)

5) في بيثون أمثلة على تسمية دفعة صغيرة

6) بيثون شيوعا بنيت في وظيفة

7) وظيفة بيثون أكثر واستخدام التقنيات الشائعة

8) غير طبيعي

المعلمات شرح 9) بيثون وظيفة

10) في وحدة بيثون

11) الطبقات والميراث في بيثون

12) حالة الزاحف الويب

13) متصل بقاعدة بيانات، وتصاعد حدة نقطة

14) Mongodb أساسيات

15) كيفية شرح mongodb اتصال

16) قصص بيثون آلة التعلم

دورات سكالا في هذا القسم، وسوف تركز أكثر على سكالا مختلف اللغات وتطبيق مباشر للقواعد، فإنه ليس بطرق ملموسة لتحقيق، وهذا يمكن بالطبع أن يكون لها قدرة سكالا لغة البرمجة الأولية في الواقع. ويمكن رؤية هذا الجزء من الدورة ويمهد الطريق نتعلم دورات سبارك أدناه، من أجل محو الأمية بك مطلعة سكالا، نفذت ممارسة الاحماء في وقت مسبق. 1) سكالا مترجم، والمتغيرات، وأنواع البيانات المشتركة

2) سكالا التعبير الشرطي، المدخلات والمخرجات، هيكل الرقابة التداول

وظيفة 3) معلمات سكالا الافتراضي، المعلمات طول متغير

4) مجموعة سكالا من مجموعة متغيرة الطول، المصفوفات متعددة الأبعاد، الخ

5) رسم الخرائط سكالا، وغيرها من العمليات الصفوف (tuple)

6) فصول سكالا، بما في ذلك خصائص الفول، وهو باني المساعدة، مثل الهيكل الأساسي

كائن 7) سكالا، الكائن المفرد، ويرتبط ملحقات فئة الكائن، وهي طريقة تطبيق

8) حزمة سكالا، وإدخال مفاهيم مثل الميراث

سمة 9) سكالا من

10) مشغل سكالا

11) وظائف سكالا أعلى ترتيب

مجموعة من 12) سكالا من

13) اتصال قواعد البيانات سكالا

شرارة

معالجة البيانات الكبيرة يغطي هذا القسم نظرة شاملة للنظم الإيكولوجية في سبارك نموذج البرمجة، دراسة متعمقة من النواة، سبارك على غزل، سبارك الجري تدفق مبدأ الحساب والممارسة، SQL سبارك والبرمجة متعددة اللغات والمبادئ سبارك SparkR و تشغيل. ليس فقط لمطوري المشاريع، حتى بالنسبة للطلاب البحوث شرارة، وهذا جزء من مسار المبادئ التوجيهية دراسة ومفيد للغاية. 1) مقدمة سبارك

2) سيناريوهات سبارك

3) شرارة وHadoop MR، العاصفة والميزة النسبية

4) RDD

5) التحول

6) العمل

7) شرارة حساب الموقع

8) سلالته

9) لمحة نموذج سبارك

10) استراتيجيات سبارك التخزين المؤقت والتسامح مع الخطأ

11) وضيقة العرض تعتمد اعتمادا

12) شرارة شرح التكوين

13) إعداد نظام سبارك

14) إنشاء حلول للمشاكل المشتركة العنقودية

استخدمت 15) مبادئ سبارك والمكونات الأساسية RDD

16) محلة البيانات

17) جدولة

18) DAGScheduler

19) TaskScheduler

20) تفسير شفرة المصدر سبارك

21) ضبط الأداء

22) شرارة وHadoop2.x التكامل: شرارة على مبدأ غزل

شرارة الجري

في الوقت الحقيقي حساب 1) شرارة الجري: مصدر البيانات وDStream

2) لا يوجد تحول دولة مع دولة التحول

3) عملية الجري النافذة

4) sparksql القتالية البرمجة

5) عملية شرارة متعدد اللغات

6) ميزات جديدة من أحدث نسخة شرارة

سبارك MLlib

تعلم الآلة من الدروس السابقة لدينا بالفعل الجيل الأول من آلة التعلم أدوات R، وبعد ذلك درست الجيل الثاني من آلة التعلم أدوات محوت، حيث سنقوم تعلم آلة الجيل الثالث تعلم أدوات MLlib، فإننا لن نفهم فقط مكونات وMLlib بهم دعوة، ولكن أيضا من خلال مشروع سبارك في عمق فهم للواقع استخدام MLlib. هذا الجزء من الدورة يمكننا أيضا أن نرى عدم التركيز فقط على الآن، يركز الجميع على تنمية المستقبل في هذه الصناعة. 1) مقدمة

 أ) (ب) تقديم سبارك MLlib) أنواع البيانات الأساسية

2) خوارزمية الانحدار

 ج) المعمم النماذج الخطية د) الانحدار اللوجستي

3) خوارزمية تصنيف

 ه) ساذج و بايز) شجرة القرار ز) الغابات عشوائية

4) الفصل الرابع النظام توصية

5) الفصل الخامس التجميع

 ح) Kmeans ط) متناثر kmeans ي) Kmeans ++ ك) Kmeans II

 ل) الجري kmeans م) التمويه خليط ModelSparkt GraphX

FIG حساب أ) مخطط ثنائي FIG.

ب) نظرة عامة

ج) في التكوين FIG

د) خصائص FIG.

ه) الموقع

القتال المشروع مشروع المدينة الذكية تحليل البيانات الكبيرة المدينة سوف يكون جميع المبالغ الوقت هائلة من البيانات، واستخراج البيانات، والتعلم الآلي وتقنيات التصوير لتحليل يمكن تحسين البيانات التخطيط الحضري لتخفيف الازدحام المروري والمجرمين الصيد. وسوف يستخدم المشروع البيانات الحقيقية. يتعلق الأمر المعرفة على النحو التالي: مشروع بنية النظام التقنية:

أ) في الوقت الحقيقي تدفق كافكا، والجري سبارك

ب) الحوسبة الموزعة Hadoop، سبارك

ج) قاعدة بيانات Hbase، رديس

د) وشمعات تعلم الآلة Mllib

ه) عرض البيانات على شبكة الإنترنت الأمامي Struts2، echart

برامج الهاتف مشروع النظام الموصى بها وباستخدام بيانات من مساعد المحمول منصة الإنترنت، أهداف المشروع من خلال التعلم الآلي من منصة تفضيلات التعدين المعرفة من مستخدمي الهواتف النقالة، برامج الهاتف المحمول للمستخدم بدقة Tuijian، على غرار مساعد المحمول 360، مساعد موبايل هواوي، بايدو مساعد موبايل توصية وظيفة. مشروع بنية النظام التقنية:

أ) منصة توزيع Hadoop، سبارك

ب) البيانات تنظيف الخلية

ج) تحليل البيانات R RStudio

د) خدمة توصية Dubbox

ه) تصفية قواعد يرول

و) تعلم الآلة MLlib

مشروع الشاذة حركة مرور الشبكة أهداف المشروع من خلال آلة التعلم للمعرفة كشف شذوذ، بما في ذلك الكشف عن الغش، وهجمات الشبكة، الخادم ضوء استشعار خطأ (المستخدمين المشروع هي الآن المورد الكهرباء تحليل حركة المرور على الانترنت شعبية والكشف، مثل Jingdong، الوشق، تاوباو، وما إلى ذلك). يتم تطبيق وظيفة المشروع إلى منصة الإنترنت الرئيسية، تحتاج منصات الإنترنت الكبرى أن تولي اهتماما لأمن الشبكات والوقاية والكشف. مشروع بنية النظام التقنية:

أ) تخزين البيانات Hadoop

ب) شرارة إعداد البيانات

ج) تحليل البيانات R RStudio

د) تعلم الآلة MLlib

ه) تقييم البيانات وتعديل المعلمة

المرحلة الخامسة: منصة الحوسبة السحابية

عامل الميناء الدورات عامل الميناء هو محرك مفتوح المصدر التطبيق الحاوية التي تسمح للمطورين يمكن حزم التطبيقات، فضلا عن حاوية محمولة لالتبعيات، ومن ثم إرسالها إلى أي جهاز لينكس شعبية، يمكن محاكاتها. الحاوية الاستفادة الكاملة من آلية رمل لن يكون لها أي واجهة (على غرار التطبيق فون) بين بعضها البعض. تقريبا أي أداء النفقات العامة، يمكن تشغيلها بسهولة في الجهاز ومركز البيانات. الشيء الأكثر أهمية هو أنها لا تعتمد على أي لغة، بما في ذلك إطار النظام. 1) مقدمة أساسية

2) VM عامل ميناء المقارن

3) عامل ميناء الهندسة المعمارية الأساسية عرضه

4) unfs مساحة cgroup

5) عملية التمثيل الافتراضي الافتراضية خفيفة الوزن

6) تركيب عامل ميناء

7) المتطابق عامل ميناء

8) أوامر عامل ميناء شيوعا

9) الهجرة عامل ميناء مرآة

10) عامل ميناء الأنابيب] [i.openvswitch

11) عامل ميناء نسج

KVM الافتراضية الحوسبة السحابية المنابر، تقنيات مثل أوبن ستاك، وتستخدم cloudstack في الحلول الافتراضية الأساسية، الآن المربعة أكبر حصة في السوق، ونحن نريد أن يذهب دراسة متعمقة لهذه الافتراضية الأم، من أجل فهم وهذا الحوسبة السحابية العمارة أوبن ستاك المنصات، وأكثر قدرة على تطوير منصة الحوسبة السحابية الخاصة بهم. 1) الافتراضية العرض، تطبيق سيناريوهات الافتراضية، الخ

2) كيمو Libvirt وKVM

3) شنت KVM، كيمو، Libvirt

4) كيمو-KVM: تركيب أول وصول الجهاز الظاهري إلى الإنترنت

5) نات KVM الجهاز الظاهري، سد المبادئ الأساسية

6) المربعة استنساخ الجهاز الظاهري

7) المربعة آلة افتراضية التكوين فنك

8) المربعة آلة افتراضية توسيع مساحة القرص

9) KVM لقطة

10) KVM الهجرة

11) جافا، بيثون، ج لغة البرمجة السيطرة المربعة

12) لبناء منصة خاصة سحابة الظاهري

منصة أوبن ستاك سحابة في التعلم القتال الفعلي، والمناهج الدراسية وليس على الورق، من خلال بناء وتصحيح منصة أوبن ستاك حقيقية، من السهل أن نفهم، وشرح في أوبن ستاك التفاصيل لكل وحدة: حجر الزاوية، وهلة، نوفا، جمرة، النيوترون، horizen. المشاكل العملية التي واجهتها في الحال، يدل ليس فقط كيفية حل، هو شعب تعليم لتعلم لإيجاد حل لهذه المشكلة. شرح كامل القضايا الصعبة. تقنيات مختلفة بين السحابة، الجزء الشبكة هو أصعب، أكثر تعقيدا وتنوعا. الدورات التي أجريت لشبكة افتراضية في التفاصيل، بما في ذلك المبادئ الأساسية، فضلا عن البيئة المادية لبناء ومتابعة وحل المشاكل. المدربون لديها ثروة من الخبرة في المجموعة موبايل، المسؤولة عن جميع جوانب منصة سحابة، محاضرات تماما على مقربة من احتياجات العمل، وليس على الورق. 1) مبدأ أوبن ستاك إدخال وتحليل وحدة أساسية

2) شنت أوبن ستاك نشر متعددة عقدة [أ.] نظام باستخدام centos6.x

3) المبادئ الأساسية كيستون

4) محة

5) الجمرة

6) سويفت

7) النيوترون

8) أوبن ستاك API تطوير الثانوية

[1] لمعرفة البيانات الكبيرة، أستطيع التركيز إحالة التعليقات أدناه، بريد إلكتروني خاص "المواد".

[2] بعض المعلومات لديها مهلة زمنية، واغتنام الوقت الآن!

أشكركم على دعمكم!