القراء تم إعداد هذه المقالة هو ذات الصلة المهنية الكمبيوتر الكلية / البرمجيات أريد أن يطأ في مجال البيانات الكبيرة لإيجاد فرص التدريب طالب ذات الصلة، فضلا عن مجرد عمل 1--2 سنوات أن الطلاب يحبون لتحويل الاتجاه البيانات الكبيرة.

بعد قراءة هذا المقال، سوف تكسب أنت حسنات الاتجاه الأساسي من التعلم كبير تكنولوجيا المعلومات، فضلا عن المسائل وجه المشتركة قبل المقابلة واستعراض الحاجة إلى أن تكون مستعدة.

الجسم:

في عصر اليوم من البيانات، صناعة البيانات الكبيرة هي واحدة من أهم الصناعات. في صناعة البيانات الكبيرة والمحللين البيانات الكبيرة هي الأكثر في وظائف الطلب، والعديد من الكليات والجامعات فتحت أيضا بيانات كبيرة خاصة المهنية، وتدريب العاملين في مجال تحليل البيانات.

اليوم نحن في هذا الموضوع، جنبا إلى جنب مع سنوات من الخبرة المقابلة للمؤلف، للدردشة، وإذا مقابلة محلل البيانات الكبيرة وظيفة (بداية والمتوسطة)، الأمر الذي يتطلب المهارات التقنية الأساسية لسيده.

في عملهم اليومي، ومحتوى العمل الأساسي هو المحللين بيانات كبيرة من كميات كبيرة من البيانات ومعالجة البيانات والتحليل الإحصائي وغيرها من الوسائل التقنية التعدين الخوارزميات لبيانات تحويل إلى معلومات مفيدة، وبالتالي الى مزيد من المعرفة واستيعابها ومن الحكمة.

ولذلك، فإن التكنولوجيا المستخدمة ستكون على نطاق واسع جدا، وهذا يتوقف على متطلبات الأعمال الخاصة والبنية التحتية التقنية. تركز هذه المقالة على تقنية شركتنا الأكثر شيوعا، فإنه من المرجح أن يطلب في تقنيات المقابلة.

الشكل التالي يبين الشركة الإنترنت المشترك كومة تكنولوجيا البيانات الكبيرة:

الشكل 1. شركة الإنترنت كومة تكنولوجيا البيانات الكبيرة المشترك

الشكل أعلاه، والجزء الأخضر من المقابلة المتداولة الأساس التقني، الجزء الأصفر من بنود المكافآت، وعادة ما يتم استخدام جزء الأزرق مباشرة، ولكنها تحتاج أيضا إلى فهم معين.

هذه الورقة أساسا حول الجزء الأخضر، وشرح تطبيق هذه التقنيات في مكان الحادث، حل المشاكل والحاجة إلى معرفة أساس مضمون المقابلة. وفقا لتطبيق سيناريوهات مختلفة وظائفها، فإنه يمكن تصنيفها على النحو التالي.

تكنولوجيا الإنترنت تطوير المزدهر، عصر الذكاء الاصطناعي، أمسك منفذ المقبل. لمساعدة أولئك الذين يرغبون في تبديل اتجاه العوز الإنترنت للتعلم، ولكن بسبب ضيق الوقت، وقلة الموارد والتخلي. أنا الانتهاء من البيانات الكبيرة الجديدة والبيانات المتقدمة دليل التنمية المتقدمة، كبيرة مجموعة دراسة البيانات: 740041381 يمكن العثور عليها في المتقدم التنظيمي التعلم الترحيب وتريد الخوض في الشركاء صغير للانضمام البيانات الكبيرة

الشكل 2. البيانات الكبيرة كومة التكنولوجيا قاعدة

سير العمل اليومي للمحلل البيانات الكبيرة تقريبا على النحو التالي:

1. تصميم تحدد البيانات التي تم جمعها من قبل نظام جمع البيانات لجمع كاملة.

2. يتم الانتهاء قبل بيانات، يتم تحويل البيانات إلى البيانات المهيكلة.

متطلبات الخدمة، خارج الخط تحليل البيانات SQL أو المقابلة المعلومات في الوقت الحقيقي نتيجة التحليل؛

4. النتائج المذكورة أعلاه التي تقدمها أدوات إعلامية تصور البيانات بها، أو عن طريق التحليل المقارن للفرق الاتجاه الاستنتاجات المستمدة المقابلة.

وأعتقد أن الطلاب الذكية شهدت، والشكل 2 هي قائمة من البيانات الفنية من كل جانب من جوانب التحليل، حدد ممثل نموذجي. أنا أضم عاما من الخبرة المقابلات، وأقل من 11 للقيام مقدمة موجزة إلى الخبرة العملية.

تخزين البيانات

من وجهة نظر تخزين البيانات المحتوى، وحاليا تخزين البيانات في ملفات منظم والبيانات نتيجة متجر، حيث يتم تخزين الملف حاليا، والمشكلة الرئيسية هي لتخزين كميات كبيرة من البيانات، وهي تقنية مشتركة هي HDFS، هيكلة البيانات نتيجة الهدف الرئيسي هو تسهيل الوصول إليها وتعديلها تقنية شائعة هي الخلية وHbase.

HDFS

واحدة من أكثر المكونات الأساسية للبيانات الكبيرة، ظيفتها الأساسية هي لتخزين كميات هائلة من تخزين البيانات على شكل ملف. وقال المحلل المبتدئين الذين يحتاجون فقط لإتقان المبادئ الأساسية لعملها، مألوفة مع تعليمات سطر الأوامر مشترك لأسئلة المقابلة المشتركة هي كما يلي:

ما هي العمليات الرئيسية على التوالي بعد 1. HDFS بداية طبيعية، ما هو دورها، على التوالي،

2. HA أساسا ما هي العملية، ما هو يعمل عليه

3. كيفية بين اثنين NameNode تزامن بيانات كاملة

4. ما العميل هو تدفق البيانات تحميل

وجهة النظر الشائعة، حذف، تحميل وتنزيل وعرض ما الأمر العقد النشط

الخلية

الخلية هي قاعدة بيانات علائقية الأكثر شعبية ثبت، وقد استخدمت على نطاق واسع قبل فترة طويلة من ظهور تكنولوجيا البيانات الكبيرة. على وجه التحديد، فإنه ليست واحدة من التقنيات البيانات الكبيرة.

دورا رئيسيا الخلية في بيانات الناتج كومة التكنولوجيا هو نتيجة لتحليل وتخزين البيانات الكبيرة، واتقان بحيث الخلية هي واحدة من المهارات الأساسية. سيناريوهات العمل اليومي أساسا لعمليات وصول الخلية البيانات، وبالتالي تحتاج إلى معرفته هو التصميم الرئيسي الوصول للمحتوى جدول البيانات، والبيانات والاستعلامات SQL وهلم جرا.

الأسئلة الأساسية وجهه على النحو التالي:

1. الملاحظات أو تقنيات عند تصميم

2. نوع ودور المؤشرات

3. تقنيات التحسين SQL المشتركة

4. عملية المزامنة الأساسية سيد المبدأ

وظائف مشتركة SQL التي

Hbase

الخلية ينتمي إلى تطبيق قائم بذاته، وليس مناسبة لتخزين كميات كبيرة من البيانات، عندما تحتاج إلى تخزين كميات كبيرة من البيانات وتسهيل الوصول إلى تعديل يظهر المشهد، Hbase تنتمي سوف مخيم NoSQL تحتاج إلى القيام لافتة.

الملامح الرئيسية Hbase KV يتم تخزين التصميم الموجه العمود، في عملهم اليومي، وهي تستخدم أساسا لتصميم والوصول Hbase الجدول العملية، الأسئلة الوجه الأساسية على النحو التالي:

ما هو أهم الفرق 1. hbase والخلية هي

ما هي مبادئ التصميم 2. rowkey

ل3. مشهد قبل الفعلية حالة تصميم rowkey

4. دورا رئيسيا حارس الحديقة في الكتلة هو hbase

التعليمة المشتركة التي hbase

تحليل البيانات

ينقسم تحليل البيانات عموما إلى تحليل خارج الخط وتحليلها في الوقت الحقيقي. الآن أن معظم الشركات قد بنيت بها نظام مستودع البيانات الخاصة بهم، لذلك معظم تحليل خط قبالة لخلية وSparkSQL، وعدد قليل من الاستخدامات مابريديوس وSparkCore بواسطة كتابة التعليمات البرمجية يتم ذلك من خلال SQL، إطار عمل مشترك. لتحليل البيانات في الوقت الحقيقي، وإطار كبير على السوق، والتي من السهل نسبيا للاستخدام StructedStreaming أكثر.

تواجه المهارات الأساسية الأسئلة على النحو التالي:

1. الجدول الخارجي الفرق خلية والجدول الداخلية

2. خلية بيانات الاستيراد والتصدير في عدة طرق

3. وظيفة خلية المعرفة (UDF) في عملية التنمية والتوزيع؟ كيفية إنشاء وظيفة دائمة

4. خلية وظيفة نافذة التقليدية، مثال على حد سواء

5. sparksql كيفية الاتصال البيانات الوصفية للخلية

6. أمثلة شرارة معنى والفرق العرض يعتمد، على بعد بضعة مشغلي

7. الميل البيانات والعديد من الأشكال الشائعة للحلول

8. كيفية فهم منظم تدفق الجدول نمو غير محدود

9. كيف نفهم تدفق الأحداث على أساس وقت العملية نافذة منظم

10. هيكلة تدفق التشغيل غير معتمد ما

مراسلة الوسيطة

مراسلة نظام الوسيطة هو مفتاح كل تطبيقات برنامج قناة اتصال، الدور الرئيسي بوصفها فصل بين التطبيقات، عملية غير متزامنة، قطع الذروة، وتوفير التخزين المؤقت، في الوقت الحقيقي لنقل البيانات. كافكا هو الأكثر شيوعا كبير طابور رسالة البيانات، فإنه عادة ما يستخدم تيارات الوصول إلى البيانات في الوقت الحقيقي، الأسئلة التي وجه الأساسية على النحو التالي:

المعنى الأساسي للمفاهيم الأساسية 1. كافكا، والمستهلك، consumerGroup، الموضوع، التقسيم، والنسخ، وما إلى ذلك

يتميز 2. كافكا تصميم تخزين الملفات كفاءة

ما تلقى ثلاثة أنماط 3. كافكا رسالة

4. تعليمات سطر الأوامر الشائعة التي كافكا

إدارة الموارد جدولة

من أجل تحسين استخدام الموارد من مجموعات وزعت، وعادة ما تستخدم إطار إدارة الموارد جدولة لتوحيد إدارة موارد الحوسبة (مثل وحدة المعالجة المركزية والذاكرة والقرص، والشبكة، وما إلى ذلك)، وتخصيص والجدولة. hadoop البيئة، والإطار الأكثر استخداما للغزل. لمحلل البيانات الكبيرة الذين عمل غزل في الجزء السفلي، ونادرا ما تذهب مباشرة استخدامه، ولكن لفهم المبدأ الأساسي لفهم عملية حسابية، استكشاف الأخطاء وإصلاحها ومفيدة. في الأسئلة الوجه تحتاج إلى معرفة ما يلي:

1. العمل الغزل كلتا المجموعتين من وضع الطلبات الفرق

2. كيف تنظرون سجل لتقديم وظيفة في الغزل

3. كيف تقتل وظيفة الغزل يتم تنفيذه

التصور البيانات

نتائج التحليل الإحصائي للبيانات من قبل مجموعة من الأرقام، غالبا ما تكون غير بديهية، وبالتالي تحتاج إلى مساعدة من أدوات التصور، الذي قدم بوضوح في طريقة للخروج، فمن الأسهل لمعرفة القواعد الخفية في البيانات. وهناك العديد من هذه الأدوات، وبعض الشركات التي تتخذ من أدوات التصوير echarts، highcharts وغيرها من البحوث والتنمية المستقلة، وهناك المصنعين من أدوات مفتوحة، مثل علي datav والسكر بايدو، وكذلك بعض الفواتير البرمجيات التجارية، مثل اللوحة الخارجية.

صعوبة فنية تصور البيانات ليست كبيرة، وسوف نسأل خلال المقابلة قبل التجربة البصرية المعتادة. الحرة اللوحة اللوحة لطلاب الجامعات والمعلمين وتوفر رمز التفعيل باستخدام شهادة طالب سارية المفعول لمدة سنة واحدة. ويمكن للطلاب التقدم بطلب للحصول المحاكمة، جنبا إلى جنب مع العديد من الدروس في محاولة للقيام تقارير البصرية الخاصة، والمقابلة هي بالتأكيد نقطة زائد.

الخلاصة:

هذه المقالة هي فقط مقابلة أولية جمعت بعض المشاكل التقنية، تهدف إلى إعطاء الطلاب مستهل أو فقط للوصول إلى توفير اتجاه التعلم.

في حين أن هذه القضايا هي من السهل العثور على إجابة، يمكنك السيطرة بسرعة هذه المشاكل من خلال الأسئلة والأجوبة فرشاة الوجه الخلفي، وتسهيل إزالتها. ولكن ما زلت آمل أن نحاول بذل المزيد من الجهود في إرساء المرحلة التأسيسية، لوضع المهارات الأساسية، وتوجيههم للدراسة، وسوف يكون التأثير أكثر فعالية.

وبطبيعة الحال، قبل المقابلة قيد الاستعراض مفهومة، إذا كنت مهتما يمكنك ترك رسالة في قسم التعليقات، وسوف تنظر في تجربة المقابلة لهذه التكنولوجيا الأساسية الكامنة مع الشركة لسنوات عديدة، ثم تنظيم مجموعة من أسئلة المقابلة حل مشكلة (أسئلة + إجابات + تحليل العملية).