برعاية أباتشي CarbonData من هواوي ومفتوحة المصدر، وتنسيق تخزين البيانات عالية الأداء، من خلال دمج حلول التخزين البيانات الجديدة لمجموعة متنوعة من التطبيقات، مع دعم سيناريوهات البيانات لحل صناعة التخزين نظرا للاحتياجات المختلفة تحليل السيناريو الحالي الناجم عن التكرار وغيرها من القضايا. وفي الوقت نفسه، CarbonData التي كتبها الفهرسة متعددة المستويات، القاموس الترميز، وغيرها من الميزات لتعزيز الذاكرة IO العمود المسح الضوئي والحوسبة الأداء، وتحقيق عشرة مليارات المستوى الثاني البيانات ردا على ذلك، يبدو كما يوفر بيانات الاستعلام منخفضة الكمون كبير فكرة جديدة والتوجيه .
للمطورين مساعدة التركيز CarbonData، أطلقنا في عمق فهم من التكنولوجيا حملة لأباتشي CarbonData + شرارة من الندوات الفنية على، ودعت خبراء الصناعة أعلى من الولايات المتحدة Databricks، هواوي، SAIC، تريد استخدام مكان الحادث من قبل SQL سبارك، يتميز شرارة 2.2 الأساسية تقارير البنك المركزي العماني، حصة التطبيق العملي للموضوع CarbonData +2.0 تخطط التكنولوجيا الجديدة، دعونا استخدام CarbonData أسهل.
الزمان والمكان
موقع الحدث : شنغهاي سيارة للتمتع بناء (قاعة المؤتمرات الكلمة)
تكاليف النشاط : حد مجانا
أجندة الفعاليات
المحاضرين والمواضيع محاضرة
الجلسة الأولى: سبارك SQL: الماضي والحاضر والمستقبل
الملف مدرب : مروحة Wenchen، من شركة الولايات المتحدة الأمريكية Databricks، اباتشي شرارة عضو PMC، وأعضاء فريق التطوير سبارك SQL. بعد تخرجه في عام 2013 من جامعة تشجيانغ، وانخرطت في العمل المتعلق النظم الموزعة. جاء 2014 في اتصال مع شرارة، وأصبحت واحدة من أكبر المساهمين الأكثر نشاطا. 2015 Databricks انضم رسميا، تصبح شعبة الصين Databricks (تحت الإنشاء) من الموظف الأول، المسؤولة عن جوانب عمل من مجتمع المصادر المفتوحة، مثل: PR أفراد المجتمع الآخرين لطلبات المراجعة، مما يؤدي SQL سبارك بعض من السمات الرئيسية للتصميم والتطوير، المراجعة الدورية للرمز الجودة.
ملخص من المواضيع : شرارة SQL كإطار أساسي من شرارة، لديها بالفعل قاعدة مستخدمين واسعة وكان لها تاريخ طويل من التنمية. سيكون موضوع يؤدي نلقي نظرة على تطور التاريخ سبارك SQL، والوضع الراهن، وآفاق المستقبل من بعض، لمساعدتك على فهم أفضل لبعض السيناريوهات SQL القرارات تصميم سبارك والاستخدام.
الجلسة الثانية: CarbonData تطبيق +2.0 إدخال خطة التكنولوجيا الجديدة
الملف مدرب : كون لي، اباتشي CarbonData مرتكب، شركة هواوي تكنولوجيز المحدودة البيانات الكبيرة مهندس البرمجيات. انضم هواوي في عام 2004، واتفاقات طويلة الأجل في مجال الاتصالات، ذكاء الأعمال، والتصور البيانات، وسلوك المستخدم الأبحاث نظام تحليل وتطوير العمل. في السنوات الأخيرة، تعمل على تقنيات البيانات الكبيرة، والمشاركة في Hadoop، سبارك، Alluxio وغيرها من مجتمع المصادر المفتوحة في عام 2016 كأعضاء CarbonData PMC في مشروع حاضنة أباتشي CarbonData، الباحثين عن فرص للابتكار ونقطة وقفة واحدة ومنصة تحليل البيانات.
ملخص من المواضيع : أباتشي CarbonData هو التخزين الجديدة عالية الأداء والبيانات وتحليلها ومتطلبات التخزين التكرار من السيناريوهات المختلفة للتيار الناجمة عن حقل البيانات الكبيرة، توفر CarbonData مزيج جديد من حلول تخزين البيانات على البيانات مع دعم كبير تحليل البيانات من سيناريوهات متعددة (على سبيل المثال: "مزيج من أي تحليل البيانات البعد، المسح الضوئي بسرعة وتفاصيل من استعلام واحد، وتحديث البيانات أو حذف")، ومؤشر متعدد المستويات، القاموس الترميز، وغيرها من الخصائص من العمود إلى تعزيز تخزين I / O مسح والأداء المتميز، وتحقيق عشرة مليارات المستوى الثاني البيانات استجابة.
بعد CarbonData مفتوحة المصدر، البيانات العالمية من خلال اهتمام عشاق التكنولوجيا؛ وحتى الآن، والعالم لديه 100+ المطورين المشاركة في المساهمات رمز، وهناك 10+ الشركات نظام الإنتاج على الخط. يركز هذا العرض على التطبيقات العملية و 2.0 CarbonData خطة لتكنولوجيا جديدة لتساعدك على استخدام أفضل التقنيات CarbonData.
قدمت سبارك 2.2 الميزات الأساسية CBO: الدورة الثالثة
الملف مدرب : وانغ تشن هوا، هواوي حاليا مهندس أبحاث، اباتشي شرارة الأساسية مساهم، CBO المطور الرئيسي، ملتزمة ببناء منصة عالية الأداء لتحليل البيانات الكبيرة. سابقا، تخرج من جامعة تشجيانغ كلية علوم الحاسب الآلي والتكنولوجيا والبحوث التي تنطوي على قاعدة بيانات مكانية، واسترجاع المعلومات، واستخراج البيانات.
ملخص من المواضيع : في SQL محسن محفز سبارك، تم تحقيق العديد من التقنيات الأمثل القائم على القاعدة، ولكن محسن نفسه لا يزال لديه مجال كبير للتحسين. على سبيل المثال، هناك مفصل إحصاءات حول توزيع البيانات، فإنه من الصعب تقدير دقيق لترشيح (فلتر)، الاتصال (الانضمام)، ومثل قاعدة البيانات والمخرجات المشغل حجم أصل (أصل). نظرا لتقديرات غير دقيقة، فإنه غالبا ما يؤدي إلى دون المستوى الأمثل محسن لتوليد الاستعلام خطة التنفيذ.
في سبارك 2.2، المحرك سبارك SQL الداخلي يضيف إطار التحسين على أساس التكلفة، وإخراج هذا الحساب حجم الإطار قاعدة كل مشغل قاعدة البيانات. وفقا للتقديرات إحصائية موثوقة ودقيقة، لاتخاذ القرارات السليمة في المجالات التالية: تجزئة الصحيحة الانضمام (تجزئة الانضمام) بناء نهاية العملية (بناء الجانب)، تحديد خوارزمية الاتصال الصحيح (على سبيل المثال، بث تجزئة الانضمام وتعديلا التجزئة الانضمام)، وهكذا ضبط ترتيب الاتصال. في هذا الحديث، وتبين لنا سبارك إطار SQL محسن من التكلفة والأداء تأثير جديد على TPC-DS-المستند إلى استعلام .
الجلسة الرابعة: CarbonData سمة هامة من سمات التقسيم + ممارسة SAIC CarbonData حصة
الملف مدرب : تساو لو، اباتشي CarbonData الأساسية مساهم والتقسيم المطور الرئيسي، ومنصة مدير تطوير الأعمال البيانات SAIC البيانات الكبيرة الحالية. تركز أساسا على الكبيرة العمارة منصة البيانات، وتخزين البيانات، وضغط، والتطبيقات البحثية للمؤشر في الوقت الحقيقي ومعالجة البيانات تيار. وكانت الشركة مسؤولة عن ETL المالية والصناعة، وتطوير النظم BI، وإدارة شركة الكهرباء المورد الإنترنت قدرة تخزين البيانات، وضبط الأداء وهلم جرا. المهتمة في مجال تكنولوجيات مفتوحة المصدر، اباتشي CarbonData المساهمين المجتمع.
ملخص من المواضيع : خصائص التقسيم CarbonData سيصدر رسميا في Apache CarbonData 1.2.0 الإصدار، وهذه الميزة سوف تحسن إلى حد كبير الاستعلام أداء البيانات الكبيرة. SAIC سوف CarbonData قاعدة بيانات كبيرة التجمع كمنصة لمعالجة النمو السريع في حجم البيانات، فإن هذه القضية سوف تبادل الممارسات وبيانات الاختبار البنود CarbonData SAIC.
عنوان تسجيل مجاني
مسح رمز ثنائي الأبعاد أسفل الصورة أو انقر فوق قراءة النص الأصلي ، وملء معلومات التسجيل المقدمة، بعد مراجعة من قبل موظفينا سوف نرسل لك رسالة تأكيد المشاركين SMS. سواء كنت أباتشي CarbonData المشجعين المخلصين والمشجعين الذين لديهم، أو مع أي أسئلة وأفكار حول استخدام CarbonData والخبراء الفنيين لدينا في انتظاركم في الميدان!
