مقدمة

في عصر البيانات انفجار كبير، البيانات التي تم إنشاؤها من قبل الشركات هو منجم الذهب، وكيفية تصميم تطبيقات البيانات الكبيرة وأكثر فعالية، وقيمة الابتكار لاستكشاف البيانات الكبيرة، ولكن أيضا في صناعة تم تتبع واستكشاف إجابات.

17 ديسمبر، لديها مشترك المهوسون InfoQ الدولة وعقدت الله تخطيط استراتيجية صالون التكنولوجيا البيانات بنجاح في تشونغ قوان تسون، من تشو قه لغرفة بحث، بيانات Shence، 91 المالية و51 الخبراء الماليين لتبادل البيانات الفنية لسيناريوهات تنموية كبيرة، والنمذجة التطبيقات النتائج والإرشاد ومحتويات التقنية الأخرى، وعرض شامل من الخدمات المصرفية عبر الإنترنت، تحليلات وبيانات قيمة كبيرة في سوق الإسكان والمشاركين مساعدة للعثور على استخدام البيانات اختراق وتطبيق الوضع الجديد. ما يلي هو أمر بسيط لمشاركة المحتوى.

استكشاف تطبيقات البيانات الكبيرة في قطاع العقارات

تشو قه لغرفة العثور على الشريك وCTO تشانغ حرب وفقا للمجال يقع في حد ذاته، وتقاسم تشو قه لنظام بيانات البحث والهندسة المعمارية (كما هو موضح أدناه)، BASIC التي تتضمن مرافق أساسية جدا، URL META تنطبق على إنشاء أرقام السكن فقط، وأسعار أساس هبوطيا بيانات من المعلومات العقارية السياسة، والتاريخ، وأسعار المساكن الانحراف التوقعات، التاريخي سعر الصفقة الحقيقية، وإدراج التاريخ السعر، لعبت دور المرجعية. يحتوي على خاصية قاموس هذا القسم معلومات أساسية حول المعلومات العقارية، معلومات قاتل، حجم الرسم البياني، سجلات المعاملات التاريخية. قاموس قوائم كاذبة هي من العقارات المعروضة من أدنى قاعدة بيانات قوائم النتيجة نظام تقييم الجودة.

أنظمة التعرف على الوسيطة بما في ذلك التعرف على الأنماط، معلومات كاذبة، وكالة الهاتف قاعدة بيانات رقم وتحليل المستخدم السلوك، والغرض منه هو تحديد قوائم كاذبة: القوائم نفسها لا وجود لها، وقوائم بيعها، مما سيط كأفراد، وصف غير صحيح، السعر الإسكان غير طبيعي. تقنيات التعرف على التعرف عن طريق تسجيل تضم الصفقة، صورة معدل الاعتراف، وسائل السكن للتشابه.

من أجل الحصول على بيانات أكثر صحة، نظام استخراج البيانات يلعب دورا حاسما في تشكيل نظام استخراج البيانات تشمل: مصدر بيانات، بيانات نظام تجهيزها، حيث العملية، البيانات التعدين الخوارزمية مكتبة منصة، ونظام تقييم الخوارزمية، ونتائج الخوارزمية ردود الفعل ونظام التحسين.

• مصدر البيانات: سلسلة من العائلة، وأنا أحب عائلتي، أحب البيت والمنزل، وغرفة وجدت، والجرجير، صقه، البناء، شركاء

• منصة البيانات التعدين: جدولة العمل، واسع التصور البيانات؛

• نظام المعالجة البيانات: مصادر البيانات غير المتجانسة، وعملية التنظيم، تنقية البيانات.

• يتميز المشروع: خصائص التعدين البيانات وتحديد الحد الأعلى.

• مكتبة الخوارزمية: تعريف موحد لالمدخلات والمخرجات، والتكيف المرن.

• التقييم والتغذية الراجعة خوارزمية نظام التحسين: النقرات، التحويلات، استراتيجيات المعاد تدويرها، إيجابية وسلبية العينات لمعرفة المناسب.

البيانات وظيفة التعدين خوارزمية نظام المكتبة لتوفير مختلف الخوارزميات الحزمة، ونظام يحدد المدخلات START ومواصفات الإخراج لاستخراج البيانات المناظرة. التي يوجد منها ثلاثة إصدارات أساسية: قائمة بذاتها نسخة، نسخة Hadoop، الإصدار سبارك، ومناسبة لمختلف السيناريوهات. وتقنيات محددة لاستخدام تصنيفها على النحو التالي:

• الفئة: LR، SVM، بايز ساذج، والأشجار القرار، HMM

• تجميع:-وسائل ك، عملية ديريتشليت، Minhash، الستارة، الطيفي

• الانحدار: الانحدار الخطي

• اختيار ميزة: SVD، PCA، ICA

• قوانين الرابطة: نمو FP

• توصية الخوارزمية: ItemCF

• السلاسل الزمنية: تجانس الأسي

تصميم وتنفيذ تحليل السياسات الله

الله هو تحليل السياسات من تحليل سلوك المستخدم لدعم خصخصة نشر المنتجات، ودعم نهاية الكاملة تحليل دفن، في الوقت الحقيقي من كميات هائلة من البيانات في أي البعد، ويوفر أيضا أجزاء من الكمية المخصصة مفتوحة كاملة ميزات المنصة. قدم Shence البيانات المؤسس المشارك ورئيس مهندس لى لى فو تحليل Shence مفاهيم المنتج، والأفكار واختيار التكنولوجيا والتصميم المعماري وبالتالي تحديد وتنفيذ العديد من الوحدات الأساسية للقرار العمق.

في بداية تصميم، يجب علينا النظر في احتياجات العملاء، وميزات المنتج، واختيار التكنولوجيا وعوامل أخرى، ولكن أيضا النظر في خصخصة خصائص نشر المنتج، وعمق من تطوير الثانوية من التطبيقات والبيانات الأمن والخصوصية، وتراكم الأصول البيانات، لدينا مطالب عالية. هذا هو واحد من جوهر وتشمل القرارات تكنولوجيا: الخصخصة يمكن نشر وتحسين تكلفة التشغيل ونشر الصيانة؛ يقوم برنامج مفتوح المصدر، وسهلة لإعادة الاستخدام والتنمية الثانوية؛ نموذج البيانات وإيجاز ممكن، للحد من التكاليف وتكاليف استخدام ETL، عشرة أيام كمية البيانات من مائة مليون المستوى الثاني استيراد مستوى الاستعلام المستوى الثاني، تخزين البيانات مفصلة، كما تستخدم مع الاختيار.

على التكنولوجيا، والعملية برمتها هي من هذا القبيل، وصول أول البيانات، نقل البيانات، ونمذجة البيانات / التخزين، تليها الاستعلام البيانات، وأخيرا تصور البيانات / ردود الفعل، عرض نتائج التحليل. الهيكل كله على النحو التالي:

دفن على الواجهة الأمامية، ويوفر الله ثلاثة أسلوب مختلف سياسة دفن، أول واحد هو الافتراضي دفن: جمع تلقائي لجميع الصفحات المشاهدة، وضوابط التشغيل والتطبيقات تبدأ ونحو ذلك؛ التصور دفن: شراء المحدد عملية التحكم، لا يمكنك تخصيص سمات، دفن الرمز: أحداث مخصصة التعسفية والممتلكات. في نقل البيانات، وذلك باستخدام إنجن إكس، كافكا وأخرى مفتوحة المصدر التجمع، حيث البيانات تلقي طبقة إنجن إكس لضمان الأداء وتوفر طبقة الوصول، وتقدم كافكا والمتاحة للغاية طوابير رسالة وزعت، استخدمت أثناء الاستيراد التخزين المؤقت البيانات.

في تخزين البيانات، والله الاستفادة من كودو، ومحركات تخزين مفتوحة المصدر جديدة، كما تستخدم WOS (كتابة محسن مخزن)، لضمان الوقت الحقيقي كتابة المستوى الثاني. أساسا من خلال الاستعلام البيانات Shence QueryEngine الخاصة لتوليد SQL، وتقديمها إلى تنفيذ إمبالا.

وقال فو لى لى أخيرا، ليتم نشرها على تحليل الاستراتيجية الله أساسا في بيئة الشبكة الخاصة للعميل، والتي سوف تحتاج إلى نظام مراقبة قوية لديه وظيفة الشفاء الذاتي، في ظل غياب التدخل لضمان استقرار النظام قدر الإمكان تشغيل.

استخدام البيانات المالية الكبيرة للمستخدم لتحليل صورة

CTO كلمات Zhuansheng من 91 المالية التي أدخلت في الإعلان على الإنترنت والإنترنت في القطاع المالي، ووضع صورة المستخدم مهم جدا، وأيضا تستخدم على نطاق واسع. ولكن نظام مالي مستقل طرف ثالث، وكيفية الحصول على بيانات كبيرة، وتكون صورا سرية وصور لتحليل بيانات المستخدم من خلال خوارزمية توزيع كبيرة، هو نقطة التقنية الحيوية.

الأول هو لجمع مصدر البيانات القيمة وعجلت من البيانات سلوك المستخدم على أجهزة الشبكة المختلفة، والمؤسسات المالية سيتم تحديد البيانات المناسبة، وتحديد سلوك مختلفة من نفس المستخدم، ثم بناء نموذج، والتحقق من صحة البيانات توفر. من أجل تجنب الازدواجية في البيانات، وذلك لتحديد هوية فريدة من نوعها للمستخدم، وحصلت بيانات المستخدم أبعاد مختلفة، بما في ذلك مجموعات البيانات المهيكلة وغير المهيكلة. تعتمد العملية برمتها على نظام جدولة المهام لاستخراج البيانات، والبيانات التي تم جمعها حتى غطاء PV / الأشعة فوق البنفسجية، وقت وصول طويلة، والجغرافيا، والوقت، ومعدل ترتد، ووقت الإقامة، وما شابه ذلك.

وبالإضافة إلى ذلك، هناك أيضا وسائل لجمع البيانات طرف ثالث، بما في ذلك برامج سطح المكتب كوكي مزروع، تثبيت برامج سطح المكتب استخراج ميزة قائمة، واستخراج URL التاريخ، واستخراج ميزة، المجال وتصنيف، قالب استخراج كلمة الاستعلام واستخراج الفئة استخراج المعلومات مدخلات لوحة المفاتيح، وهلم جرا. انخفاض أعمال الكهرباء والبيئة الاجتماعية، وجمعت البيانات الهامة في الغالب من فئة، عربة، وجمع، ودفع، شحن، وتعليقات، والمخاوف، وهكذا ممتاز.

تسليط الضوء على أغنية تشوان شنغ بعض النماذج التعدين بناء البيانات، LDA ثيقة موضوع نموذج يغطي وثائق المستخدم، ويضم المفردات (فئات، والسلوك والاستعلامات وURL)، موضوع الملكية؛ لتحديد بيانات مفيدة عن طريق الشرح اليدوي، تليها موضوع الملكية في نموذج لتحقيق التدريب التكراري. مثل على سبيل المثال لتحديد مثل هذه السيطرة على المخاطر تطبيقات الصوف الركاب يمكن التعرف على خصائص IP (وكيل، VPN، بوابة، الخادم)، والخصائص السلوكية المستخدم، بما في ذلك الوقت يحدث، وحتى سلوك نهاية الشوط الاول.

كلمات ردود الخلفية، "استراتيجية الله" لتحميل جميع النشرات PPT