الكاتب: خوسيه A Dianes
الترجمة: يانغ جي
تصحيح التجارب المطبعية: دينغ NANYA
هذه المقالة حول 5822 كلمة، القراءة الموصى بها 20+ دقائق.
هذه السلسلة يصف كيف البيانات العلم المرح تستخدم الآن في اثنين من التشغيل الأكثر شعبية منصة مفتوحة المصدر. تحليل البيانات استكشافية - خطوة أساسية في عملية تحليل البيانات نرى لأول مرة.
مقدمة
هذه السلسلة يصف كيف البيانات العلم المرح تستخدم الآن في اثنين من التشغيل الأكثر شعبية منصة مفتوحة المصدر. نظرة أولى خطوة حاسمة في هذه الوثيقة في عملية تحليل البيانات - تحليل البيانات استكشافية (تحليل البيانات استكشافية، EDA).
يحدث تحليل البيانات استكشافية بعد جمع البيانات والتنظيف، وقبل أن تظهر في نمذجة البيانات ونتائج التحليل والتصور. ومع ذلك، وهذا هو عملية تكرارية. فعلت بعض EDA، يمكننا أن نحاول وضع بعض نماذج البيانات أو إنشاء بعض النتائج البصرية. وفي الوقت نفسه، وفقا لأحدث نتائج التحليل يمكننا مواصلة EDA، وهلم جرا. كل هذه القرائن التي يمكن العثور عليها بسرعة أكبر، دون الحاجة إلى تشابك على تفاصيل البيانات وجميلة. والغرض الرئيسي من جمعية الإمارات للغوص هو فهم البيانات لدينا، فهم اتجاهاته والجودة، ولكن أيضا للتحقق افتراضاتنا حتى بدء بناء أنظمتنا الفرضية.
فهم ما سبق، فإننا سوف يشرح كيفية استخدام الإحصاء الوصفي، الرسم الأساسي وإطارات البيانات للإجابة على بعض الأسئلة، ويوفقنا للقيام بالمزيد من تحليل البيانات.
ويمكن الحصول على هذه السلسلة من الدروس كافة التعليمات البرمجية والتطبيقات من جيثب (https://github.com/jadianes/data-science-your-way). أنت حر في مشاركة وتبادل التقدم المحرز الخاص بك معنا.
إعداد البيانات
وسوف نستمر في استخدام نفس مجموعة البيانات في وقت مقدمة من الإطار البيانات التي تم تحميلها. حتى تتمكن من منع ذلك الحين استمرت البيانات ذات الصلة هذا القسم التعليمي، وإعداد البيانات أو إعادة تعلم البرنامج التعليمي (https://www.codementor.io/python/tutorial/python-vs-r-for-data-science-data-frames-i ).
سؤالنا ليتم الرد عليها
في أي عملية تحليل البيانات، وهناك دائما واحد أو أكثر من المشاكل هو أننا يجب أن الإجابة. تحديد هذه المشاكل، فإن عملية تحليل البيانات بالكامل هي الخطوة الأساسية والأكثر أهمية. لأننا نريد أن نفعل مجموعة بيانات استكشافي في منطقتنا TB تحليل البيانات، وهناك بعض الأسئلة التي تحتاج إلى إجابة:
- البلدان التي لديها أعلى نسبة من السل المعدية؟
- من عام 1990 إلى عام 2007، ما أن الاتجاه العام هو العالم السل؟
- ما هي الدول التي لا تتفق مع هذا الاتجاه؟
- ما حقيقة هذا المرض يمكن الحصول عليها من البيانات لدينا؟
الإحصاء الوصفي
الثعبان
في بيثون، الإحصاء الوصفي الأساسية هي تخضع لpandas.DataFrame وصف (). وهو ما يعادل أسلوب ملخص لغة R data.frame ().
وفيما يلي إحصاءات عن كافة الأعمدة، يمكننا استخدام الأساليب التالية للوصول إلى معلومات موجزة لكل عمود:
حزمة الباندا كيف صفية بشكل رهيب الأساليب الإحصائية (يمكن الرجوع إلى الوثيقة مدرجة بالفعل بعض منها في وجوه ملخص لدينا، ولكن هناك المزيد من الطرق لم يكن بينهم. في البرنامج التعليمي القادمة ونحن سوف نستفيد منها من أجل فهم أفضل بياناتنا.
على سبيل المثال، يمكننا الحصول على النسبة المئوية للتغير في كمية من الإصابة بالسل سنويا في اسبانيا (اسبانيا):
في حين بلغت قيمة الحد الأقصى تم الحصول عليها من النتائج المذكورة أعلاه:
يمكنك أن تفعل الشيء نفسه للغة الإنكليزية (المملكة المتحدة):
إذا أردنا أن نفهم قيمة المؤشر (السنة)، ونحن argmax طريقة (أو طرق idmax استدعاء النسخة الجديدة من الباندا في) على النحو التالي:
وبعبارة أخرى، في عام 1998 و 1992 على التوالي، والإصابة بمرض السل في إسبانيا والمملكة المتحدة نما أسوأ من السنوات.
R
في اللغة R الإحصاءات الوصفية الأساسية، كما قلنا، هو ملخص ().
هذا الأسلوب بإرجاع كائن جدول، حتى يكون لدينا مربع بيانات يحتوي على إحصائيات العمود. سوف بيانات رصد كائن جدول مساعدتنا، ولكن كإطار البيانات لا يفضي إلى البيانات المتوفرة لدينا الزيارة ومؤشر. في الأساس، وكيفية التعامل معها في شكل مصفوفة للوصول إلى البيانات من موقف تنسيق. وبهذه الطريقة، إذا كنا نريد للحصول على العمود الأول، أفغانستان البيانات ذات الصلة، ونحن نفعل ذلك:
هناك خدعة للوصول إلى البيانات بواسطة اسم العمود، سيتم استخدام هذا الاسم عمود مع مربع البيانات الأصلية، والطريقة التي (). يمكننا أيضا بناء إطار بيانات جديدة في مجموعة النتائج.
R كلغة وظيفية، يمكننا استخدام الأساليب وظيفة النواقل، مثل خلاصة القول، متوسط، والتنمية المستدامة مثل. تذكر أن الإطار البيانات هي قائمة من ناقلات (وهذا يعني كل عمود هو قيمة ناقلات)، لذلك يمكننا بسهولة استخدام هذه الوظائف تعمل على العمود. سوف نستخدم الفعل النهائي على البيانات والإطار معا هذه المهام وlapply أو sapply من أعمدة متعددة من البيانات.
في أي حال، هناك أسرة مكونة من وظائف يمكن تطبيقها على بيانات عمود أو صف البيانات مباشرة أو متوسط قيم R واللغة. هذا هو أكثر فعالية من استخدام تطبيق وظيفة، ويسمح لنا أيضا لاستخدامها ليس فقط في بيانات العمود، هي أكثر البيانات المتاحة على الخط. على سبيل المثال، قمت بإدخال "؟ ColSums 'الأوامر، صفحة المساعدة سوف يطفو على السطح كل صفية من هذه الوظائف.
على سبيل المثال، ونحن نريد أن متوسط كمية من هذا المرض كل عام، ونحن بحاجة فقط استدعاء دالة بسيطة:
المخططات
في هذا القسم يجب علينا أن ننظر إلى وظائف الرسم الأساسي جدولة بيثون / الباندا وR. ومع ذلك، هناك البعض مثل ggplot2 ( بحيث يمكن اختيار أكثر قوة حزم اللغات الرسومات. تم إنشاء ggplot2 أصلا للغة R، (https://yhathq.com/) الناس Yhat ويوفر تنفيذه للغة بيثون (
الثعبان
الباندا حزمة جاهزة للاستخدام أساليب رسم الخرائط DataFrame تنفيذ كائن لديه ما يصل الى ثلاثة (انظر الوثيقة الطريقة الأولى هي رسم الخط الأساسي، يتصرف في مؤشر المتغيرات المستمرة. عندما نستخدم IPython دفتر أداة الرسم هذا السطر الأول ربما سنحتاج ذلك:
بدلا من ذلك يمكننا استخدام boxplot معين للحصول على عرض موجز المتغير المستمر:
وهناك أيضا طريقة الرسم البياني ()، ولكننا لا يمكن أن تعمل حتى الان على ذلك لدينا هذا النوع من البيانات.
R
وggplot2 مقارنة مع لغة R المؤامرة الأساسية ليست متطورة للغاية، لكنه لا يزال قويا في نفس الوقت راحة التشغيل. ان الكثير من أنواع البيانات لتخصيص وتنفيذ مؤامرة () الأسلوب يسمح لنا لمجرد استدعاء الأسلوب لرسم لهم. ولكن ليس دائما حتى مريحة، في كثير من الأحيان، نحتاج الحق في مجموعة من العناصر مرت ظائفنا الرسم الأساسية.
فقط كما كان من قبل مع بيثون / الباندا رسم خط الرسم البياني، يمكننا أن نبدأ في رسم خط الرسم البياني على أساس:
يمكنك المقارنة بين خط الرسم البياني المرسومة في ثلاثة المتغير المستمر الباندا مدى سهولة يتم رسم باستخدام نفس الرسم قاعدة متى R التعليمات البرمجية في FIG نعم. نحن بحاجة إلى ثلاثة على الأقل المكالمات وظيفة، أول من الرسومات والخط، وبعد ذلك هناك علامة الرقم، وهلم جرا. المؤامرة الأساسية للنية الحقيقية هي أن توجه لغة R بسرعة دون خريطة مثالية.
الآن دعونا استخدام مؤامرة المربع:
هذا هو مربع قصيرة كود المؤامرة، ليس لدينا حتى خريطة الألوان والأسطورة.
للإجابة على الأسئلة
الآن دعونا تبدأ كونه حقا أقسام المرح. عندما نفهم أدواتنا (بيانات من الإطار السابق للدورة الحالية من هذا البرنامج التعليمي)، يمكننا استخدامها للرد على بعض الأسئلة حول وقوع السل المعدية وانتشار في العالم.
السؤال: نريد أن نعرف، كل سنة، أي بلد موجود، فإن معظم حالات السل المعدية الجديدة؟
الثعبان
إذا كنا نريد فقط للحصول على معظم الحالات في البلاد، يمكننا استخدام وتطبيق وظيفة argmax. تذكر، الافتراضي، تطبيق تأثير إلى عمود من البيانات (في مثالنا هو العمود الوطني)، ونحن نريد أن نعمل على ذلك كل عام. لذلك بهذه الطريقة، نحن بحاجة إلى عكس موقفها في صفوف قبل استخدام المربع بيانات، أو تمرير المعلمات محور = 1.
لكنه لا يفعل ذلك التبسيط. وبالإضافة إلى ذلك، ونحن نريد يقع في البلاد الأقسام الأربعة الماضية للحصول على. أول شيء نقوم به هو لمعرفة حدوث الكلي للاتجاهات العالمية.
المعدية اتجاهات حالات السل العالمية:
من أجل استكشاف الاتجاهات العالمية الشاملة، ونحن بحاجة إلى التركيز على البيانات السنوية بالنسبة لجميع البلدان تتلخص البيانات الثلاثة.
الآن لدينا لإنشاء إطار جديد البيانات، والذي يحتوي على مجموعة وقبل كل وثم تعادل مع أسلوب الإطار البيانات مؤامرة ().
وقد أظهرت عدد من النظرات القائمة لكل 100،000 حالة في جميع أنحاء العالم على مدى السنوات اتجاها نحو الانخفاض. ومع ذلك، فإن العدد الإجمالي للحالات الجديدة آخذ في الارتفاع، على الرغم من بعد يبدو عام 2005 إلى الانخفاض. فكيف يمكن أن يقلل من العدد الإجمالي للحالات الموجودة في حالة من مجموع الحالات الجديدة من زيادته؟ قد يكون أحد الأسباب التي يمكن أن نلاحظ أن عدد الوفيات بسبب المرض لكل 100،000 شخص في الارتفاع في الرقم، ولكن علينا أن ننظر والسبب الرئيسي هو لأن الناس قد تعامل واستردادها. معدل زائد الموت معدل استرداد أكبر من حدوث مرض جديد. وباختصار، فإن نظرة جديدة للحدوث زيادة، بينما في الوقت نفسه نحن شفاء مستوياتها أفضل. نحن بحاجة إلى تحسين الوقاية والسيطرة على الأمراض المعدية.
الاتجاه العام للخارج البلاد
ذلك أمام العالم ككل، فإن الاتجاه العام. حتى التي تظهر الدول اتجاهات مختلفة هو (أسوأ)؟ من أجل تحديد هذه البلدان، أولا وقبل كل شيء بحاجة إلى فهم توزيع متوسط معدل الوفيات السنوي لكل بلد.
يمكننا رسم هذه الخرائط لفهم توزيع هذه الدول في المتوسط.
نريد أن نحصل على تلك البلدان أكبر من احتمال المجال بين الشرائح الربعية (الربعية، 50) 1.5 مرة.
للحصول على الحد الأعلى:
الآن يمكن أن نحصل 1990-2007، فإن متوسط احتمال أكبر من الحد الأعلى لهذه الدول استخدام هذه القيم.
ما هي النسبة المئوية من بلدنا هو أبعد من الاتجاه العام؟ وفيات:
لأنه لا يوجد الاعتلال (انتشار):
لالاعتلال الجديد (الإصابة):
الآن يمكننا استخدام هذه المؤشرات لجعل فحص الإطار البيانات لدينا الأصلي.
هذا أمر خطير. وفقا لتوزيع TB المعدية، لدينا أكثر من ثلث دول العالم خارج الاحتمال المشترك على المراضة القائمة، والاعتلال والوفيات جديد. ومع ذلك، إذا نحن في الملعب الربعية (الربعية) من 5 أضعاف الحد الأعلى من ذلك؟ دعونا نكرر العملية السابقة.
حتى الآن هذه النسبة إلى أي مدى؟
دعونا الحصول على إطار بيانات المقابلة.
دعونا نركز على مكافحة الأمراض المعدية، ونلقي نظرة على هذا الإطار البيانات الجديدة:
دعونا تولد بعض المخططات للبحث انطباع أعمق.
لدينا 22 دولة، وبلغ متوسط المعدل السنوي للأمراض الجديدة في هذه البلدان أكثر من خمسة أضعاف قيمة وسيطة من جميع أنحاء العالم الاعتلال الجديد. دعونا خلق يمثل بلد متوسط هذه الدول 22:
الآن دعونا خلق دولة تمثل المتوسط في دول أخرى:
الآن دعونا استخدام هذين رسم المعدل الوطني:
اتجاه النمو الجديد في فوق الوطنية خاصا متوسط الاعتلال (متوسط 22 دولة نيابة عن تجاوز الحد الأعلى) في اتجاه كبير جدا وهام جدا من الصعب تحسين (نيابة عن الدول الأخرى من المتوسط من 22 دولة) دول لوحظ. في 1990s، وعدد من حالات السل المعدية في هذه البلدان لديها ارتفاع رهيب. ولكن دعونا نلقي نظرة على البيانات الحقيقية.
وفقا لهذه الصورة، وحدوث اتجاهات نمو غير طبيعي وتحسين البلاد شهدت نفس التقلبات والانتعاش في نفس الوقت، وهناك الأشياء التي تحدث في حوالي 2002 مرة. في المقطع التالي سنحاول معرفة ما حدث في نهاية المطاف.
R
لقد تعلمنا أن في R ظيفة ماكس يمكننا استخدام إطار بيانات تطبيقها على عمود للحصول على أقصى قدر من العمود. إضافية، يمكننا أيضا الحصول عليها عن طريق وضع which.max من الحد الأقصى (أي ما يعادل باستخدام argmax في الباندا). وإذا استخدمنا صفوف تبديل الإطار البيانات، يمكننا العمل على تسلسل لكل سنة في وظيفة lapply أو sapply، ثم الحصول على قيمة قائمة أو مؤشر متجه (ناقلات سوف نعود مع وظيفة sapply). نحتاج فقط أن تفعل القليل صقل، واستخدام ناقلات تحتوي على اسم البلد للعودة إلى وضع التشغيل من البلاد بدلا من البلاد حيث الاسم.
المعدية اتجاهات حالات السل العالمية:
قيمة جميع الدول مرة أخرى، من أجل استكشاف الاتجاه العام في العالم، وسوف نحتاج تضاف ثلاث مجموعات البيانات سنويا.
ولكن أولا نحن بحاجة إلى تحميل اثنين من مجموعات أخرى من البيانات للحصول على عدد الوفيات وعدد من مرض جديد.
وفيما يلي قطة شاشة بيانات غير مكتملة وصلة التحميل على التوالي: الشبكي:؟ //Docs.google.com/spreadsheets/d/12uWVH_IlmzJX_75bJ3IH5E-Gqx6-zfbDKNvZqYjUuso/pub دائرة المخابرات العامة = 0 & الناتج = CSV
https://docs.google.com/spreadsheets/d/1Pl51PcEGlO9Hp4Uh0x2_QM0xVb53p2UDBMPwcnSjFTk/pub؟gid=0&output=csv
الصف وفي الوقت نفسه المبلغ هو الآن. نحن بحاجة إلى العودة إلى بيانات المتجه الرقمية إلى مربع.
الآن يمكننا استخدام تقنيات مختلفة الآن تعلمنا لرسم خط الرسم البياني. من أجل الحصول على ما مجموعه لكل متجه يحتوي كل وظيفة رسم مرور، ونحن نستخدم مؤشر عمود اسمه الإطار البيانات.
ختام الناتج هو واضح من الشكل أعلاه وعندما نحصل على نفس بيثون.
ما وراء الاتجاه العام للبلد:
لذلك التي تتجاوز الدول الاتجاه العام هو (أسوأ)؟ مرة أخرى، من أجل العثور على الجواب، علينا أولا أن نفهم توزيع متوسط من كل بلد. نحن نستخدم colMeans وظيفة لتحقيق هذا الغرض.
يمكننا رسم خريطة لتوزيع مختلف البلدان المتوسط السنوي لفهم. نحن لا تهتم للغاية في بلد على حدة، ونحن مهتمون في توزيع نفسها.
مرة أخرى يمكننا أن نرى الجزء المتعلق FIG ثلاث حركات، وارتفاع تدريجيا جزء بداية، وجزء الثاني من الاتجاه الصعودي المقبل، وأخيرا ذروة حادة مختلفة بشكل واضح من الأجزاء الأخرى.
هذه المرة دعونا تخطي 1.5 مرة من جزء الشرائح الربعية، مباشرة إلى 5 مرات المدى الشرائح الربعية. في لغة R، لدينا لاعتماد نهج مختلف. سوف نستخدم وظيفة Quantile () للحصول على عتبة الشرائح الربعية لتحديد القيم المتطرفة.
لأننا نعلم بالفعل نتيجة من الفصل بيثون، دعونا فقط معرفة حالة القيم المتطرفة الاعتلال الجديد، وبهذه الطريقة نحن نريد أن ألفت قبل الرسم مرة أخرى.
غير النموذجية نسبة:
دعونا استخلاص إطار البيانات التي تحتوي فقط ناشز المعلومات الوطنية.
الآن نحن مستعدون لرسم الرسومات.
يمكننا أن نرى بوضوح مزايا استخدام الباندا الرسومات الأساسية والرسم الأساسي للR!
وحتى الآن النتائج متسقة. لدينا 22 دولة، وعدد الحالات الجديدة أكثر من خمسة أضعاف متوسط القيمة السنوية للتوزيع. دعونا خلق الممثل الوطني من متوسط قيمة، حيث نستخدم rowMeans ().
الآن دعونا خلق البلاد نيابة عن بلدان أخرى.
الآن هذين البلدين معا.
جوجل شيء عن مرض السل وتاريخ الحدث
في هذا القسم نقوم بتحليل بيثون فقط. حول البحث جوجل، في الواقع، تمكنا من الوصول المباشر فقط إلى النشرة المصورة ويكيبيديا على هذا المرض (https://en.wikipedia.org/wiki/Tuberculosis#Epidemiology).
في الفصل باء يمكن أن نجد ما يلي:
- بدأ عدد من حالات الإصابة بالسل في التراجع منذ عام 2005، وقد تم إسقاط الاكتشافات الجديدة من هذا المرض منذ عام 2002.
- وهذا ما أكدته تحليلنا السابق.
- على وجه الخصوص، حققت الصين تقدما ملحوظا، 1990-2010، انخفض معدل وفيات السل المعدية بنسبة 80. دعونا نلقي نظرة:
- وكان أعلى معدل لانتشار مرض جديد في البلاد في عام 2007، TB المعدية يقدر سوازيلاند، هناك 10 مليون شخص في 1200 حالة شلل الأطفال.
في ويكيبيديا، وهناك المزيد من الاكتشافات أننا يمكن التأكد من خلال تحليل البيانات من هذه البيانات Google الأخرى التي تقدمها Gapminder أو. على سبيل المثال، غالبا ما ترتبط TB المعدية والإيدز، فضلا عن مستوى الفقر المرتبطة بها معا. ربط بينها وبين مجموعات البيانات ذات الصلة معا، واستكشاف اتجاهات كل منهما ستكون مثيرة جدا للاهتمام. يمكن للقراء يذهب في محاولة لتحليل وتبادل النتائج الخاصة بك معنا.
استكشاف الصفحات الأخرى
بالإضافة إلى الموقع Gapminder للموارد أخرى مثيرة للاهتمام على السل:
موقع مؤسسة جيتس:
ملخص
تحليل البيانات استكشافية هو خطوة رئيسية في تحليل البيانات. في هذه المرحلة نبدأ بدأت المهمة التالية في التبلور. ويحدث ذلك إما قبل وضع تصور البيانات أو تعلم الآلة في العمل، لتبين لنا بياناتنا أو افتراضات غير جيدة أو سيئة.
تقليديا، لغة R هو الأكثر استكشافية سلاح تحليل البيانات الاختيار، على الرغم من أن البعض بشكل أفضل إثبات القدرة على مكتبة المؤامرة هي مريحة جدا، وgglot2. في الواقع، عندما نستخدم بيثون، الواردة وظائف الرسم الأساسية الباندا خطوات لجعل هذا أكثر وضوحا وسهولة. على أي حال، نحن هنا للرد على كل هذه الأسئلة بسيط جدا و لا تحتوي على متغيرات متعددة وتشفير البيانات. في هذا الوضع المعقد، مثل سوف يلمع في ggplot2 تقدما المكتبة. بالإضافة إلى تعطينا رسم أكثر جمالا خارج ممارساتها وفرة السيولة وإعادة استخدامها سيوفر كثيرا من الوقت لدينا.
على الرغم من أن تحليلنا والرسوم البيانية هي بسيطة جدا، ونحن ما زلنا قادرين على إثبات وجهة نظر، وهذا هو، وأمراض مثل السل الأزمة الإنسانية الناجمة عن مدى جدية، معتبرا خصوصا ان هذا المرض هو سيطرة أفضل نسبيا من البلدان الأكثر تقدما أ. لقد رأينا بعض مهارات البرمجة والكثير من الفضول، مما يسمح لنا ببناء بعض الوعي العولمة وغيرها من القضايا على رأس هذا.
كل رمز والتطبيقات يرجى تذكر هذه السلسلة من الدروس المتاحة من جيثب (https://github.com/jadianes/data-science-your-way).
يمكنك المشاركة بحرية وتبادل التقدم المحرز الخاص بك معنا!
العنوان الأصلي:
العلوم البيانات مع بيثون & R: تحليل البيانات استكشافية
الرابط الأصلي:
https://www.codementor.io/jadianes/data-science-python-r-exploratory-data-analysis-visualization-du107jjms
مقدمة المترجم
جي يانغ، وسوتشو، وهو المدير الفني شركة IT لأكثر من 20 عاما، والآن المسؤولة أساسا عن مشروع Java وإدارة البرامج. لتحليل البيانات الكبيرة ومشروع التنقيب عن البيانات في محاولة ولكن ليس لديهم فرصة والبيانات. حاليا قيد الاستكشاف والتعلم، وذكرت أيضا عددا من الدورات على الانترنت، على أمل أن يكون هناك فهم أفضل للبيانات نمذجة السيناريوهات. لا يمكنك أن تصبح عملاقا، فقط أريد أن أقف على أكتاف العمالقة فهم البيانات العلمية هذا العالم المثير.
يرجى تحديد مستنسخة بيانات الإرسال THU
أفراد العمليات: ران هيل
