نظرة عامة على البرنامج
العمق التقني: ممارس · أسلوب التطبيق: مختبر تطبيقي
مقدمة
تمتلك مؤسسات كثيرة بيانات تشغيلية تفوق قدرة محلليها على معالجتها في جداول البيانات، فتبقى الأسئلة المتعلقة بالعملاء والتكاليف والطلب على الخدمات بانتظار الفرق المتخصصة، أو تعالج بحلول يدوية لا يمكن تكرارها. تبني هذه الدورة من كور كونسبت قدرة عملية على استخدام لغة بايثون Python لدى المحللين، بدءا من تنظيف البيانات واستكشافها بمكتبة pandas وحتى تدريب نماذج تعلم الآلة الأولى والتحقق منها بمكتبة scikit-learn. وتنفذ جميع الجلسات في بيئة Jupyter على بيانات واقعية، ويخرج المشاركون بدفتر تحليل قابل لإعادة التنفيذ ونموذج أساسي مبني على مشكلة من واقع عملهم.
أهداف الدورة
- إعداد بيئة تحليل بلغة بايثون قابلة لإعادة التنفيذ باستخدام Jupyter والبيئات الافتراضية وإدارة الإصدارات
- تنظيف البيانات الجدولية وإعادة تشكيلها ودمجها بمكتبة pandas، وتقييم صلاحيتها للاستخدام وفق مقاييس جودة البيانات المعتمدة
- استكشاف البيانات وتمثيلها بصريا باستخدام Matplotlib وseaborn لاختبار فرضيات العمل وعرض النتائج
- صياغة سؤال العمل كمشكلة تعلم خاضع للإشراف أو غير خاضع للإشراف وفق منهجية CRISP-DM
- تدريب نماذج الانحدار والتصنيف والتجميع بمكتبة scikit-learn والتحقق منها وضبطها واختيار مقاييس التقييم المناسبة
- توثيق التحليل في دفتر وبطاقة نموذج يستطيع الزملاء إعادة تنفيذهما ومراجعتهما
الفئة المستهدفة
- محللو البيانات والأعمال المنتقلون من جداول البيانات إلى التحليل البرمجي
- محللو المالية والموارد البشرية والعمليات المسؤولون عن التقارير الدورية والتحليلات الطارئة
- مطورو ذكاء الأعمال الذين يضيفون التحليل الإحصائي والتنبؤي إلى لوحات المعلومات
- الباحثون والإحصائيون في وحدات الخدمات العامة والسياسات الذين يعملون على البيانات الإدارية
- المهندسون وأخصائيو الجودة الذين يحللون بيانات العمليات والحساسات والفحص
- علماء البيانات المبتدئون الذين يرسخون أساسياتهم في بايثون وتعلم الآلة
محاور الدورة
اليوم الأول: أساسيات بايثون ومسار العمل التحليلي
- مراحل منهجية CRISP-DM لتنقيب البيانات وربطها بالعمل التحليلي اليومي
- إعداد دفتر Jupyter والبيئة الافتراضية وإدارة الحزم
- أنواع البيانات وجمل التحكم والدوال في بايثون لأغراض التحليل
- مصفوفات NumPy والحساب المتجهي
- استيراد بيانات CSV وExcel وقواعد SQL وواجهات API إلى pandas
اليوم الثاني: هياكل البيانات ومعالجتها ومعايير جودتها
- الفهرسة والاختيار في هياكل Series وDataFrame بمكتبة pandas
- معالجة القيم المفقودة والتكرارات وتحويل الأنواع في pandas
- إعادة التشكيل والدمج باستخدام groupby وmerge وpivot_table وmelt
- فحص جودة البيانات وفق مقاييس المواصفة ISO/IEC 5259-2 لجودة بيانات التحليلات وتعلم الآلة
- مكونات أنظمة تعلم الآلة ومصطلحاتها وفق المواصفتين ISO/IEC 23053 وISO/IEC 22989
اليوم الثالث: التحليل الاستكشافي والنماذج الأولى
- الإحصاء الوصفي وتحليل التوزيعات في pandas
- اختيار مخططات Matplotlib وseaborn المناسبة للأسئلة التحليلية
- تحليل الارتباط واختبار الفرضيات بمكتبة SciPy
- الانحدار والتصنيف والتجميع بخوارزمية k-Means عبر مسارات scikit-learn
- مقاييس التقييم: RMSE والدقة والاستدعاء وROC AUC ومعامل Silhouette
اليوم الرابع: التحقق من النماذج ومزالقها وتحسينها
- التحقق المتقاطع k-Fold ومنع تسرب البيانات
- تشخيص فرط التخصيص بمنحنيات التعلم وأساليب التنظيم
- معالجة عدم توازن الفئات بالتقسيم الطبقي وأوزان الفئات
- ضبط المعاملات الفائقة باستخدام GridSearchCV
- أهمية المتغيرات بطريقة التبديل Permutation لتفسير النموذج
اليوم الخامس: التطبيق العملي ودفتر التحليل القابل لإعادة التنفيذ
- مختبر تسرب العملاء: بناء نموذج تصنيف وتفسير نتائجه
- مختبر الطلب على الخدمات العامة: التجميع وتوصيف الشرائح
- إعداد بطاقة النموذج Model Card لنموذج أساسي
- بناء دفتر التحليل القابل لإعادة التنفيذ والنموذج الأساسي
- مراجعة الزملاء للشيفرة وفق أعراف PEP 8 وتسليم الدفتر
المهارات المكتسبة
- البرمجة ببايثون لأغراض التحليل
- معالجة البيانات وتهيئتها
- تقييم جودة البيانات
- التحليل الاستكشافي للبيانات
- اختبار الفرضيات الإحصائية
- التعلم الخاضع للإشراف
- التحقق من النماذج
- التحليل القابل لإعادة التنفيذ
لماذا تحضر هذه الدورة
- تعود إلى عملك بدفتر تحليل قابل لإعادة التنفيذ ونموذج أساسي مبني على مشكلة بيانات من واقع عملك وقد راجعه الزملاء
- تستبدل الخطوات المتكررة في جداول البيانات بمسارات برمجية يعاد تشغيلها كلما وصلت بيانات جديدة
- تكتشف النتائج التي تبدو أفضل من أن تكون صحيحة، من تسرب البيانات إلى فرط التخصيص، قبل وصولها إلى صناع القرار
- تعمل على بيانات المختبر نفسها مع محللين من قطاعات أخرى وتقارن أساليب معالجة مشكلات البيانات الشائعة
الخاتمة
أصبحت بايثون لغة العمل الأساسية في التحليلات لأنها تتيح للمحلل الانتقال من البيانات الخام إلى نماذج مختبرة ضمن مسار عمل واحد قابل للتكرار. تبني هذه الدورة ذلك المسار خطوة بخطوة: إعداد البيئة ومعالجة البيانات، وفحص الجودة وفق مقاييس معتمدة، والتحليل الاستكشافي، والنماذج الأولى، وانضباط التحقق الذي يحميها من النتائج المضللة. ويحول اليوم الأخير هذه المعارف إلى دفتر تحليل قابل لإعادة التنفيذ ونموذج أساسي يعود بهما المشارك إلى عمله ويطورهما مع وصول بيانات وأسئلة جديدة.