نظرة عامة على البرنامج
مقدمة:
أصبحت عناقيد الحوسبة عالية الأداء HPC تحمل محاكاة الصدمات وديناميكا الموائع ومسارات تحليل الجينوم وتدريب نماذج الذكاء الاصطناعي، لكن كثيرا من المنظمات تشغلها وعقد GPU معطلة وطوابير المهام مزدحمة ومساحات التخزين المؤقت ممتلئة، بينما لا يعرف المستخدمون سبب توقف مهام MPI. تزود هذه الدورة من كور كونسبت فرق البنية التحتية والحوسبة البحثية بمنهجية لتصميم عنقود مشترك وجدولته وضبط أدائه ودعم مستخدميه: أدوار العقد وشبكات الربط، وأقسام Slurm والتوزيع العادل، وتشغيل MPI وOpenMP، وتخصيص GPU، والتخزين المتوازي، وحاويات Apptainer، واقتصاديات التشغيل المحلي مقابل التوسع السحابي. ويخرج المشاركون بخطة تصميم وخدمة لعنقود HPC لمركز هندسة وذكاء اصطناعي نموذجي.
أهداف الدورة:
- توصيف أحمال المحاكاة والمعالجة كثيفة البيانات وتدريب الذكاء الاصطناعي وفق متطلباتها من المعالجة والذاكرة والاتصال والإدخال والإخراج لتحديد حجم العقد وشبكة الربط
- ضبط أقسام Slurm وحدود جودة الخدمة والأولوية متعددة العوامل ومحاسبة الاستخدام عبر slurmdbd بحيث يتحقق زمن الانتظار ومستوى الاستغلال المتفق عليهما
- تشغيل المهام الهجينة MPI وOpenMP وتشخيصها، بما في ذلك ربط العمليات وتوزيع الرتب وتقارب GPU على العقد متعددة المقابس وعقد المسرعات
- تصميم طبقات التخزين المؤقت وتخزين المشاريع والأرشيف على نظام ملفات متواز مع الحصص وسياسات الحذف الدوري وقواعد نقل البيانات
- قياس إنتاجية العنقود وضبطها باستخدام HPL وHPC Challenge وتحليل أداء التطبيقات، وتحزيم برمجيات المستخدمين بصورة قابلة للإعادة عبر Apptainer
- إعداد خطة تصميم وخدمة لعنقود HPC تغطي السعة ونموذج التكلفة ودليل التشغيل ومستويات دعم المستخدمين
الفئة المستهدفة:
- مهندسو البنية التحتية المسؤولون عن بناء عناقيد Linux الحاسوبية وعقد الإدارة وشبكات الربط السريعة وصيانتها
- فرق الحوسبة البحثية التي تؤهل الباحثين والمهندسين وتحافظ على إنتاجية الطوابير المشتركة
- فرق المحاكاة الهندسية التي تشغل حلالات CFD والتحليل الإنشائي والصدمات عبر عقد متعددة
- مسؤولو منصات الذكاء الاصطناعي الذين يخصصون عقد GPU للتدريب الموزع للنماذج والاستدلال
- فرق تشغيل مراكز البيانات المسؤولة عن الطاقة والتبريد ودورة حياة العتاد في خزائن الحوسبة الكثيفة
محاور الدورة:
اليوم 1: أحمال HPC ومشهد الحوسبة الفائقة وتقييم العنقود الحالي
- حوسبة القدرة مقابل حوسبة السعة: الحلالات مترابطة الاتصال والمسوح المتوازية المستقلة وتدريب الذكاء الاصطناعي
- قائمة TOP500 وتصنيفات HPL ومقاييس FLOPS وعرض نطاق الذاكرة وزمن الاستجابة
- قانونا Amdahl وGustafson لتقدير التوسع القوي والتوسع الضعيف
- مصفوفة ملف الأحمال: الأنوية وذاكرة كل نواة وحجم الرسائل ونمط الإدخال والإخراج
- فحص سلامة العنقود الحالي: خط أساس لزمن الانتظار واستغلال العقد وامتلاء التخزين
اليوم 2: معمارية العنقود: أدوار العقد وشبكة الربط والمجدول وتصميم التخزين
- أدوار عقد الدخول والإدارة والحوسبة وGPU ونقل البيانات وعزلها
- شبكات InfiniBand وEthernet عالية السرعة: طوبولوجيا Fat-Tree وDragonfly وRDMA وزمن الاستجابة
- معمارية Slurm: الخدمات slurmctld وslurmd وslurmdbd والأقسام والمهام وخطوات المهام
- تخطيط نظام الملفات المتوازي: خوادم البيانات الوصفية وأهداف تخزين الكائنات وتوزيع الشرائح
- تجهيز العنقود: صور العقد عديمة الحالة وإدارة الإعدادات وبيئات الوحدات البرمجية
اليوم 3: مختبر إدارة العنقود: جدولة Slurm ومهام MPI وOpenMP وعقد GPU
- نصوص Slurm الدفعية: sbatch وsrun ومصفوفات المهام والتبعيات والجلسات التفاعلية
- إعداد سياسات التوزيع العادل وحدود جودة الخدمة والملء الخلفي والإزاحة الاستباقية
- تشغيل Open MPI وتوزيع الرتب وربط العمليات في النمط الهجين MPI مع OpenMP
- جدولة GPU بالموارد العامة والمهام متعددة GPU وتقارب المسرعات
- بناء صور Apptainer وربط المجلدات وتشغيل MPI داخل الحاويات
اليوم 4: ضبط الأداء وضغط التخزين وحالات الأعطال وموازنة التكلفة
- تشغيل اختبارات الأداء HPL وHPC Challenge وتفسير نتائجها
- تحليل أداء التطبيقات: اختلال توزيع الحمل وكلفة الاتصال وآثار NUMA
- الحذف الدوري للتخزين المؤقت والحصص وعواصف الملفات الصغيرة ونقل البيانات إلى الأرشيف
- استكشاف أعطال إخراج العقد من الخدمة والمهام المتعلقة وأخطاء شبكة الربط وتحويل المجدول الاحتياطي
- التشغيل المحلي مقابل التوسع إلى سحابة HPC: نموذج تكلفة ساعة النواة وساعة GPU
اليوم 5: المشروع الختامي العملي: خطة تصميم وخدمة عنقود HPC لمركز هندسة وذكاء اصطناعي
- موجز الحالة: توقع الطلب لفرق المحاكاة ومجموعات تدريب نماذج الذكاء الاصطناعي
- ورقة تحديد أحجام مزيج العقد وشبكة الربط وطبقات التخزين
- سياسة المجدول ومخطط تخصيص الموارد للمجموعات البحثية المتنافسة
- صياغة مستويات دعم المستخدمين ودليل التهيئة ودليل التشغيل
- عرض خطة تصميم وخدمة عنقود HPC ومراجعتها مع الزملاء
المهارات التي ستكتسبها:
- توصيف أحمال HPC
- إدارة مجدول Slurm
- تشخيص المهام المتوازية
- تخصيص موارد GPU
- إدارة التخزين المتوازي
- قياس أداء العناقيد
- تحزيم حاويات HPC
- نمذجة تكلفة الحوسبة
لماذا تحضر هذه الدورة:
- العودة بخطة تصميم وخدمة لعنقود HPC لمركز هندسة وذكاء اصطناعي نموذجي بعد مراجعتها مع الزملاء
- تقليص زمن الانتظار في الطوابير ورفع استغلال العقد بتطبيق سياسات جدولة جربت في المختبر
- معالجة مهام MPI المتوقفة وأنظمة التخزين المؤقت الممتلئة والعقد المخرجة من الخدمة بمنهجية استكشاف أعطال سبق التدرب عليها
- مقارنة ممارسات تشغيل العناقيد مع مسؤولين من الجامعات وشركات الهندسة والطاقة ومجموعات الذكاء الاصطناعي
الخاتمة:
لا يحقق العنقود الحاسوبي المشترك عائد الاستثمار فيه إلا عندما تصمم الأحمال والجدولة والتخزين والدعم معا. تنتقل الدورة من ملفات أحمال HPC وقوانين التوسع، مرورا بأدوار العقد وشبكات الربط وSlurm والتخزين المتوازي، إلى التطبيق العملي للجدولة وتشغيل MPI وOpenMP وتخصيص GPU وتحزيم Apptainer، ثم اختبارات الأداء وحالات الأعطال وتكلفة التشغيل المحلي مقابل السحابي. ويحول اليوم الأخير ذلك كله إلى خطة تصميم وخدمة لعنقود HPC يستند إليها المشاركون في قرارات السعة والسياسات ودعم المستخدمين.