نظرة عامة على البرنامج
مقدمة:
دورة التقييمات واسعة النطاق لنواتج التعلم تتناول الاختبارات الوطنية ونتائج PISA وTIMSS وPIRLS، وتمتد 5 أيام لوحدات التقويم في الوزارات وهيئات التقويم الوطنية وباحثي تقويم التعليم، وتنتهي بإعداد خطة برنامج التقويم الوطني وتوظيف النتائج لوزارة افتراضية. فكثير من الأنظمة التعليمية تشارك في الدراسات الدولية أو تجري مسوحا وطنية ثم تنشر ترتيبا لا يغير أي سياسة، لضعف فهم قرارات المعاينة والتدريج وإعداد التقارير. ويسهم المشاركون فعلا في تقويم النظام التعليمي أو في إعداد تقاريره، ويعملون على ملفات حالة تضم أطر معاينة ودرجات مدرجة وجداول نتائج. وتقدم كور كونسبت هذه الدورة.
أهداف الدورة:
- التمييز بين التقويم الحصري والمسوح الوطنية بالعينة والدراسات الدولية، وتحديد موقع المشاركة في PISA وTIMSS وPIRLS من أسئلة السياسة التعليمية للنظام
- تحويل أطر التقويم إلى مواصفات للمجالات والعمليات المعرفية والاستبانات السياقية مدعومة بتصميم الكراسات الدوارة
- تخطيط عينات طبقية على مرحلتين للمدارس والطلبة، وأوزان المعاينة والأوزان التكرارية، والعمليات الميدانية من التجربة الميدانية إلى المسح الرئيسي
- تفسير مخرجات تدريج Rasch والانحدار الكامن والقيم المحتملة وربط الاتجاهات عند قراءة الدرجات المدرجة الوطنية والدولية
- عرض مستويات الكفاءة والمعايير المرجعية الدولية مع الأخطاء المعيارية واختبارات الدلالة الإحصائية بدلا من جداول الترتيب
- تحويل نتائج المسوح إلى موجزات سياسات وتغذية راجعة للمدارس وخطة برنامج التقويم الوطني وتوظيف النتائج لوزارة افتراضية
الفئة المستهدفة:
- وحدات التقويم في الوزارات المسؤولة عن المسوح الوطنية لنواتج التعلم والمشاركة في الدراسات الدولية
- فرق التنسيق البحثي الوطني المسؤولة عن المعاينة والعمليات الميدانية وتسليم البيانات
- فرق البيانات في هيئات التقويم المسؤولة عن التدريج والترجيح وقواعد بيانات النتائج
- باحثو تقويم التعليم الذين يجرون التحليل الثانوي لقواعد البيانات الوطنية والدولية
- وحدات السياسات والتخطيط التي تحول نتائج التعلم على مستوى النظام إلى مستهدفات ومقترحات إصلاح
- وحدات المناهج وتطوير المعلمين التي تستخدم أطر التقويم لمراجعة ما يتعلمه الطلبة
محاور الدورة:
اليوم 1: مشهد التقييمات واسعة النطاق ومراجعة جاهزية النظام التعليمي
- مقارنة أغراض التقويم الوطني الحصري والتقويم القائم على العينة
- الفئات المستهدفة ونطاق المجالات في PISA وTIMSS وPIRLS
- رصد النظام منخفض المخاطر مقابل الاختبار عالي المخاطر لانتقاء المتقدمين
- قائمة أسئلة السياسة التعليمية وربطها بخيارات المشاركة في الدراسات
- مراجعة قدرات التقويم الوطني من حيث الوحدات والموازنات والبيانات
اليوم 2: أطر التقويم وتصميم الاختبار والاستبانات السياقية
- مصفوفة مجالات المحتوى والمجالات المعرفية في TIMSS للرياضيات والعلوم
- مواءمة أغراض القراءة وعمليات الفهم في إطار PIRLS
- مراجعة تعريفات الكفاءة القرائية والرياضية والعلمية في PISA
- المعاينة المصفوفية وتصميم الكراسات الدوارة لتغطية المجالات
- مخطط الاستبانات السياقية للطالب وولي الأمر والمعلم والمدرسة
اليوم 3: تصميم العينة وأوزان المسح والعمليات الميدانية
- تصميم عينة طبقية على مرحلتين للمدارس والطلبة
- بناء إطار معاينة المدارس وفحص نسب الاستبعاد
- الأوزان الأساسية وتعديل عدم الاستجابة وتباين الأوزان التكرارية
- خطة عمل المنسق البحثي الوطني للتجربة الميدانية والمسح الرئيسي
- دليل مدير الاختبار ومتابعة الجلسات وفحص إدخال البيانات
اليوم 4: التدريج والقيم المحتملة وربط الاتجاهات ومخاطر التقارير
- التدريج بنموذج Rasch ومراجعة ملاءمة المفردات لبيانات المسح
- منطق التكييف بالانحدار الكامن وتقدير القيم المحتملة
- ربط المقاييس وفق IRT لمقارنة الاتجاهات عبر دورات التقويم
- مستويات الكفاءة والمعايير المرجعية الدولية وعرض الخطأ المعياري
- التحليل الثانوي باستخدام IDB Analyzer ومخاطر سوء قراءة الترتيب
اليوم 5: دراسة حالة لخطة برنامج التقويم الوطني وتوظيف النتائج
- موجز أسئلة السياسة وخيارات المشاركة لدى الوزارة محل الدراسة
- مسودة مواصفات تصميم العينة والترجيح في الحالة
- تحليل نتائج القيم المحتملة وفجوات الفئات الفرعية في الحالة
- صيغ موجز السياسات وتقارير التغذية الراجعة للمدارس في الحالة
- استكمال خطة برنامج التقويم الوطني وتوظيف النتائج
المهارات التي ستكتسبها:
- مواءمة أطر التقويم
- تصميم عينات المسوح
- تطبيق أوزان المعاينة
- تنسيق العمليات الميدانية
- تحليل القيم المحتملة
- تفسير مقاييس الاتجاهات
- عرض مستويات الكفاءة
- صياغة موجزات سياسات التقويم
لماذا تحضر هذه الدورة:
- إعداد خطة برنامج التقويم الوطني وتوظيف النتائج ورفعها إلى القيادة العليا في الوزارة ورئيس هيئة التقويم ووحدة تخطيط السياسات
- تحديد الصفوف والمجالات والدراسات الدولية التي ينبغي أن يغطيها النظام، وأي النتائج تصلح سندا لقرار سياسي
- تجنب عناوين الترتيب المضللة والعينات المتحيزة ذات نسب الاستبعاد المرتفعة وانقطاع الاتجاهات الذي يبطل المقارنة بين الدورات
- توعية فرق المناهج وتطوير المعلمين وقيادات المدارس بالقراءة الصحيحة لمستويات الكفاءة ونتائج المعايير المرجعية
الخاتمة:
بعد العودة إلى العمل يعرض المشارك خطة برنامج التقويم الوطني وتوظيف النتائج على القيادة العليا في الوزارة ورئيس هيئة التقويم ووحدة تخطيط السياسات. ويعتمدون عليها في إقرار الصفوف والمجالات التي تخضع للمسح، وقرار المشاركة في الدراسات الدولية وكيفيتها، ومواصفات العينة والترجيح، وطريقة وصول النتائج إلى المدارس وقرارات الإصلاح. وبعد أول دورة مسح أو أول إعلان لنتائج دولية وفق الخطة، تراجع الوحدة نسب الاستبعاد والأخطاء المعيارية وقابلية مقارنة الاتجاهات، وما إذا غيرت النتائج أي سياسة أو إجراء مدرسي.
الأسئلة الشائعة:
ما الذي يحتاجه المشارك قبل دورة التقييمات واسعة النطاق لنواتج التعلم؟
يحتاج المشارك إلى خبرة في المسوح الوطنية أو المشاركة في الدراسات الدولية أو تحليل بيانات التقويم أو إعداد تقارير السياسة التعليمية، مع قدرة على قراءة جداول المتوسطات والنسب والأخطاء المعيارية. ويفيد إحضار تقرير نتائج وطني أو ملخص دراسة دولية في أعمال الحالة.
بم تختلف دورة التقييمات واسعة النطاق لنواتج التعلم عن دورة إدارة الاختبارات؟
تتناول هذه الدورة مسوحا منخفضة المخاطر بالعينة تقيس تعلم نظام تعليمي كامل، بالاعتماد على المعاينة المصفوفية وأوزان المسح والقيم المحتملة. أما دورات إدارة الاختبارات فتتناول أوراقا عالية المخاطر تمنح درجات لمتقدمين أفراد، مع التصحيح والمراجعة ودرجات النجاح.
لماذا تعرض التقييمات واسعة النطاق لنواتج التعلم قيما محتملة بدلا من درجات فردية؟
لأن كل طالب يجيب عن جزء من مجموعة المفردات فقط، فتكون الدرجة الفردية غير موثوقة. وتعطي القيم المحتملة المستخرجة من نموذج تدريج وفق IRT مع الانحدار الكامن تقديرات غير متحيزة للفئات وأخطاء معيارية صحيحة، وهو ما تحتاجه تقارير النظام.
ماذا يعود به المشارك من دورة التقييمات واسعة النطاق لنواتج التعلم؟
يعود المشارك بخطة برنامج التقويم الوطني وتوظيف النتائج، ومعها مصفوفة مواءمة الأطر ومواصفات العينة والترجيح وقائمة فحص العمليات الميدانية ونموذج لعرض مستويات الكفاءة وصيغة لموجز السياسات، قابلة للتكييف مع وزارته أو هيئته.