نظرة عامة على البرنامج
مقدمة:
دورة تقييم أثر البرامج الحكومية بالتجارب العشوائية والفروق في الفروق وانحدار الانقطاع والمطابقة دورة تمتد أسبوعين لوحدات تحليل السياسات وفرق تقييم البرامج والجهات المكلفة بطلب التقييمات، وتنتهي بإعداد تصميم تقييم الأثر وخطة التحليل المسبقة لبرنامج حالة. فكثير من البرامج العامة يوسع أو يقلص أو يجدد بناء على مقارنات قبل وبعد لا تفصل أثر البرنامج عن الاتجاهات العامة والانتقاء الذاتي والصدفة. ويدير المشاركون تقييمات أو يحللون بيانات برامج في عملهم، ويتدربون عبر بناء نماذج حسابية على بيانات برامج محاكاة وحسابات القوة الإحصائية وبيانات التكلفة. وتقدم كور كونسبت هذه الدورة.
أهداف الدورة:
- تحويل نظرية التغيير الخاصة بالبرنامج إلى أسئلة تقييم سببية بأثر معالجة محدد وسيناريو مضاد واضح
- اختيار استراتيجية التحديد السببي انطلاقا من قواعد إسناد البرنامج وعتبات الأهلية وتسلسل الإطلاق المرحلي
- تصميم التجارب العشوائية المضبوطة بأنواعها العنقودية والمرحلية وتصاميم التشجيع مع توزيع عشوائي قابل للإعادة
- حساب حجم العينة والحد الأدنى للأثر القابل للرصد وتخطيط جمع بيانات المسوح والسجلات الإدارية للنتائج
- تقدير آثار البرامج وتفسيرها بالفروق في الفروق وانحدار الانقطاع والمطابقة بدرجة الميل والضابط التركيبي
- إعداد تقديرات فعالية التكلفة وخطة تحليل مسبقة تدعم قرارات تخصيص الموازنة والتوسع في البرامج
الفئة المستهدفة:
- وحدات تحليل السياسات المسؤولة عن التوصية بتوسيع البرامج العامة أو إعادة تصميمها أو إيقافها
- فرق تقييم البرامج المسؤولة عن تصميم تقييمات السيناريو المضاد للخدمات العامة وتنفيذها
- فرق طلب التقييمات المسؤولة عن التعاقد على دراسات الأثر الخارجية والإشراف عليها وضمان جودتها
- وحدات التمويل والمنح المسؤولة عن تخصيص الموازنات بناء على أدلة فاعلية البرامج
- وحدات الإحصاء والبحوث المسؤولة عن توفير بيانات المسوح والسجلات الإدارية لتقييم البرامج
محاور الدورة:
اليوم 1: الأسئلة السببية والسيناريو المضاد وغاية تقييم الأثر
- نموذج النتائج المحتملة ومشكلة السيناريو المضاد غير المرصود
- تحيز الانتقاء والعوامل المربكة في مقارنات قبل وبعد
- تحويل نظرية التغيير إلى أسئلة سببية قابلة للاختبار
- تعريفات متوسط أثر المعالجة وأثر المعالجة على المعالجين ونية المعالجة
- قائمة تحقق تقييم قابلية البرنامج العام للتقييم
اليوم 2: استراتيجيات التحديد السببي واختيار تصميم التقييم
- شجرة قرار استراتيجية التحديد من قاعدة الإسناد إلى الأسلوب
- قواعد تشغيل البرنامج مصدرا لمجموعات المقارنة
- مهددات الصدق الداخلي ومنها انتقال الأثر والتلوث
- الصدق الخارجي وقابلية نقل آثار البرامج المقدرة
- مصفوفة خيارات تصميم التقييم للبرامج ذات الإطلاق المرحلي
اليوم 3: التجارب العشوائية المضبوطة في البرامج العامة
- معايير اختيار وحدة التوزيع العشوائي بين الأفراد والعناقيد
- الإطلاق المرحلي العشوائي للبرامج التي يفوق الطلب عليها طاقتها
- تصاميم التشجيع وتقدير متوسط أثر المعالجة الموضعي
- شيفرة توزيع عشوائي طبقي قابلة للتحقق وإعادة التنفيذ
- تشخيص التسرب وعدم الامتثال للإسناد وجدول توازن خط الأساس
اليوم 4: حجم العينة والقوة الإحصائية وجمع بيانات التقييم
- ورقة حساب الحد الأدنى للأثر القابل للرصد والقوة الإحصائية
- تعديل معامل الارتباط داخل العنقود لأحجام العينات العنقودية
- تصميم استمارة مسح الأسر في خط الأساس والقياس النهائي
- ربط السجلات الإدارية لقياس النتائج بتكلفة منخفضة
- فحوص جودة بيانات المسح وإعادة التحقق الميداني من فرق الجمع
اليوم 5: دراسة حالة موجهة في تصميم التجربة والقوة والتقدير
- مراجعة خطة التوزيع العشوائي في ملف حالة التحويلات النقدية المشروطة
- حساب القوة لجهة الحالة في ظل قيود الموازنة والعناقيد
- تفسير جدول التوازن وتقرير التسرب في جهة الحالة
- تقديرات نية المعالجة وأثر المعالجة على المعالجين في الحالة
- نقد مذكرة تصميم التقييم للأسبوع الأول أمام لجنة الأقران
اليوم 6: التصاميم شبه التجريبية للبرامج التي يتعذر فيها التوزيع العشوائي
- الفروق في الفروق مع فحص الاتجاهات المتوازية ودراسة الحدث
- الفروق في الفروق للتبني المتدرج وتصحيح تحيز التوقيت
- انحدار الانقطاع الحاد والضبابي عند عتبات الأهلية
- المطابقة بدرجة الميل مع منطقة الدعم المشترك واختبارات التوازن
- أسلوب الضابط التركيبي للإصلاحات التي تمس وحدة واحدة
اليوم 7: أخلاقيات التقييم وضمان الجودة وشفافية البحث
- الموافقة المستنيرة والمراجعة الأخلاقية عند حجب الخدمة
- خطة التحليل المسبقة وتسجيل التجربة قبل بيانات النتائج
- تصحيحات الاختبارات المتعددة ومخاطر البحث الانتقائي عن المواصفات
- إخفاء الهوية والمعالجة الآمنة للبيانات الجزئية للبرامج
- حزمة إعادة الإنتاج ومعايير المراجعة المستقلة للشيفرة
اليوم 8: طلب التقييمات وإشراك أصحاب المصلحة وعرض أحجام الأثر
- وثيقة التعاقد على دراسة الأثر وضمانات استقلال المقيم
- إدماج فريق التقييم مع منفذي البرنامج منذ مرحلة التصميم
- ترجمة حجم الأثر إلى عبارات سياساتية بلغة واضحة
- شرح فترات الثقة والنتائج الصفرية لمتخذي القرار
- موجز سياسات التقييم وملخص النتائج لكبار المسؤولين
اليوم 9: فعالية التكلفة وتباين الأثر والأدلة في قرارات الموازنة
- حساب نسبة فعالية التكلفة من تقدير التكلفة بأسلوب المكونات
- مقارنة التكلفة والمنفعة باستخدام نتائج البرنامج المقومة نقديا
- آثار المعالجة غير المتجانسة وضوابط تحليل الفئات الفرعية
- التحليل التلوي وتجميع الأدلة عبر تقييمات قابلة للمقارنة
- معايير تخصيص الموازنة المستند إلى الأدلة وقرار التوسع
اليوم 10: بناء نموذج تصميم تقييم الأثر وخطة التحليل المسبقة
- نظرية التغيير لبرنامج الحالة واختيار السؤال السببي
- اختيار استراتيجية التحديد لبرنامج الحالة بين الخيارات العشوائية وشبه التجريبية
- نموذج حجم العينة والحد الأدنى للأثر القابل للرصد لبرنامج الحالة
- توقع فعالية التكلفة لبرنامج الحالة أمام لجنة الموازنة
- استكمال تصميم تقييم الأثر وخطة التحليل المسبقة ومناقشتهما
المهارات التي ستكتسبها:
- التفكير بالسيناريو المضاد
- اختيار استراتيجية التحديد السببي
- تصميم التجارب العنقودية
- تحليل القوة الإحصائية
- التقدير شبه التجريبي
- تحليل الضابط التركيبي
- تقدير تكاليف البرامج
- المشورة المستندة إلى الأدلة في الموازنة
لماذا تحضر هذه الدورة:
- تسليم تصميم تقييم الأثر وخطة التحليل المسبقة لبرنامج حالة إلى رئيس وحدة السياسات ولجنة توجيه التقييم
- تحديد تصميم التقييم الذي تسمح به قواعد تشغيل البرنامج قبل بدء جمع البيانات وتخصيص الموازنات
- تجنب توسيع البرامج أو تقليصها بناء على مقارنات قبل وبعد أو عينات ضعيفة القوة أو نتائج منتقاة
- نقل أوراق حساب القوة الإحصائية ونماذج جداول التوازن وقوائم تحقق خطة التحليل المسبقة إلى فرق التقييم
الخاتمة:
بعد العودة إلى العمل يعرض المشارك تصميم تقييم الأثر وخطة التحليل المسبقة على رئيس وحدة السياسات ولجنة توجيه التقييم وفريق الموازنة. ويعتمدون عليه في تقرير طريقة إسناد المرحلة التالية من إطلاق البرنامج، وحجم عينة التقييم المطلوب، ورقم فعالية التكلفة الذي يبرر التوسع أو إعادة التصميم. وبعد مسح خط الأساس، تراجع الوحدة حجم العينة المتحقق والتوازن ونسب التسرب مقارنة بالخطة، وتعدل افتراضات القوة الإحصائية ومواعيد مراحل التقييم.
الأسئلة الشائعة:
ما الذي يحتاجه المشارك قبل دورة تقييم أثر البرامج الحكومية؟
يحتاج المشارك إلى خبرة في إدارة تقييمات البرامج أو تحليل بياناتها، وإلى إلمام بالمتوسطات والتباين ومخرجات الانحدار واختبار الفرضيات في جداول البيانات أو برنامج إحصائي. ويساعده إحضار وصف مجهل لبرنامج وقواعد أهليته على ربط المشروع الختامي بإطلاق فعلي.
بم تختلف دورة تقييم أثر البرامج الحكومية عن دورة أطر المتابعة والتقييم؟
تقدر هذه الدورة ما أحدثه البرنامج فعلا بدلا من متابعة ما إذا كان قد نفذ أنشطته. فدورات أطر المتابعة والتقييم تبني الأطر المنطقية والمؤشرات ونظم التقارير، أما هذه الدورة فتبني تصاميم السيناريو المضاد وحسابات القوة وتقديرات الأثر بالتجارب العشوائية والفروق في الفروق وانحدار الانقطاع والمطابقة.
متى يستخدم تقييم أثر البرامج الحكومية انحدار الانقطاع بدلا من التجربة العشوائية؟
يناسب انحدار الانقطاع البرامج التي تحدد الأهلية أصلا بعتبة درجة، مثل مؤشر فقر أو درجة اختبار، حين لا يكون التوزيع العشوائي مقبولا. ويقدر الأثر للوحدات القريبة من العتبة، لذا قد لا تنطبق نتائجه على الوحدات البعيدة عنها.
ماذا يعود به المشارك من دورة تقييم أثر البرامج الحكومية؟
يعود المشارك بتصميم تقييم الأثر وخطة التحليل المسبقة لبرنامج حالة، يضمان سؤالا سببيا واستراتيجية تحديد مختارة ونموذجا لحجم العينة والحد الأدنى للأثر القابل للرصد وخطة لجمع البيانات وتوقعا لفعالية التكلفة.