Clase 6. A Primer On Impact Evaluation

Facultad de Economía Maestría en Gobierno y Políticas Públicas

Evaluación de Impacto Francisco Lezama

Esquema 1. A primer on impact evaluation: Mrs. Speedy’s task 2. Lecciones finales para mejorar la evaluación del impacto desde el diseño

Referencias Baker, Judy, (2000), “Evaluating the impact

of Development Projects on Poverty: A Handbook for practicioners”, World Bank, Chapter 3

Bouilon y Tejerina, (2007), “Do we know

what works? A systematic review of Impact Evaluations of Social Programs in LAC”, IABD

Ravallion, Martin, (2001), “The mistery of

vanishing benefits. An introduction of impact evaluation”, World Bank Economic Review, 15, 115-140

1. Antecedentes El objetivo del paper es evaluar el (fitcticio)

programa de combate a la pobreza PROSCOL.

Características:

5. Cash-trasnfer condicional 6. Obligación de mantener a los hijos en la escuela 7. ¿Objetivo? Reducir la pobreza HOY y MAÑANA

Resultados ‘preeliminares’ del programa:

3. Los poorest 30% reciben el 70% de los beneficios del programa 4. El enrollment no presenta cambios significativos cuando se compara Familias PROSCOL vs. Non -PROSCOL  ¿Programa fallido?  ¿Qué se está calculando?

1. La importancia de los contrafactuales  Deberíamos evaluar el impacto en schooling de

la siguiente manera: Las ganancias, pues, se verían reflejadas

como: Muchas veces lo que se calcula es lo

siguiente:

1. La importancia de los contrafactuales Ambas identidades pueden relacionarse de

la siguiente manera:

El término B viene dado por:

¿Puede corregirse esto? Sólo a priori haciendo una asignación

aleatoria.

¿Qué asegura una asignación aleatoria?

Pero… El programa está targeteado hacia los

pobres, con lo cual NO ES ALEATORIO

Al estar targeteado el programa hacia los

pobres, el método ‘tradicional’ de comparación, SUBESTIMA los resultados ¿Alguien me dice por qué?

Luego, si medimos de la manera tradicional

podríamos encontrar que el impacto fue CERO, cuando, en realidad, no lo fue.

So, medimos el resultado por el aumento en

schooling de los niños. El aumento en ingresos podría medirse de la siguiente manera:

¿Nos olvidamos de algún side-effect del

programa?

¿Qué pasa con el forgone income? ¿Será importante acaso?

Al final del día el forgone income y las

ganancias en schooling son dos caras de la misma moneda, que representan el trade-off del programa. ¿Cuál es dicho trade-off?

Una buena manera de constatar la

importancia del forgone income es calcular, de manera CORRECTA

Una relación bastante intuitiva sería hacer

una regresión de los años de estudio de la siguiente manera:

La ganancia pues vendría dada por:

Este tipo de estimaciones, sin embargo,

tiene muchos problemas: 3. Requiere exogeneidad absoluta 4. No toma en cuenta elementos ‘inobservables’

¿Cómo hubiera ayudado una encuesta base? Si el programa tuviera una encuesta base

podría hacerse la siguiente comparación:

Lecciones para el diseño de políticas

públicas: 3. Es importante, en la medida de lo posible hacer asignaciones aleatorias 4. Los criterios de targeting deben ser claros y objetivos 5. En la medida de lo posible, deben hacerse baseline surveys 6. Debe distinguirse de manera clara el indicador objetivo a evaluar

Facultad de Economía Maestría en Gobierno y Políticas Públicas

Evaluación de Impacto Francisco Lezama