Facultad de Economía Maestría en Gobierno y Políticas Públicas
Evaluación de Impacto Francisco Lezama
A manera de presentación Horario de clases Jueves 17:00 a 19:30 horas
Criterios de Evaluación Examen
30% Trabajos y prácticas 30% Trabajo final 20% Asistencia y PARTICIPACIÓN 10%
A manera de presentación (2) Reglas del juego Resolución de casos prácticos y
presentaciones Importancia de la asistencia y participación (normativas y positivas) Puntualidad
Esquema 1. Evaluación de Impacto: La importancia de los counterfactuals 2. Métodos de Evaluación de Impacto
Referencias Baker, Judy, (2000), “Evaluating the impact
of Development Projects on Poverty: A Handbook for practicioners”, World Bank, Chapter 3
Bouilon y Tejerina, (2007), “Do we know
what works? A systematic review of Impact Evaluations of Social Programs in LAC”, IABD
Ravallion, Martin, (2001), “The mistery of
vanishing benefits. An introduction of impact evaluation”, World Bank Economic Review, 15, 115-140
1. La importancia de los contrafactuales ¿Cuál es la manera ‘usual’ de evaluar el
impacto de una cierta política pública? En media, lo que se hace es comparar a dos
personas, una ‘beneficiada’ y la otra ‘no beneficiada’ por la política en cuestión. ¿Cuál es el problema de este procedimiento?
1. La importancia de los contrafactuales No toma en cuenta que ‘otras cosas’
pudieron haber pasado en el tiempo transcurrido entre la aplicación de la política. Econométricamente puede llevar a la
existencia de correlación ‘spurious’ entre los regresores, con lo cuál se estaría infra/sobrevalorando los efectos de la política.
1. La importancia de los contrafactuales Deberíamos evaluar el impacto de la
siguiente manera: Las ganancias, pues, se verían reflejadas
como: Muchas veces lo que se calcula es lo
siguiente:
1. La importancia de los contrafactuales Ambas identidades pueden relacionarse de
la siguiente manera:
El término B viene dado por:
1. La importancia de los contrafactuales En general puede hablarse de la existencia
de cuatro métodos para evaluar el impacto de una cierta política/programa/intervención. 3. 4. 5. 6.
Randomization Matching Reflexive Comparissons Double Difference
1. La importancia de los contrafactuales Gráficamente esto puede verse de la
siguiente manera:
2. Métodos de evaluación de impacto Randomization Los grupos de ‘tratamiento’ y ‘control’ se
hace de manera aleatoria, sobre una población correctamente targeteada. Esto asegura que que la ‘expectativa’ del outcome de la política será independiente de otros efectos ocurridos durante el tiempo de implementación. Esto es:
2. Métodos de evaluación de impacto ¿Ventajas de randomization? No es suceptible a erorres ‘humanos’ El único error posible tiene que ver con el tamaño de la muestra Desventajas Costo político ¿Ética? Puede existir self-selection de participación/no participación
2. Métodos de evaluación de impacto Matching Consiste en encontrar, de un gran survey,
un grupo de control válido.
Estadísticamente se trata de encontrar un
grupo para el cuál la distribución estadística de los observables sea igual a la del grupo de ‘tratamiento’
2. Métodos de evaluación de impacto Ventajas: Grupos estadísticamente comparables Basado en ‘Econometría’
Desventajas: Necesita surveys muy grandes Conserva el sesgo de los ‘no observables’
2. Métodos de evaluación de impacto Reflexive comparissons Está basada en el principio de comparar
grupos de control y tratamiento, una vez que ha implementado el programa.
Asume implícitamente que todas las
variaciones en el outcome se deben a la aplicación de la política a evaluar.
Esto, como sabemos es falso pues:
2. Métodos de evaluación de impacto Gráficamente puede verse una comparación
reflexiva de la siguiente manera:
2. Métodos de evaluación de impacto Double Difference: Este método surge como ‘alternativa’ a la
reflexive comparisson, y trata de tomar en cuenta las diferencias antes y después de la aplicación de la política propuesta.
2. Métodos de evaluación de impacto Ejercicio rápido: Defina el impacto del
programa propuesto usando double differences.
Facultad de Economía Maestría en Gobierno y Políticas Públicas
Evaluación de Impacto Francisco Lezama