Evaluación-de-programas-cipp-educ8030ch04

Capítulo 4

EVALUACIÓ EVALUACI N DE PROGRAMAS

Profesora Milagros Bravo Vick PhD EDUC 8030 UPR RP Juan Capurro Gonzáles

Objetivos de la Presentación

 Describir los enfoques orientados al mejoramiento y la rendición de cuentas  Discutir los aportes de Daniel Stufflebeam en la temática de Evaluación de Programas  Explicar el método CIPP, sus fundamentos y potencialidades.  Discutir la relevancia de Evaluación de Programas en los diferentes campos en particular el educativo.  Presentar los beneficios y consideraciones acerca de Evaluación de Programas incluyendo una visión panorámica que interrelaciona las diferencias entre ellas. Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Enfoques orientados al mejoramiento y la rendición de cuentas

Panorama de Evolución De los diversos enfoques de evaluación ubicamos a estos por su interés principal: Orientados a las Preguntas > Objetivos / Tyler Orientados a los Métodos > Estrategia de inquirir avalúo, estudio de casos Orientados al Mejoramiento > Tomar decisiones / informada seleccionar entre alternativas Orientados a la participación Utilidad y agenda social > apoderamiento

Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Enfoques orientados al mejoramiento y la rendicion de cuentas • Caracterizados y organizados para ofrecer información sobre las distintas etapas de los Programas y poder tomar decisiones racionales y oportunas sobre cada una de ellas. • Los 3 principales modelos de esta categoría: • Enfoque orientados a la toma de decisiones, identificando la información pertinente al usuario • Enfoque orientado al consumidor, facilitándole información de programas en competencia y • Enfoque orientado al peritaje profesional en procesos de acreditación (ej. Delphi, Blue Ribbon) Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Enfoques orientados al mejoramiento y la rendición de cuentas

• Énfasis en mejorar el programa facilitando información para la toma de decisiones organizacionales. • Ofrecen al consumidor evaluaciones entre programas y servicios que compiten y lo ayudan a examinarlos mediante peritaje profesional • El usuario principal de estos son los decisores y administradores de programas pero reporta utilidad a otros dado que el método es un acercamiento sistémico y ajusta la preguntas a las necesidades de información de quien la ejecuta. Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Las Fuentes de Information

• Identifica las partes en que se deben tomar decisiones • Se orienta a clarificar quien usara la información evaluativa, el tipo y el momento pertinente. • Las preguntas corresponden a diversas facetas del programa:  ¿ Se han determinado apropiadamente las necesidades de los beneficiarios del programa?  ¿ Cuáles son sus méritos y costos comparativos?  ¿ El personal está suficientemente cualificado?  ¿ Se han asignado roles apropiados a los participantes? Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Enfoques orientados a la toma de decisiones • •

Daniel Stufflebeam (CIPP) Su aporte fue diseñar en un solo marco de referencia 4 evaluaciones que corresponden a 4 fases del Programa: C ontexto Planificación I nsumo Estructural P roceso Implantación P roducto Retro-comunicación

•

[email protected] ALKIN Marvin “[It is best] to generally adhere to a particular model that makes the most intellectual sense to [you]. … To have a defining structure: a basic model or theory that one adheres to but is potentially adaptable.” (Alkin, 2004, Evaluation Roots, x.)

•

Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

M é todos orientados al mejoramiento “Evaluation use (or evaluation utilization) refers to the way in which an evaluation and the information from the evaluation impacts the program that is being evaluated. … It is important to make clear that evaluation use can occur as a function of the evaluation process [process use] as well as due to its findings [findings use], and in both cases either conceptually, instrumentally, or symbolically / legitimatively. … An awareness of evaluation’s intended and unintended impacts is another defining characteristic of use.” (Alkin & Taut, 2003, Unbundling Evaluation Use, 2, 13.) Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Incorrectos usos de la Evaluación

“We define the responsibility for evaluation misuse as resting with users, while the responsibility for misevaluation lies with evaluators. Another issue related to misuse is the difference between intentional and unintentional misuse.” (Alkin & Coyle, 1988, Thoughts on Evaluation Utilization, Misutilization and Non-utilization, 334.) “Most of the evaluation ethics literature focuses on the practices and principles of the evaluator. Misutilization examines evaluation ethics through a different lens. Here, we consider the ethics of those using the evaluation, be it the commissioning of an evaluation, the evaluation process itself, or the evaluation findings.” (Christie & Alkin, 1999, Further Reflections on Evaluation Misutilization, 1.)

Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Enfoques orientados al consumidor y la rendición de cuentas

• Juzgan los meritos relativos, el valor de productos y servicios alternativos, de forma que el cliente pueda hacer decisiones racionales. • Estos se desarrollaron en base a la alta disponibilidad de recursos en los 60’s, promueve la educación del consumidor • La persona que hace la evaluación asume la posición de consumidor sustituto ilustrado. • Los métodos de recopilación de datos: Listas de cotejo basados en criterios estrictos (consumer report) • Komoski, el servicio independiente de revision de productos, y Stevens con CMAS (Sist de análisis de Materiales curriculares) Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Evaluación orientada al peritaje

• Son los mas extendidos y antiguos y dependen del juicio “experto” de manera mayor que en los demás enfoques. • Sistemas profesionales formales de revisión. Se usan en acreditaciones, estándares publicados, y su efecto sobre los programas evaluados es alta. • Sistemas profesionales informales de revisión, como los Comités de Tesis, tienen cierta estructura pero no son estándares en propiedad. • Paneles ad hoc, que no tienen ni estructura, ni estándares ni itinerario, pero incorporan opinión múltiple, sus miembros revisan los materiales individualmente y se reúnen para compartir percepciones. • Revisiones individuales, similares a las anteriores pero es individual • Enfoque de peritaje y critica educativa: Elliot Eissner (75), usa el arte, y Kelly (78) usa la literatura. Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Fortalezas y Limitaciones CIPP • Los programas no necesitan esperar a que unas actividades hayan sido implantadas para evaluarlas, demostraron la importancia de comenzar los procesos evaluativos desde que se empiezan a discutir ideas para desarrollar programas. • Permite decidir con precision que informacion debe sere recogida, la cual es esencial. Se focaliza en las necesidades y en las decisiones que han de tomar.Limita el alcance de la informacion pertinente a recoger.

Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Contribuciones más destacadas

• Identificación de necesidades y planteamientos de objetivos correspondientes. • Consideración y evaluación de diseños de programas alternativos. • Examen de la implantación de un programa. • Identificación de fallos en los programas. • Explicación de los resultados, a base de la implantación. • El examen de si las necesidades se han reducido. • Contribución al desarrollo de la meta evaluación. • Provisión de guías para meta evaluación. Becerra-Fernandez, et al. -- Knowledge Management 1/e -- © 2004 Prentice Hall

Debilidades y Limitaciones

• Limita la habilidad de responder a los problemas que no sean inquietudes de las personas que toman decisiones. • La preferencia que se le da a las gerencias, abre la posibilidad que evaluador se convierta en un emisario de la gerencia. • Una limitación adicional de este enfoque, es que si se sigue en su totalidad puede llevar a evaluaciones muy costosas y complicadas, desviando recursos, que pudieran invertirse más eficazmente en el programa. • Stufflebeam, señala que la colaboración entre la persona que evalúa y las partes interesadas sesga los resultados. Becerra-Fernandez, et al. -- Knowledge Management 1/e -- © 2004 Prentice Hall

Calificación CIPP • Recibieron una calificación general de “muy bueno”, en los estándares de utilidad, viabilidad y honestidad. • Recibieron una calificación de “excelente” en certidumbre. • • • •

Referencias: Evaluacion de Programas. Dra Milagros Bravo Social Research Methodology at UCLA srm http://www.gseis.ucla.edu/~srm/Alkin.html Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Bibliografía •

•

•

• •

Social Research Methodology at UCLA - [Citas previas] Marvin C. Alkin Professor Emeritus Education Evaluation Theory and Practice 3026 Moore Hall (310) 825-4800 [email protected]. Education ... www.gseis.ucla.edu/~srm/Alkin.html Marvin Alkin - Graduate School of Education and Information StudiesAlkin, M.C. and Hofstetter, C.H. (2002). Evaluation Use Revisited to be published in International Handbook of Educational Evaluation (D. Stufflebeam and T. … www.gseis.ucla.edu/faculty/members/alkin Marvin Alkin (UCLA) | EDUCAUSE Marvin Alkin (UCLA). Marvin Alkin. Professor, Education. UCLA. Los Angeles, California UNITED STATES. Membership Information. General Info. General Info ... www.educause.edu/Community/MemDir/Profiles/MarvinAlkin/75687 http://aje.sagepub.com/cgi/content/abstract/24/2/213 http://www.allenandunwin.com/default.aspx?page=94&book=9781741146769 Juan Capurro. – Evaluación de Programas EDUC 8030 -- © 2008 UPR RP

Capítulo 4

EVALUACIÓ EVALUACI N DE PROGRAMAS

Profesora Milagros Bravo Vick PhD EDUC 8030 UPR RP Juan Capurro Gonzáles