Instrumentos 9-11-09

Instrumentos de Evaluación educativa

Dra. Adriana Andrade Frich Noviembre 9, 2009

Objetivo Como parte del acercamiento y acompañamiento a la mejora de las actividades de evaluación educativa institucional, se busca que las y los participantes: Reconozcan la importancia del propósito de la evaluación educativa para la formación de profesionistas en educación básica y los diferentes tipos de requerimientos informativos. Distingan las características de algunos de los instrumentos de recopilación de información adecuados a las necesidades y propósitos de evaluación y las evidencias requeridas. Apliquen la información, habilidades y actitudes desarrolladas.

Agenda Recapitulación Estilos de aprendizaje Competencias evaluativas Correspondencias entre Instrumentos de relevamiento de información y los propósitos de la evaluación y los requerimientos de evidencias (ev. producto) (ev. Proceso-producto-efectos) Taller de plantillas Taller de protocolos Taller de libros de códigos

El poder del ahora

Un medio para conocer, compartir y transformar

¿dónde estamos? SESIÓN

FECHA

TEMA

ENTRAGABLE

1

Lunes 12 de octubre

Panel Introducción

Calendario

2

Lunes 19 de octubre

Análisis curricular

Análisis de un programa

3

Lunes 26 de octubre

Perfil de ingreso y egreso

Preguntas para entrevista a docentes Preguntas para cuestionarios a estudiantes

4

Lunes 9 de noviembre

Instrumentos de evaluación del logro de aprendizaje estudiantil

Protocolo Plantilla Libro de códigos

% AVANCE

¿qué falta? SESIÓN

FECHA

TEMA

ENTRAGABLE

5

Martes 17 de noviembre

Evaluación docente

Diseño de evaluación docente

6

Lunes 23 de noviembre

Integración del sistema de evaluación

Acuerdo firmado por el/la directora/a sobre el plan de evaluación

7

Lunes 30 de noviembre

Presentación de resultados de 6/11 escuelas normales participantes

8

Lunes 7 de noviembre

Presentación de resultados de 5/11 escuelas normales participantes

Lunes 14 de noviembre

Entrega del informe impreso

Enero 2009 por confirmar

Presentación de la memoriasistematización del diplomado

9

% AVANCE

Ambiente de aprendizaje  ¿Qué

te gustaría que pasara?  ¿Qué no te gustaría que pasara?

Problemas percibidos Temor a ser evaluados Simulacro Práctica mecánicas Falta dominio técnico Estandarización Falta de trabajo personal Falta de ética profesional Ambiente laboral Disponibilidad Diversos perfiles Intereses diversos referentes teóricos Características de los programas Criterios externos Poca participación trabajo colegiado No se sistematizan los resultados

•Tiempos •Diseño de parámetros para evaluar. •Resistencia/ resistencia al cambio •Descontextualización •desconocimiento del evaluado •Formas poco diversas de evaluar •Requisito administrativo •Verla solo con fines de acreditación •Gran cantidad de alumnos para ser evaluados •Falta de compromiso docentes •Equilibrio /cualitativo y cuantitativo

Pasado •Orden •Respeto •Estaticidad •Cuantitatividad •Chantajismo •Silencio •Normatividad •Memorización •Repetición •Recompensa-castigo desgaste •Rigidez •Injusticia •Coacción •Aprobación-reprobación

Presente

•PARTICIPACIÓN •CRITICIDAD •DINAMISMO •COMPLEJIDAD •CONFIANZA(EN OTROS) •ACEPTACIÓN ERRORES •SOLIDARIDAD •AUTOMOTIVACIÓN •RESPONSABILIDAD •VOLUNTAD •FORMATIVIDAD •RETROALIMENTACIÓN •COMPETITIVIDAD

SOLUCIONES 

Percepción Ev. como proceso. Incluir a todos los actores y aspectos cualitativos.

Crear la necesidad interna de ser evaluados, con un propósito que tenga sentido para la escuela. 

Establecer y discutir los fines. Visión mas amplia de los objetivos de la formación integral. Dominio técnico



Formación continua y actualización

  

Ver la evaluación como un proceso formativo. Trabajo colegiado Realizar labor permanente de sensibilización, actualización y profesionalización docente. Realizar investigación educativa y aplicarla para mejorar el proceso



Ampliar referentes teóricos , sistematizar los procesos y resultados y dar seguimiento



Transparentar y difundir resultados. Cambio percepción carrera magisterial



Usarla como instrumento valioso para mejorar la práctica docente



Desarrollo de diversas estrategias para evaluación múltiple



Empate de las escuelas normales con las esc. de ed. Básica , con los planes y programas, ya que existen confusiones en la comprensión de los mismos.

Factores de transformación 1-Resultados negativos E externas. 2- Procesos de enseñanza en las normales obsoletos 3- Limitada reflexión y análisis de alumnos y docentes 4- Profesionalización docentes. Verla como proceso formativo 5-Reforma programas. Certificación institucional 6- Logro del perfil de egreso. Políticas educativas 7- Mejorar el funcionamiento de las instituciones 8- Políticas internacionales del FMI y BM para empleo de préstamos

Factores de transformación 9- Políticas internacionales del FMI y BM para empleo de préstamos 10- La globalización. Rendición de cuentas 11- Involucrar a las Esc. Normales en los procesos de PEFEN; ISO; CIEES 12- Competencia de mercados laborales 13- Cambios sociales, económicos, tecnológicos 14- Nuevos retos de sistema educativo. Desarrollo conceptual. 15- Diferentes modelos educativos. Desarrollo de tecnología educativa. 16- Deseo de mejorar, transformar el proceso de pasivo a activo con mejores estrategias e instrumentos de E.

Deseos 

Evaluación competencias docentes, directivas y educandos.



Claridad, transparencia. Promoción y recategorización. Incentivo docente.



Capacitación continua . Calidad



Inicio, intermedia y final , Parte de la currícula



Comité de seguimiento, evaluación mejoras continuas escuela



Formación continua/Actualización permanente



Combinación instrumentos cuali-cuantitativos. Sistemática



Docentes unidos, participación. Proceso formativo



Iniciativa personal o colectiva



Flexible, adaptativa, objetiva, funcional, consistente, pertinente, eficaz



Adecuada a nuestros contextos como país



Fomento creatividad mas que competitividad



Intercambio experiencias escuelas. Acceso trabajos en línea



Un país con un modelo educativo innovador, jóvenes con amplios repertorios profesionales, docentes satisfechos y seguros de su quehacer profesional.

Competencias evaluativas Requiere de: • conocimiento (teórico, práctico o teóricopráctico), • afectividad, • compromiso, • cooperación y • cumplimiento. Se expresa en el desempeño, también de tipo teórico, práctico o teórico-práctico. Para incidir sobre lo que se considera sustancial de un desempeño, a través de un direccionamiento de esfuerzos coherentes.

Competencias evaluativas

Competencias evaluativas verbo elaborar

objeto Plan de trabajo

condición Basados en currículo para el trabajo técnico en normales del estado

realizar

Reuniones colegiadas

Para diseño de estrategia

Área: Especialidad: Ocupación: Propósito Principal Función clave Función Principal Unidad de competen cia

 Elementos  El

de competencia:

EVALUADOR/A debe ser capaz de:

¿Qué está pasando aquí?

Dominio actual

nivel de satisfacción

prioridades

Instrumentos de relevamiento de información  Establecer – –

¿Qué hay que aprender? ¿Cómo se calificará el aprendizaje?

 Recopilar – – –

los objetivos de aprendizaje

evidencias

Procesos Resultados Efectos

Instrumentos de relevamiento de información



Comparar objetivos / evidencias



Formar un juicio sobre el nivel de aprendizaje



Comparar el rendimiento de todas las y los estudiantes



Cotejar la apreciación sobre el aprendizaje con respecto a la norma, criterio.

¿Qué información necesito?

Requisitos de validez y confiabilidad 

La validez se refiere al grado en que un instrumento de relevamiento y análisis de información sea realmente sea capaz de enfocar el aspecto que interesa conocer, de generar la información para responder a las interrogantes formuladas.



La confiabilidad apunta hacia la precisión de la descripción de las características del aprendizaje que se evaluará, en el sentido de que la aplicación del instrumento puede ser llevada a cabo por otras personas y sobre otros objeto y tiende a generar resultados comparables.

Lógica de diseño de instrumentos de evaluación •Formulación del problema o de la pregunta sobre lo que se desea evaluar. •Análisis de las Opciones para generar información sobre posibles soluciones al problema o respuestas a la pregunta anterior.

•Características de los resultados esperados. •Papel del evaluador y evaluado. •Procesos de validación de los resultados obtenidos.

Evidencias de conocimiento 

Hace referencia a teorías, principios, técnicas que sustentan el desempeño.



Pueden expresarse a través de argumentos, frases relacionadas.



Pueden obtenerse a través de estudios de caso, cuestionarios, planteamiento y resolución de problemas.



Se considera lo que debe saber una persona capacitada y aquello que no puede ser demostrado a través de productos o desempeños específicos.

Evidencia por producto 

 



Es el resultado que se le solicita a las y los evaluados y requiere elaborar. Ejemplos: un mapa conceptual, un informe. El objetivo es contar con la observación de los materiales necesarios para emitir un juicio sobre la competencia de una persona. Se constata con la muestra directa o el registro visual del producto (fotografías).

Evidencias de actitud 







Hace referencia a las disposiciones específicas que se esperan de un desempeño en una situación, respecto a objetos o personas con las que se relacionan. Sólo puede observarse el componente comportamental de una actitud y el componente de conocimiento. Hay un componente afectivo que sólo se infiere. Pueden obtenerse a través de la observación de la respuesta de las y los evaluados hacia las personas, las cosas, los acontecimientos. Ejemplo: actitud cooperativa se observa cuando una persona ayuda o apoya a otros en la ejecución de una tarea.

Matrices de valoración o rúbricas.







Son herramientas que contienen los criterios específicos de calidad esperados de un proceso o producto del desempeño de las y los estudiantes. Se expresan en una escala descriptiva con diferentes rangos de calidad en la ejecución o en la presentación. Establecen una gradación en niveles de calidad de los diferentes criterios con que se puede desarrollar una competencia de aprendizaje.

Ejemplo una presentación oral

Aplicación Aspectos a evaluar

Excelente

Cumplió bien

Cumplió

Requisitos de validez de evidencias –

Se refiere a situaciones o resultados factibles de ser observados.

–

Se relaciona directamente con los criterios de desempeño acordados.

–

Se relaciona directamente con el campo de aplicación esperado.

–

Sea suficiente y necesaria para el desempeño.

–

Utiliza un lenguaje claro.

–

Especifique la medida en que se requiere un desempeño.

–

Es excluyente y concreta.

Las listas de verificación. 



    

Permiten la realización de observaciones y llamar la atención de los alumnos hacia aspectos que se consideran relevantes. El docente puede identificar el grado de adecuación o perfección con el que se están realizando las ejecuciones. Son instrumentos que permiten estimar la presencia o ausencia de una serie de características o atributos relevantes en la realización de una tarea o ejecución, por ejemplo, el nivel de dominio de un aparato o instrumento, y observar su presencia en los productos derivados de la tarea de los alumnos-aprendices. Se requieren los siguientes pasos básicos en su construcción: Un listado de los pasos o dimensiones más relevantes de los procedimientos o habilidades a evaluar. (que no sea extensa) Añadir algunos errores típicos observados antes. Establecer un orden lógico o temporal de aparición, y Organizar la presentación de la lista para facilitar su empleo.

Ejemplo de lista de verificación para analizar información. 1. ¿La información seleccionada es pertinente para responder la Pregunta que está trabajando? Si. Continúe verificando los demás criterios No. Elimine la información que no es pertinente. Verifique si dispone de fuentes que ofrezcan información pertinente que pueda sustituir la que fue desechada. Si no es así, debe buscar otras fuentes. 2. ¿La información que seleccionó es comprensible? (es fácil entender las ideas principales y secundarias que pretende comunicar, a pesar de que algunos de sus conceptos o términos deban ser explorados con mayor profundidad) Si. La información es útil. No. Deseche la información que no cumple con esta característica y revise si dispone de fuentes que ofrezcan información comprensible que pueda sustituir la que fue eliminada. Si no es así debe buscar otras fuentes .

Ejemplo de lista de verificación para analizar información. 3.¿Son comprensibles todos los términos o conceptos mencionados? Si. La información es útil y apropiada. No. Debe verificar si cumple con los demás criterios. Identifique los términos o conceptos que no comprende o que necesita profundizar y busque información sobre ellos con el objeto de aclararlos. 4¿Las diferentes fuentes ofrecen información congruente entre si? (los contenidos y conceptos son complementarios y facilitan la comprensión global de los aspectos del tema que se están explorando) Si. La información es útil y apropiada. No. Debe verificar si cumple con los demás criterios. Si presentan diferencias o incongruencias reflexione sobre cuáles pueden ser las causas. Verifique cuál es la posición que defienden la mayoría de las fuentes y busque otras en caso de ser necesario con el objeto de aclarar estas diferencias.

Las escalas para la observación 

Permiten establecer estimaciones cualitativas dentro de un continuo sobre ejecuciones o productos realizados.



Existen diversos tipos de escalas.



El continuo de cada aspecto (dimensión) puede tener distintos puntos o segmentos donde puede calificarse la característica particular que se trate. Deberá evitarse un alto índice de interpretación.

Ejemplo: Dimensión 1. PLANIFICACIÓN DIDÁCTICA Aspectos Planifica la sesión completa en el aula. Adapta el currículo a las características del grupo. Diseña con originalidad y variedad las actividades a realizar (ejemplos, tareas, problemas, otros). Distribuye temporalmente las actividades en la sesión. Prevé los resultados a obtener en la sesión.

1 2 3 4 5

Ejemplo: competencia genérica. Dimensión 1. RELACIÓN INTERPERSONAL Aspectos Establece relaciones dialogantes con los alumnos Transmite convicción y seguridad Escucha a los alumnos Respeta a los alumnos Media en las relaciones entre alumnos Impulsa el diálogo entre alumnos

12 345

La exposición de incidentes críticos. 









Es posible presentar situaciones ejemplares o que presenten situaciones problema con el propósito de que los alumnos se den a la tarea de opinar y ofrecer alternativas de solución. Los problemas planteados pueden ilustrar situaciones relacionadas con la forma de resolver obstáculos que se presentan en la ejecución de un procedimiento o en la elaboración de un producto o el dominio de un aparato o instrumento. Los incidentes o casos pueden haber sucedido en realidad, son anécdotas relatadas por trabajadores con muchos años de experiencia o bien son situaciones que el maestro ha observado en otros grupos escolares o de años anteriores. Debe describirse con exactitud y brevemente señalar con claridad el problema que se enfrenta y las situaciones o limitaciones que le rodean. El docente puede ofrecer algunos bosquejos de las estrategias de solución idóneas.

Registro de incidentes críticos Tiempo

Descripción

Observaciones

12:00

Al principio prepara el equipo y el material necesario para la higiene personal del adulto como el corte de uñas, el baño en regadera o de esponja y los cuidados de la piel.

Olvida colocar el shampoo a la mano.

12:16

Acondiciona el cuarto de baño y la unidad clínica para bañar a la persona Su tono es poco cordial y adulta. Le platica al adulto mayor sobre la importancia que tiene la higiene olvida que ya padece una personal para su comodidad y en la prevención de otras enfermedades esas enfermedades.

12:21

Auxilia al adulto bajo su cuidado, para bañarse con la técnica adecuada y en función de las condiciones de salud y necesidades específicas que tiene.

12:45

Después del baño coloca en un lugar cómodo al adulto y se asegura de Olvidó cubrir por completo sus que no corra ningún riesgo de caer y de cubrirlo adecuadamente para que pies. no sufra de algún enfriamiento.

Los diarios de clase Se recoge información que interesa durante periodos mucho más prolongados de tiempo (se debe realizar con regularidad) y sirve para que el docente pueda analizar, interpretar o reflexionar después de la clase acerca de los obstáculos que observó durante el aprendizaje de sus alumnos. También sobre su propio desempeño durante las actividades de enseñanza, el tipo de interacciones docente-alumno o alumno-alumno, que las favorecieron u obstaculizaron. Pueden incluir: –

Contexto o ambiente de clase.

–

Actividades del profesor (planeadas y realizadas)

–

Comportamientos relevantes de los alumnos (motivación, distracciones, incidentes, estrategias empeladas para resolver algún problema expuesto, etc.

Recuperación de práctica docente ACTIVIDADES ASPECTOS Nombre de la actividad Identificador de la actividad Tipo de actividad (conferencia, taller, seminario, diplomado, taller, otro) Lugar y fecha de realización Duración Nombre de quien llevó a cabo la actividad Número de participantes Perfil de participantes (edad, sexo, escolaridad, puesto

1

2

3

N

Recuperación 2. ACTIVIDADES ASPECTOS Institución Objetivo de la actividad Contenidos Recursos metodológicos utilizados para cada tema (impresos, audiovisuales, otros) Aspectos favorables del contexto Aspectos desfavorables del contexto Forma de registrar los resultados obtenidos. Plan de seguimiento

1

2

3

N

Recuperación 3. ACTIVIDADES ASPECTOS Indicadores de evaluación Nivel de cumplimiento de objetivos. Resultados no planeados Necesidades de aprendizaje detectadas Áreas de aplicación de los contenidos Observaciones Jefe inmediato

1

2

3

N

Destino de la evaluación Identificar la información que el proceso de evaluación necesita generar incluye preguntarnos sobre: 

¿cómo hacer significativa la información generada para generar conocimiento en los agentes sociales involucrados?



¿esta información es relevante?



¿el proceso de generación de la información agrega valor a la organización?

Reportes de resultados obtenidos

¿Qué preguntas debe hacerse para elaborar un informe de Resultados de evaluación educativa?

Para elaborar reportes de evaluación 1. ¿Cuál fue el propósito o finalidad de la evaluación? 2. ¿Qué fue evaluado? 3. ¿Cuál fue el universo estudiado? 4. ¿Cuál fue el enfoque de la evaluación? 5. ¿Qué tipo de datos se proporciona y qué significan esos números? 6. ¿Qué grado de precisión tiene la información? 7. ¿En qué grado y de qué modo se contextualiza la presentación de los resultados? 8. ¿Quiénes son los destinatarios de la información? 9. ¿Qué consecuencias e implicancias tienen los resultados?

1. ¿Cuál fue el propósito o finalidad de la evaluación? Incluir una explicitación de para qué se realiza la evaluación, qué tipo de consecuencias tendrán sus resultados, cómo van a ser utilizados los mismos y por quiénes. 2. ¿Qué fue evaluado? Explicar cómo fue definido el dominio evaluado. Esto implica explicar cuál es la concepción de la disciplina o área evaluada desde la cual se concibió la prueba y cuáles fueron los contenidos y competencias que se seleccionó como fundamentales, así como la justificación de dicha selección. Dicha justificación se apoya en el currículo vigente Incluir la referencia a por qué es relevante evaluar lo que fue evaluado. Dar ejemplos del tipo de tareas que los alumnos debían resolver en la prueba, de modo que puedan otras personas formarse una imagen concreta de lo que fue evaluado. Debería incluirse además, al menos como anexo, alguna información sobre los procedimientos de validación seguidos para asegurar la consistencia entre las actividades de la prueba y las definiciones conceptuales de las que se partió.

3. ¿Cuál fue el universo estudiado? Una descripción de la población que fue evaluada. Ello incluye información sobre los grados y disciplinas evaluadas, así como sobre los niveles en que la información podrá ser desagregada (nacional, regional, provincial, municipal, etc.).

Una justificación de estas decisiones, en términos de los propósitos y la estrategia general de la evaluación. Cuando se trabaja con muestras debería incluirse, al menos en anexos, información relativa a cómo fueron seleccionadas las mismas y a los márgenes de error muestral.

4. ¿Cuál fue el enfoque de la evaluación? Explicitar si la evaluación fue concebida con un carácter normativo o criterial. Los propósitos así como en la definición de qué fue evaluado. Si la evaluación pretende establecer comparaciones con evaluaciones anteriores o futuras. Explicar cuál es el plan general de evaluaciones para el conjunto del sistema. Las evaluaciones de carácter criterial que incluya una definición de niveles de desempeño. Si incluye un estándar o expectativa respecto al nivel o puntaje que se espera todos explicar cómo se llegó a establecerlo y qué implica en términos de lo que deben conocer y ser capaces de hacer.

5. ¿Qué tipo de datos se proporciona y qué significan esos números? Qué tipo de datos encontrará, distinguir cuando se le entregan promedios de cuándo se le entregan distribuciones de frecuencias en categorías definidas.

6. ¿Qué grado de precisión tiene la información? El grado de precisión -–o el error estimado-- de los datos. Debe observar, además, si la información relativa a los márgenes de error e intervalos de confianza es tenida en cuenta a la hora de establecer conclusiones o juicios de valor.

7. ¿En qué grado y de qué modo se contextualiza la presentación de los resultados? Entregar los resultados relacionados con otros factores relevantes que ayudan a comprender y explicar esos resultados. De primera importancia es que se incluya información relativa a los contextos sociales en que los resultados se producen. Los reportes incluyen información sobre aspectos internos al sistema educativo que inciden sobre los resultados de los alumnos o que contribuyen a atenuar las inequidades generadas desde el entorno social.

8. ¿Quiénes son los destinatarios de la información? Explicitar cuáles son los principales destinatarios o audiencias que se espera utilicen los resultados y de qué modo se espera que la información pueda serles útil. Esto puede exigir distintos tipos de reportes, adaptados a audiencias distintas y a usos diferentes.

9. ¿Qué consecuencias e implicancias tienen los resultados? Los reportes de evaluación deberían incluir algún tipo de “avance” hacia las consecuencias y el uso de resultados. Esto incluye aspectos tales como una reflexión sobre los desafíos que los resultados muestran para la política educativa y para los educadores, alguna indicación o recomendación del tipo de acciones que deberían tomarse, propuestas de perfeccionamiento de los enfoques y prácticas de enseñanza, etc. Lo importante es que la evaluación no termine en la presentación de unos datos, sino que dé los primeros pasos hacia la generación de cambios. Obviamente no corresponderá a los evaluadores avanzar en la generación de dichos cambios, pero tampoco deberían dar por sentado que los mismos se producirán automáticamente. Es responsabilidad del evaluador propiciar la reflexión de otros actores y la generación de acciones a partir de los resultados de su trabajo.

Bibliografía 







Díaz, B. F. y Hernández, R. G. (2002) Estrategias Docentes para un aprendizaje significativo. Una interpretación constructivista. 2ª. Ed. Cap. 8. México. Mc Graw-Hill. Flores, G.J. (2007) La Evaluación de Competencias Laborales. México. Educación XX1. 10, 2007, pp. 83-106. Monzo, R. (2006) Concepto de competencia en la evaluación educativa. México. Colección Investigación para la Docencia, Universidad Panamericana. Santos, M.A. (1995) La evaluación: un proceso de diálogo, comprensión y mejora. Granda. Ediciones Aljibe.