Evaluación de las competencias del alumnado en enseñanza virtual
Antonio Matas Terrón Miguel Ángel Ballesteros Moscosio
Visión tradicional de la evaluación del Actualmente estamos aprendizaje. Algunas ideas comunes. inmersos en un cambio
de perspectiva en la evaluación, desde una visión “tradicional” de la evaluación, a una visión “alternativa” que parece imponerse, principalmente en la enseñanza virtual.
❚ Considera fundamentalmente contenidos cognoscitivos ❚ El examen escrito es la principal técnica ❚ Se realiza al final de un período de docencia ❚ Hay poco margen para aprender de los errores ❚ Es responsabilidad del profesorado
Cambio en la lógica de la evaluación Actualmente estamos del aprendizaje
inmersos en un cambio de perspectiva en la evaluación, desde una ❚ Cambio en la lógica de la evaluación del aprendizaje: visión “tradicional” de la evaluación, a una visión “alternativa” quelas parece ❙ Identificar competencias (conocimientos, destrezas, imponerse, actitudes) propias del título y la asignatura capacidades, en la de desempeño (resultados esperados en ❙principalmente Definir criterios enseñanza virtual. el estudiante como consecuencia de su competencia) ❙ Recoger evidencias del desempeño (conductas o respuestas observables que demuestran la competencia del estudiante) ❙ Analizar las evidencias para juzgar el aprendizaje logrado ❙ Comunicar los resultados para orientar y mejorar el proceso de enseñanza-aprendizaje
Cambio en la lógica de la evaluación del aprendizaje ❚ Cambio en la práctica de la evaluación del aprendizaje ❙ La evaluación está presente a lo largo de todo el proceso de enseñanza-aprendizaje. No se limita a los resultados finales. ❙ Inclusión de métodos para evaluar el trabajo presencial y no presencial del alumnado. ❙ Multiplicidad de fuentes de información. El examen pierde peso. ❙ Se diseñan sistemas de evaluación, especificando las técnicas, el momento en que se aplican, y su peso en la calificación final.
¿Para qué evaluar? ❚ Determinar las necesidades de los estudiantes ❚ Planificar la enseñanza ❚ Pronosticar las posibilidades de los estudiantes ❚ Estimular el aprendizaje ❚ Antes Ofrecer retroalimentación al estudiante sobre su de continuar, piense un momento progreso en el aprendizaje ¿para qué utiliza usted o sus profesores la evaluación? ❚ Anótelo y vea si coincideal con alguna de las siguientes ideas. Orientar y asesorar estudiante ❚ Determinar los logros de los estudiantes en relación con el contenido de la enseñanza ❚ Proveer una base para la asignación de calificaciones ❚ Adoptar decisiones: superación de materia, titulación
¿Qué evaluar? Competencias (o ¿habilidades del S. XXI?) ❙ Competencias generales ❘ ❘ ❘ ❘
En la nueva perspectiva de la evaluación, esta Comunicación pregunta tiene una Planificación y toma de decisiones respuesta inmediata: Trabajo en equipo COMPETENCIAS Relaciones interpersonales
❙ Competencias específicas o técnicas ❘ ❘ ❘
Conocimientos Habilidades y destrezas propias del perfil profesional Valores, actitudes demandadas para el ejercicio profesional
¿Qué evaluar? En las últimasorientada décadas se al aprendizaje de competencias Evaluación Al margen de este debate ha impuesto el concepto académico, la realidad es “competencia”. Sin que las normativas embargo, aún no está ¿Qué son es las claro “qué unacompetencias ? educativas están utilizando este concepto competencia” y mucho sugerimos que vea la sentidos: se utiliza con muy diversos • Es un concepto queLe como elemento básico. menos cómo evaluarlas. siguiente conferencia que trata sobre Pero ante esto, cabe En el ámbito dehabilidades, las • Conocimientos, actitudes, etc. este asunto: preguntarse qué son las Ciencias de la Educación Carles Monereo • Capacidad de integrar recursos personales para dar respuestas competencias. nos encontramos un VI Congreso Regional de Educación eficaces entornos reales. debate sobreenpartidarios y Cantabria – 2007 no partidarios de las • Etc. competencias como Carlos Monereo en Conferencia contextos reales, no simulados. • Se desarrolla unidad básica educativa. •organización Se sitúa en un continuo que va desde lo simple a lo complejo. • Tiene que ver con la capacidad de movilizar recursos, cómo actuar ante una práctica intencionada. • Supone actuar eficazmente.
Momentos de la evaluación Punto de
partida
Evaluación diagnóstica
Proceso de aprendizaje
Evaluación continua
Resultados logrados
Evaluación final
Al inicio
Durante
Al final
Funciones y momentos
Evaluación diagnóstica FUNCIÓN FORMATIVA
Regulación del proceso de enseñanza-aprendizaje
Según el momento en que se realice la evaluación se habla de distintos tipos de evaluación. Cada una de ellas suelen estar vinculadas a una Valoración, función certificación más que a otra
Evaluación continua
FUNCIÓN SUMATIVA
Evaluación final
Proceso de la evaluación El primer paso es 1 Determinación del objeto de evaluación
2 Fijación de los criterios de evaluación
establecer el objeto de la evaluación. En el caso de la evaluación del alumnado hemos visto que se evalúan, principalmente, COMPETENCIAS
Desempeño Características de las tareas Proceso a seguir en su ejecución Medios quees han de utilizarse El siguiente paso Contexto o situación establecer los criterios, Resultados del desempeño indicadores, expectativas, Número y tipo de tareas etc. Calidad de la ejecución Productos obtenidos
Proceso de la evaluación 1 Determinación del objeto de evaluación
2 Fijación de los criterios de evaluación
3 Selección / construcción de técnicas e instrumentos Medios utilizados para recoger datos sobre el desempeño, los conocimientos, las actitudes y los valores
Técnicas e instrumentos Técnicas objetivas ❚
❚
Ejercicios de autocomprobación: Clasificar, identificar, ordenar, rellenar huecos, asociar parejas, Éstas V/F, son algunas de las técnicas e instrumentos para recoger información opción múltiple… Juegos interactivos: sobre la que realizar la evaluación. Crucigramas, sopa de letras, Muchas de estos instrumentos están Técnicas subjetivas puzzles, etc…
disponibles en su versión virtual para ❚ Exposición oral y Redacción escrita. algunas plataformas (por ejemplo la Análisis de contenido Moodle) ❚ Resolución de problemas ❚ ❚ ❚ ❚
Dinámicas de grupo Representación de Roles Caso Práctico Proyecto fin de curso
Clasificación de las Técnicas e Instrumentos Técnicas de Observación
Técnicas basadas en la ejecución o desempeño
Técnicas de ‘papel y lápiz’
Pruebas orales
- Lista de control - Escalas de estimación - Incidentes críticos
Listas de control
Consisten en un conjunto de elementos (conocimientos, cualidades, conductas, comportamientos, experiencias, actitudes, etc.) para los cuales se determina su presencia o ausencia.
EJEMPLO: Construcción de una lista de control para la enseñanza en laboratorio
Competencia a evaluar
Manejo de técnicas básicas de laboratorio
Unidades de competencia
Describir el fundamento de cada técnica y sus limitaciones Seleccionar el material necesario para llevarlas a cabo Manejar los aparatos necesarios para el desarrollo de la técnica Redactar el protocolo detallado a seguir Recoger sistemáticamente los resultados obtenidos Deducir conclusiones a partir de los resultados
EJEMPLO: Construcción de una lista de control para la enseñanza en laboratorio
De todas las unidades, elegimos una de Competencia a evaluar ellas, en este caso manipulas los Manejo de técnicas básicas de laboratorio aparatos.
Unidades de competencia
Describir el fundamento de cada técnica y sus limitaciones Seleccionar el material necesario para llevarlas a cabo Manejar los aparatos necesarios para el desarrollo de la técnica Redactar el protocolo detallado a seguir Recoger sistemáticamente los resultados obtenidos Deducir conclusiones a partir de los resultados
EJEMPLO: Construcción de una lista de control para la enseñanza en laboratorio Criterios
de desempeño
Uso correcto de los aparatos, partiendo del conocimiento de los mismos y de la información obtenida a través de la documentación en la que se recogen especificaciones técnicas e instrucciones de manejo. Rigor en el uso de aparatos e instrumentos de medida, asegurando el funcionamiento adecuado de los mismos y la fiabilidad de los resultados logrados
EJEMPLO: Construcción de una lista de control para la enseñanza en laboratorio
Contenido de la lista (evidencias de desempeño)
Pone en funcionamiento el equipo. Comprueba las diferentes partes de que consta el aparato Revisa las instrucciones de manejo del aparato Busca la orientación de otro grupo o del profesor Intenta poner en funcionamiento el aparato Comprueba que el aparato funciona de un modo correcto Utiliza el aparato en el desarrollo del trabajo Maneja el aparato sin que surjan dificultades que retrasen o interrumpan el trabajo Realiza repeticiones para comprobar la consistencia de los resultados
LISTA DE VERIFICACIÓN DE APRENDIZAJES RELACIONADOS CON LA COMPETENCIA .................................................................
Marque con una X la casilla que corresponda, según conozca y/o domine los conceptos y procedimientos que se enumeran
NO
1.
Pone en funcionamiento el equipo.
2.
Comprueba las diferentes partes de que consta el aparato
3.
Revisa las instrucciones de manejo del aparato
4.
Busca la orientación de otro grupo o del profesor
5.
Intenta poner en funcionamiento el aparato
6.
Comprueba que el aparato funciona de un modo correcto
7.
Utiliza el aparato en el desarrollo del trabajo
8.
...
SÍ
Escalas Permiten
valorar en qué grado se están logrando o se han logrado determinados aprendizajes. El grado se expresa en distinto formato mediante categorías
Tipos de escalas: •Numéricas •Gráficas •Verbales
•Frecuencia •Cantidad •Calidad •Acuerdo •Importancia •Logro
Ejemplo de escalas gráfica, numérica y verbal Capacidad/actitud para el trabajo en grupo
X
Baja 1
2
3
Alta
4
5
X
Muy baja
Baja
Media
Alta
X
Muy alta
TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN Técnicas de Observación
Técnicas basadas en la ejecución o desempeño
Técnicas de ‘papel y lápiz’
Pruebas orales
- Lista de control - Escalas de estimación - Incidentes críticos - Situaciones de prueba · Ejecución de actos académicos o profesionales pautados · Desarrollo de procesos · Presentación de productos o resultados - Ejercicios de simulación - Cuadernos de campo o de laboratorio - Diarios - Portafolios
Situaciones de prueba Configuran
contextos parecidos a los que se dan en la realidad profesional Plantean tareas cuya ejecución requiere poner en práctica competencias adquiridas Permiten evaluar el grado de desarrollo en las competencias de acción que capacitan para el ejercicio profesional futuro
Requisitos de las situaciones de prueba para una evaluación de competencias
Orientadas a la resolución de problemas, casos o proyectos a realizar Configuradas de tal manera que requieran la combinación de diferentes componentes de la acción profesional Lo más parecidas que sea posible a las situaciones de trabajo reales Condicionadas por exigencias, restricciones y recursos del mismo modo que en la práctica profesional Concretas en cuanto a los resultados observables que han de alcanzarse
Diarios
Documento que elabora el alumnado a lo largo del proceso de enseñanza-aprendizaje, reflejando en él las experiencias vividas junto con la valoración que hace de las mismas. Puede incluir:
Trabajo desarrollado y participación en actividades de clase o fuera de clase
Problemas que se le presentan en el aprendizaje y modo en que los resuelve
Reflexiones críticas sobre la marcha de su proceso de aprendizaje
Ejemplo de diario de prácticas El alumno deberá llevar un diario actualizado de las sesiones prácticas, que será completado fuera de clase una vez realizada cada sesión, incluyendo los siguientes aspectos:
Fecha Contenido tratado en la sesión Opiniones sobre el interés de la práctica realizada Aprendizaje logrado en la práctica Relaciones con los compañeros Implicación en la tarea Satisfacción con la tarea Otras valoraciones que considere interesantes
Portafolios
Colección de trabajos seleccionados, analizados y organizados por el estudiante, para autoevaluarse y para demostrar el logro de las competencias pretendidas
La evaluación queda inmersa en el proceso de enseñanzaaprendizaje
Permite evaluar el proceso (evaluación formativa) y los productos (evaluación sumativa)
Lleva al alumnado a reflexionar sobre su aprendizaje y a participar en su proceso de evaluación
Motiva al alumnado para seguir aprendiendo
Ayuda a estructurar las tareas de aprendizaje, diferenciando lo obligatorio de lo optativo
Tipos de portafolios
Portafolios del alumno
Portafolios de control
Se elabora por el alumno, teniendo en cuenta una guía en la que se indica qué debe incluir, cómo hacerlo y con qué límites de tiempo.
Reúne evidencias de los productos del trabajo desarrollado, para comprobar qué ha hecho y qué no ha hecho cada alumno.
Portafolios para la evaluación
No sólo verifica la inclusión de los trabajos demandados, sino que evalúa el proceso de aprendizaje, así como la amplitud y la profundidad del aprendizaje.
Tipos de portafolios
Portafolios de un curso
Reúne los materiales que corresponden a un curso y a una asignatura en particular.
En el siguiente blog hay comentarios muy Portafolios de la carrera interesantes para aprender más sobre Incluye materiales acumulados a lo largo de toda la carrera los portafolios
Portafolios digital
Utiliza las nuevas tecnologías de la información y la gabinetedeinformatica.net comunicación
Portafolios libre, semiestructurado o estructurado
Dependiendo de la existencia de directrices sobre el contenido
TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN Técnicas de Observación
Técnicas basadas en la ejecución o desempeño
Técnicas de ‘papel y lápiz’
Pruebas orales
- Lista de control - Escalas de estimación - Incidentes críticos - Situaciones de prueba · Ejecución de actos académicos o profesionales pautados · Desarrollo de procesos · Presentación de productos o resultados - Ejercicios de simulación - Cuadernos de campo o de laboratorio - Diarios - Portafolios - Trabajos escritos (ensayo, resúmenes, esquemas, etc.) - Memorias e informes - Cuestionarios - Pruebas objetivas tipo test - Matrices de valoración - Pruebas escritas de ensayo
Matrices de valoración (Rúbricas/Indicadores) Instrumentos en los que se definen criterios de valoración y diferentes estándares que se corresponden con niveles progresivos de ejecución de una tarea
Global: Valora la ejecución del estudiante como una totalidad
Analítica: Considera por separado diferentes detalles o elementos de la tarea que debe realizarse
Ejemplo de rúbrica global Calificación
Descripción
5
Demuestra total comprensión del problema. Todos los requerimientos de la tarea están incluidos en la respuesta
4
Demuestra considerable comprensión del problema. Todos los requerimientos de la tarea están incluidos en la respuesta.
3
Demuestra comprensión parcial del problema. La mayor cantidad de requerimientos de la tarea están comprendidos en la respuesta.
2
Demuestra poca comprensión del problema. Muchos de los requerimientos de la tarea faltan en la respuesta.
1
No comprende el problema.
0
No responde. No intentó hacer la tarea.
Rúbricas analíticas ESCALA DE CALIFICACIÓN
DIMENSIONES
Equivalencias numéricas que permiten calificar o cuantificar el desempeño.
En el siguiente enlace encontramos ejemplos de rúbricas para trabajos escritos, exposiciones orales, etc.
Aspectos o elementos que se van a evaluar.
Ejemplos de rúbricas
Descripciones claras de los niveles de desempeño en la tarea. Son precisiones de las dimensiones.
En realidad, la subjetividad no se Utilidad de las rúbricas reduce, sino que se difumina. Todo el proceso está cargado de la subjetividad del profesor, pero el y ellos proceso de de Explicitan de forma clara formato y precisa criterios administración difumina o “distrae” evaluación que van a ser utilizados esta subjetividad.
Centran la atención sobre los aspectos que deben ser desarrollados por los estudiantes Reducen la subjetividad Permiten traducir el desempeño del estudiante en una medida Posibilitan la autoevaluación del estudiante o la evaluación por pares Proporcionan retroalimentación específica
Autoevaluación del aprendizaje
Forma de evaluación del aprendizaje en la que el agente de evaluación es el propio alumnado
Ventajas de la autoevaluación El sujeto autoevaluado cuenta con información sobre sí mismo no accesible para un evaluador externo
Lleva a explicitar los criterios de evaluación Desarrolla el pensamiento crítico y otras competencias exigidas en la vida laboral
Facilita análisis, reflexión y toma de conciencia
sobre el aprendizaje logrado
Promueve la responsabilidad sobre el aprendizaje y
la implicación en la mejora Cómoda para aplicar con grupos amplios de alumnado
Inconvenientes de la autoevaluación
Dificultad que encuentra el alumnado para llevarla a cabo Limitaciones para integrar los resultados en las calificaciones Errores en la valoración: Las investigaciones han demostrado que la Involuntarios evaluación no suele mejorar el rendimiento (el alumnado no “aprende” Desajuste entre la académico valoración realizada y la realidad, debido a... más No está clara o no se comprende al utilizar la laconsigna autoevaluación dada paracomo que se emita el juicio valorativo estrategia docente) pero si aumenta la No cuentan con criterios de evaluación apropiados satisfacción del alumnado en la asignatura. Errores de indulgencia severidad Porotanto, puede utilizarse para que la Intencionales actitud del alumnado (sus emociones a favor de la materia) mejoren. Manipulación de la valoración por parte del autoevaluado, debida a ...
Intento de dar una imagen positiva de sí mismo Pretensión de no revelar información sobre el aprendizaje logrado
Momentos para utilizar distintas técnicas para la autoevaluación Evaluación Diagnóstica
Listas de control Cuestionarios Escalas Diarios Portafolios Rúbricas
Evaluación continua
Evaluación final
Evaluación por pares Forma de evaluación en la que los individuos valoran la cantidad, nivel, mérito o calidad de los productos o resultados de aprendizaje alcanzados por individuos que se encuentran en un estatus similar
Formas de llevar a cabo la coevaluación Cada individuo hace una valoración anónima individual sobre los restantes miembros de un grupo Evaluación del producto por el profesor y del proceso por los estudiantes Distribución interna de puntuaciones asignadas por el profesor
Ventajas de la evaluación por pares. Se toma conciencia sobre el valor del propio aprendizaje, y se obtienen ideas sobre cómo mejorarlo
Desarrolla la capacidad de formular juicios, compartir ideas, llegar a consenso, etc.
Especialmente adecuada cuando se valoran aspectos como el liderazgo, la preocupación por los otros, la eficacia en el trabajo grupal, la aceptación social, etc.
Permite contrastar la autoevaluación
Inconvenientes de la evaluación por pares Insuficiente conocimiento de algunos aspectos del aprendizaje de los compañeros Tendencia a sobrevalorar el aprendizaje Las investigaciones han demostrado que la de los compañeros evaluación por pares genera resultados a las evaluación del profesor Influencia de osimilares consecuencia sobre las después de un periodo de entrenamiento relaciones personales por parte del alumnado con el profesorado.
DISEÑO DEL SISTEMA DE EVALUACIÓN DE LA MATERIA
1 Determinación del objeto de evaluación
2 Fijación de los criterios de evaluación
3 Selección / construcción de técnicas e instrumentos
4 Elaboración del sistema de calificación
Procedimiento para traducir las valoraciones realizadas sobre el aprendizaje del alumnado a calificaciones numéricas
Calificaciones
Son la expresión numérica o nominal de la valoración que hace el profesor sobre el aprendizaje del estudiante. Constituyen una exigencia institucional para acreditar el rendimiento del alumno. No deben basarse en una sola técnica de recogida de información La calificación no deja de ser un procedimiento en entredicho, puesto que implica realizar una medición (asignar números) a hechos valorados subjetivamente (a partir de eventos sometidos a la valoración e intepretación académica del docente). Solamente procedimientos costosos, como la Teoría Clásica de los Test, o la Teoría de Respuesta al Ítem, supera estas dificultades métricas. Sin embargo, su alto coste, en tiempo y en estrategias docentes (se pueden aplicar casi exclusivamente a partir de técnicas como los test o las escalas, con un banco de ítems muy amplio) desaconsejan su utilización.
Requisitos para que la retroalimentación favorezca el aprendizaje
Cantidad y tiempo de retroalimentación Suficiente
retroalimentación y con suficiente nivel de
detalle La retroalimentación se ofrece rápido
Calidad de la retroalimentación Se
centra sobre el aprendizaje antes que sobre las calificaciones Es comprensible para el estudiante
Respuesta del estudiante a la retroalimentación Es Es
bien recibida y atendida por el estudiante puesta en práctica por el estudiante para mejorar su trabajo o su propio aprendizaje
En resumen… Criterios para la elaboración de sistemas de evaluación ❚ ❚
❚ ❚ ❚ ❚ ❚
Estamos ante un cambio de perspectiva. Las Nuevas Tecnologías están posibilitando, y al mismo tiempo fomentando, estos cambios. Actualmente se están transfiriendo, casi dierectamente, los procedimientos de evaluación presencial a la forma virtual. ESTO CAMBIARÁ EN EL FUTURO, generándo sus propios principios de evaluación. Esto obliga a la docente a “reciclarse” progresivamente en la introducción de técnicas de evaluación. Es recomendabel contemplar una pluralidad de técnicas e instrumentos. Las técnicas deben responder a los objetivos y competencias pretendidos. Incluir ejercicios desarrollados en situaciones que emulen o se aproximen a la práctica profesional. Considerar la calificación como un acercamiento difícil, que debe tener en cuenta diferentes fuentes de información sobre la ejecución académica del alumnado con relación a las tareas y competencias establecidas.
Tiempo de dedicación ❚ Es necesario que al proponer las actividades de evaluación, tengamos en cuenta el tiempo que dedica el alumnado a cada actividad. ❚ A partir de los estudios del Proyecto Tunning, actualmente se está utilizando como referencia para el Espacio Europeo de Enseñanza Superior las siguientes indicaciones-> (siguiente diapositiva)
Aunque estas estimaciones solamente sean aproximativas, es innegable la necesidad de realizar una programación de las tareas teniendo en cuenta algún tipo de orientación, para evitar una sobrecarga contraproducente en el alumnado.
Evaluación de las competencias del alumnado en enseñanza virtual
Antonio Matas Terrón (Universidad de Málaga) Miguel Ángel Ballesteros Moscosio (Universidad de Sevilla) Mayo de 2009