Conociendo ADDIE - Evaluación

¡Increible! Hemos recorrido un largo camino. Ahora que estamos en el final de nuestro viaje, todo lo que nos queda es examinar la última etapa de ADDIE la evaluación.

Comenzamos este viaje estudiando la audiencia, formulando las metas de aprendizaje y ejecutando algunos análisis técnicos. Luego procedimos a seleccionar el formato del curso y desarrollamos la estrategia educativa. El siguiente paso fue crear un prototipo y crear el curso en sí mismo y en la entrega anterior hablamos sobre la puesta a punto de los profesores, los aprendices y el entorno. Miremos ahora los últimos pasos a considerar en la etapa final de ADDIE, la evaluación.

Evaluación formativa

La evaluación formativa, corre paralelamente al proceso de aprendizaje y pretende evaluar la calidad de los materiales de aprendizaje y su recepción por parte de los estudiantes. La evaluación formativa puede separarse en las siguientes categorías:

Evaluación uno a uno

Imagina que estás enseñando a un grupo de estudiantes de medicina a usar una máquina de rayos X y colocas un video explicando la operación básica del dispositivo. La evaluación uno a uno implica evaluar la efectividad del video considerando la edad y las habilidades de la audiencia objetivo, por lo que es necesario evaluar los siguientes aspectos del video:

• Claridad: ¿Se entendió la idea principal del video? 
• Utilidad: ¿Ayudó el video a lograr la meta que se tenía planeada? 
• Relevancia: ¿Tiene el video buenos efectos prácticos en cuanto al lugar que ocupa en el currículo y se puede estudiar en paralelo?

Es importante mantener las preguntas de la evaluación: claras, concisas y directo al punto.

Evaluación en pequeños grupos

Este tipo de evaluación está pensada para entender qué tan bien funcionan las actividades planificadas para el curso en una distribución grupal. Conforma pequeños grupos con personas representativas de la audiencia objetivo y formúlales preguntas como:

• ¿Fue el aprendizaje divertido y vinculante?
• ¿Comprendiste las metas del curso?
• ¿Consideras que el material de enseñanza fue relevante a las metas del curso?
• ¿Hubo suficientes ejercicios prácticos?
• ¿Crees que las pruebas verificaron el conocimiento que es relevante a las metas del curso?
• ¿Recibiste suficiente retroalimentación?

Prueba de campo

Una vez que la evaluación del grupo está completada, es recomendable hacer una prueba más, esta vez en condiciones tan similares como sea posible al entorno real donde se desarrollará el proceso de aprendizaje. Esta prueba de campo te permitirá evaluar la eficacia del aprendizaje en un entorno específico y bajo condiciones específicas.

Evaluación sumativa 

La meta principal de la evaluación sumativa es probar una vez que el curso está finalizado, que el entrenamiento tuvo un efecto positivo. Para eso, usamos el modelo de evaluación de entrenamiento de Donald Kirkpatrick que hace mucho tiempo se convirtió en el estándar para evaluar la efectividad del entrenamiento.
La evaluación sumativa nos ayuda a encontrar respuestas a las siguientes preguntas:

• ¿Vale la pena seguir con el programa de aprendizaje? 
• ¿Cómo se puede mejorar el programa de aprendizaje? 
• ¿Se puede asegurar que hay correspondencia entre el aprendizaje y la estrategia de aprendizaje? 
• ¿Cómo se puede demostrar lo aprendido?

4 niveles de evaluación de Donald Kirkpatrick

Nivel 1. Reacción

Lo primero a ser analizado una vez que el entrenamiento ha sido completado, es cómo los estudiantes reaccionaron ante el curso y el instructor (si aplica). Usualmente la data es obtenida con la ayuda de un cuestionario contentivo de un número de afirmaciones sobre el curso que el estudiante debe valorar entre uno y cinco dependiendo del grado de acuerdo o desacuerdo con cada afirmación en particular. Estos cuestionarios usualmente son llamados “hojas de sonrisa”.

Nivel 2. Aprendizaje

En este nivel, se evalúa el conocimiento y las habilidades adquiridas durante el entrenamiento. Esta evaluación tiene lugar justo después de que el entrenamiento ha concluido o luego de que un tiempo prudencial ha pasado. Pruebas y encuestas son usadas para evaluar los resultados del entrenamiento asignándole valores medibles. Otra opción es hacer que los trabajadores que completaron el entrenamiento, hagan una presentación para sus colegas de diferentes ramas, o ayudando en la adaptación y entrenamiento de nuevos ingresos. Esto además de ayudar a internalizar el conocimiento adquirido, tiene el beneficio adicional de acelerar la transferencia de conocimiento dentro de la compañía.

Nivel 3. Comportamiento

De acuerdo con Donald Kirkpatrick, este nivel de evaluación es el más duro de implementar pues involucra analizar los cambios en el comportamiento del aprendiz resultantes de haber participado en el entrenamiento además de entender qué tan bien y con qué frecuencia los conocimientos y las habilidades adquiridas son implementadas en el lugar de trabajo lo que en último caso, refleja la relevancia del aprendizaje entregado a través del entrenamiento así como la motivación para usar el nuevo conocimiento que el entrenamiento puede haber impartido. Para este nivel las mejores herramientas de evaluación son la observación del comportamiento del aprendiz en el trabajo y las pruebas con grupos focales.

Nivel 4. Resultados

Finalmente, el cuarto nivel lidia con el análisis de los resultados financieros del entrenamiento aplicado. Es decir, si los resultados logrados corresponden con las metas fijadas y si los indicadores financieros de la compañía (volumen de ventas, reducción de gastos, ganancias totales, etc.) se mejoraron por efecto del entrenamiento. Otros factores que pueden ser considerados incluyen el aumento en la productividad, mejoras en la calidad, reducción de accidentes laborales, incrementos en el número de ventas y reducción de devoluciones.

Es por esto que es importante determinar previamente los factores que serán considerados para determinar la efectividad del entrenamiento y medirlos antes y después de que el entrenamiento se ejecuta.

La evaluación en este nivel es tanto difícil como costosa y para obtener resultados que sean significativos es recomendable utilizar alguno de los siguientes métodos:

Usar un grupo control (consistente de un grupo de empleados que no han participado en el entrenamiento)

Ejecutar la evaluación algún tiempo después de que se ha ejecutado para que los resultados sean más pronunciados.

Evaluar antes y después de la ejecución del entrenamiento

Evaluar varias veces durante y después de la ejecución del entrenamiento.

¿Todo esto vale la pena?

El diseño instruccional es un un proceso iterativo y la evaluación debería ser llevada a cabo continuamente. Es por esto que más allá del hecho de que la evaluación sea la etapa final del modelo, no se debe considerar como la conclusión de un proceso largo, sino como el punto de partida de otra iteración.

Además, es necesario mantener en mente que para obtener los mejores resultados, es recomendable mantener la vista en la calidad del curso en construcción durante el proceso de desarrollo de acuerdo con la metodología ADDIE y no solo en su conclusión.

¡Diviértete construyendo y la mejor de las suertes!

Traducción e interpretación libre del artículo publicado por Michael Treser en: http://elearningindustry.com/getting-know-addie-evaluation