Abstract

Introducción. Muchos estudios han mostrado que las actividades cognitivas de los correctores de portafolio son una gran fuente de varianza en la evaluación de estos (Van der Shaff et al., 2005). Dichas actividades cognitivas son influenciables y aprendibles a través de entrenamiento, aumentando la precisión y disminuyendo el error en las puntuaciones (Lievens, 2001;Woehr y Huffcutt, 1994; Mayer y Wittrock, 1996 en Jonassen, 2000). Pero, debido a que los portafolios son instrumentos muy ligados a aspectos personales y de contexto, aún después de entrenamiento, su evaluación sigue siendo una tarea altamente demandante y compleja (Van der Shaff et al., 2005). En cualquier tipo de resolución de tareas con una meta definida, como puede ser la evaluación de desempeño docente basada en rúbricas, las personas requieren generar una representación mental de la situación a solucionar (representación de evidencia y criterios a evaluar), y la manipulación activa de dicha representación (Jonassen, 2000). Esta habilidad de representación es mediada por su capacidad analítica (Jonassen, 2000) y metacognitiva (Gourgey, 1998), además del nivel de integración que han desarrollado entre los conceptos pertenecientes al dominio del problema o tarea en cuestión (Robertson, 1990 en Jonassen, 2000). En términos generales, en la manipulación activa de las representaciones, según Newell y Simon (1972 en Jonassen, 2000), hay implicados procesos de comprensión y de búsqueda, , selección de estrategias a utilizar y evaluación de lo realizado (Bransford y Stein, 1984 en Jonassen, 2000). Muchos de estos procesos pueden ser conceptualizados como procesos metacognitivos, tales como orientación y planificación de la tarea a realizar, así como también monitoreo y acciones correctivas (Gourgey, 1998), los cuales han demostrado encontrarse sumamente presentes cuando las personas razonan (Lee, 2004). Dichos procesos proveen de información experiencial que las personas utilizan sistemáticamente para formar juicios al calificar la información declarativa utilizada para realizar el juicio y sus implicancias (Schwarz, Sanna, Skurnik, y Yoon, 2007). El proceso evaluativo es de alta complejidad e involucra muchos factores como la comprensión que tenga el evaluador de los criterios de evaluación, experiencia anterior, las condiciones de trabajo, y otras variables personales (Heller et al., 1998). Entre los procesos cognitivos que pueden llevar a disminuir la validez de una evaluación se encuentran comportamientos que introducen subrepresentación del constructo, en cuanto no se incluyen facetas o dimensiones importantes del constructo evaluado, y varianza irrelevante de constructo, en el que se incluyen aspectos asociados con otros constructos o se aplican métodos que afectan la pesquisa del constructo (Messick, 1995) la omisión de procesos esenciales, adición de procesos inapropiados, o ejecución de procesos correctos en una secuencia que influye negativamente sobre el significado de lo evaluado (Heller, et al., 1998). Preguntas de investigación En este contexto, la investigación intenta explorar la manera en que se llevan a cabo correcciones correctas e incorrectas de portafolios docentes que solicitan evidencia escrita, específicamente respecto a los procesos cognitivos a la base y a las representaciones mentales con que se llevan a cabo dichos procesos. Tres son las preguntas orientadoras: i) ¿En qué se diferencian los procesos cognitivos y metacognitivos que conducen a la formulación de juicios de evaluación correctos de aquellos que conducen a juicios de evaluación incorrectos?, ii) ¿Qué tipos de representaciones mentales aplicadas por los correctores llevan a la formulación de juicios correctos y cuáles a juicios incorrectos?, iii) ¿Qué sesgos de razonamiento son activados durante la evaluación y se asocian tanto con la formulación de juicios correctos como incorrectos? Método Para llevar a cabo el estudio, se utilizó una metodología de pensamiento en voz alta, la cual consistió en solicitar al corrector corregir un módulo del portafolio en voz alta, es decir, diciendo lo que iba leyendo, pensando, las dudas que le surgían y explicando cada paso de su razonamiento. Así se buscó conocer cómo los correctores razonan al corregir la evidencia. En la práctica, miembros del equipo interno de Docentemás, específicamente del área de Instrumentos de Evaluación, fueron capacitados para guiar la entrevista apoyándose en una pauta semi-estructurada. Mientras el corrector corregía en voz alta, los entrevistadores podían ocasionalmente interrumpirlo para solicitarle les explicara nuevamente o en mayor detalle su razonamiento. Al finalizar la corrección, los entrevistadores efectuaron algunas preguntas a los correctores, guiándose por la pauta semi-estructurada antes aludida. Seis correctores formaron parte del estudio, todos de distintos niveles y sectores en evaluación y que estaban por primera vez participando del proceso de corrección en Docentemás. Se grabó la sesión y luego esta fue transcrita. El análisis incluyó cuatro aspectos: i) Codificar las representaciones, juicios evaluativos y metacogniciones observadas en los razonamientos tomando como punto de partida el marco teórico revisado, e incluyendo subfamilias y nuevos códigos de forma inductiva; ii) Codificar las características de la evidencia y de la corrección; iii) Realizar una descripción holística de la organización de los procesos cognitivos que los evaluadores mostraban durante la corrección; iv) Analizar cualitativamente las rúbricas de corrección utilizadas en función de la interacción que generaban con el corrector al corregir. Todos los protocolos fueron codificados en forma independiente por dos personas y posteriormente consensuados. Resultados Los resultados muestran una mayor proporción de representaciones concretas, por sobre las medianas y abstractas en ambos tipos de correcciones (correctas e incorrectas), lo cual daría cuenta de que las representaciones que mayoritariamente utilizan los correctores al corregir, corresponden por una parte, a lectura textual, y por otra, a síntesis y elaboraciones apegadas a la información leída. Ahora bien, en las correcciones correctas las representaciones que utilizan se apegan más a la lectura o referencia textual, en comparación a las incorrectas que se abstraen en mayor medida de la información de la tarea. A nivel general, los resultados muestran que la dificultad al corregir no se encuentra en los juicios que emiten los correctores, sino en las representaciones que construyen sobre la información y que utilizan para emitir los juicios. Esto indica que más que errores de razonamiento lógico y/o de comprensión de las lógicas de pauta, las dificultades se encuentran al momento de seleccionar la información requerida, o bien, al momento de interpretarla correctamente. Respecto de las metacogniciones, los resultados muestran una mayor presencia de metacogniciones de orientación en todas las correcciones por sobre las de planificación y monitoreo, lo cual mostraría que todos los evaluadores requieren orientarse para corregir. El análisis cualitativo sobre la organización de los procesos cognitivos que utilizan los correctores al corregir, mostró que si al momento de corregir se comienza por representarse (leer) la evidencia o por la pauta, es indiferente, pero sí la omisión de procesos fundamentales como la lectura de pauta o de evidencia hacen perder validez a las evaluaciones. Se observan mejores desempeños cuando se lee o explicita la pauta, que cuando se opera en base a una impresión o recuerdo general de la misma. Asimismo, se observan mejores desempeños cuando se argumentan los juicios mediante referencias textuales o relecturas de la evidencia, que cuando se opera en base al recuerdo de la misma. Los análisis respecto de las pautas de corrección, mostraron encarecidamente que el factor de carga cognitiva es fundamental considerarlo a la hora de diseñar rúbricas. Si la tarea demanda mucha carga, el corrector tenderá naturalmente a reducir complejidad, disminuyendo la cantidad de información que considera para llevar a cabo su juicio u omitiendo procesos cognitivos necesarios para llevar a cabo correctamente dicho juicio. Se levantan sugerencias para diseñar una rúbrica o su modo de aplicación.