Las evaluaciones externas, más que ofrecer algunos resultados a partir de los cuales se obtiene información acerca de la clasificación de estudiantes o colegios, provee elementos fundamentales que pueden servir como insumo para desarrollar acciones pedagógicas en el aula. En este sentido, es importante revisar algunos criterios que se tienen en cuenta para el diseño y aplicación de pruebas objetivas y marcar la diferencia entre este tipo de evaluaciones y las que son de tipo formativo, que exigen un mayor acompañamiento al estudiante. No obstante, aunque distintas, ambas contienen elementos que bien aprovechados pueden complementarse y proveer la generación de actividades más significativas para los procesos de aprendizaje.
Palabras claves: Validez, Confiabilidad, Objetividad, Evaluación estandarizada, Evaluación formativa.
SummaryExternal assessments, rather than offer some results from which information is obtained about the grading of students or schools, provides key elements that can serve as input to develop pedagogical practices in the classroom. In this regard, it is important to review some criteria taken into account for the design and implementation of objective evidence and the difference between these assessments and training that are of type, which require greater support to the student. However, while different, both contain elements that can complement well used and provide the generation of significant activities for the learning process.
Keywords: Validity, Reliability, Objectivity, standardized assessment, formative evaluation.
La evaluación es un proceso que se sigue a partir de la aplicación de instrumentos y el análisis de resultados que sirven de base para tomar decisiones. Escenarios naturales que dan sentido y pertinencia a las evaluaciones son por ejemplo, el ingreso a un programa de formación, el progreso en un proceso de aprendizaje, la efectividad de un proyecto curricular, el aprovechamiento de recursos de una institución educativa. Cada uno de ellos hace que las evaluaciones tengan intenciones distintas y por ende deberían llevar al diseño de instrumentos diferentes para capturar información. No es lo mismo tener un instrumento de selección, donde solamente se tienen en cuenta los mejores y como consecuencia debería contener retos que no todos los evaluados puedan superar, que medir el progreso en un programa de aprendizaje, donde los desafíos deberían estar graduados con distintos niveles de dificultad, pasando por lo mínimo, lo satisfactorio y lo avanzado.
Este es solo uno de los aspectos que vale la pena mirar en la evaluación para ampliar el espectro de posibles percepciones que por desconocimiento, o falta de interés, se tiene de ella.
2. Evaluación, primeras percepcionesCuando se piensa en evaluación, inmediatamente surge la imagen de una prueba escrita, en la cual los estudiantes deben responder preguntas, en su mayoría, con formato de opción múltiple con única respuesta. Esto obedece al impacto que tienen las evaluaciones estandarizadas, con las cuales las instituciones, programas y sujetos que hacen parte del proceso educativo, son medidos.
Este fenómeno aparece como problemático cuando los resultados de las pruebas estandarizadas son mal interpretados y generan consecuencias que se alejan de las intenciones sobre las cuales fueron pensadas y aplicadas las evaluaciones, lo que conlleva a que docentes y estudiantes, quienes son más vulnerables con las malas decisiones que se pueden tomar, teniendo como referencia los resultados de las pruebas, estigmaticen las evaluaciones y vean en ellas algo negativo que atenta contra su desempeño.
Antes que pretender salvar de responsabilidad a las evaluaciones externas por estos hechos, lo que planteo en el presente documento es la posibilidad de aproximar a los docentes, en este caso particular de matemáticas, a que conozcan algunos aspectos que pueden servir, en primera instancia para interpretar de mejor manera los resultados de las evaluaciones y poder tener elementos que generen una postura crítica fundamentada frente a estos; y posteriormente para adoptar herramientas con las que se pueden diseñar de mejor manera las evaluaciones que se desarrollan en el aula de clase y superar las limitaciones que pueden tener las pruebas estandarizadas.
3. Características de las pruebas estandarizadasFundamentalmente, las pruebas estandarizadas siguen tres principios: validez, confiabilidad y objetividad. La validez se traduce en coherencia, que pasa por la estrecha relación entre: el objetivo de evaluación, el marco teórico de la misma y la forma cómo se evalúa. Si se mide competencia es eso lo que se debe evaluar y no la memoria o la comprensión lectora. La confiabilidad se refiere al grado de precisión o exactitud de la medida, en el sentido de que si aplicamos repetidamente el instrumento al mismo sujeto u objeto produce iguales resultados. Es el caso de una balanza o de un termómetro, los cuales serán confiables si al pesarnos o medir la temperatura en dos ocasiones seguidas, arrojan los mismos datos. La objetividad se refiere a que los resultados sean independientes de la actitud o apreciación personal del observador, por lo cual lo que se hace al evaluar es seguir estrictamente unos parámetros previamente definidos que van a ser aplicados a todos los evaluados de la misma manera.
La principal limitación que tienen las pruebas estandarizadas está en su falta de dinamismo. Estas evaluaciones, tanto por costos como por el proceso mismo que se debe seguir para su aplicación, no se pueden ejecutar permanentemente, lo que sí se puede hacer en el aula de clase, donde se tiene mayor posibilidad de acercarse a los procesos de pensamiento que sigue un sujeto que se somete a una evaluación. Sin embargo, la aproximación al raciocinio del estudiante debe estar acompañada de criterios claros con los cuales se van a juzgar los avances y desarrollos que éste pueda tener.
4. Características de las evaluaciones de aulaLas evaluaciones de aula, permiten que el docente reaccione inmediatamente frente a una mala interpretación o respuesta que pueda tener un estudiante frente a un estímulo o instrumento de evaluación, que de hecho, debería superar el formato de opción múltiple con única respuesta, ya que una de las ventajas que ofrece es el acceso directo a los procesos de pensamiento que desarrolla el estudiante, a través de la argumentación, la ejercitación de procedimientos y la interacción con el entorno.
Esto conlleva a generar instrumentos distintos de evaluación: pruebas de pregunta abierta, exposiciones, mentefactos, carpetas, que sirvan como herramientas para que el docente pueda observar los procesos más que los resultados o productos finales frente a las situaciones problema que se puedan plantear al estudiante.
Otra ventaja que pueden tener las evaluaciones de aula es que pueden servir como escenarios de participación por parte de los estudiantes, ellos pueden ser propositivos frente a sus instrumentos de evaluación y elegir, dentro de lo que el universo de posibilidades le ofrezca, cómo podrían ser evaluados.
A pesar de todas las bondades que ofrecen las evaluaciones de aula como posibilitadoras de procesos de formación, hay que tener cuidado con algunas prácticas que van en contravía de la consideración de algunos criterios que sí son tenidos en cuenta en las evaluaciones objetivas.
Subjetividad excesiva: el docente, no dejará que los esfuerzos de un estudiante, por más que los resultados estén lejos de lo esperado, sean en vano, y terminará aprobando la intención más que el resultado mismo, afectando directamente la validez de cualquier instrumento de evaluación, y al mismo tiempo su confiabilidad –la del instrumento-.
Planteamiento de situaciones complejas: Con el afán de desafiar a los estudiantes con situaciones problema “interesantes” y proponer retos que demanden procesos de pensamiento complejos, se proponen instrumentos con altos grados de dificultad, donde la mayoría de los estudiantes se sienten incómodos por no tener las herramientas suficientes para dar respuesta a ellos. Es común que en ocasiones, los instrumentos sean tan difíciles para los estudiantes que no arrojan información acerca de lo que ellos son capaces de hacer y solo se limitan a ser evidencia de que los evaluados no saben, con lo cual se atentará contra la confiabilidad del instrumento, ya que de antemano se sabe que los sujetos que participan en el proceso de evaluación aprenden de distinta manera y siguiendo diferentes ritmos.
Desatención a objetivos iniciales: En ocasiones por cumplir con la orden de elaborar un instrumento que contenga un número determinado de preguntas, se “rellena” un documento con situaciones, o actividades no pertinentes que se alejan de los particulares objetivos de cada evaluación. La idea es que cada actividad o instrucción que contenga el instrumento, responda a una intención que le permita al evaluador mirar aspectos particulares que complemente la información que pueda obtener a partir de las otras.
Es importante destacar que aunque no están ajenas a errores, las evaluaciones estandarizadas cumplen con estos criterios, como consecuencia del rigor y la sistematicidad con que son construidas. Características que podrían adaptarse también a las evaluaciones en el aula, propendiendo con ello que apoyen los procesos educativos, es decir, que sean formativas.
5. Evaluación formativaSi se tienen distintos tipos de evaluación, si se tienen criterios claros para valorar el desempeño de los estudiantes, se van a considerar mejores instrumentos para hacer de la evaluación una reflexión permanente y un profundo análisis del proceso educativo cuya prioridad no puede ser categorizar, excluir o juzgar. Debería ser un proceso continuo que tenga en cuenta información acerca del desempeño que tienen los estudiantes en la búsqueda del alcance de unos objetivos claros, como también sobre los resultados que dan cuenta de cómo los estudiantes hacen uso de los conceptos que han aprendido para solucionar problemas. Este es uno de los grandes aportes que arrojan los resultados de las evaluaciones externas, ya que además de ofrecer un marco conceptual validado por una comunidad de académicos expertos, investigadores y técnicos en evaluación, ofrecen alternativas para la interpretación de resultados que van más allá de una simple medida, o un número cualquiera.
En esta parte conviene revisar lo que se establece en algunas de las evaluaciones externas, nacionales e internacionales en torno a las matemáticas, tanto los objetos de evaluación, como los resultados que ha obtenido Colombia, lo cual, marca un panorama acerca de la situación de la educación matemática en el país.
6. Evaluaciones externas en matemáticasLas evaluaciones que se citan a continuación son promovidas por el ICFES (Instituto Colombiano para la Evaluación de la Educación). Respecto al área de matemáticas es posible mencionar que no se centran en una rama específica de la disciplina –álgebra, geometría, aleatoriedad..,- sino que procuran involucrarlas a todas en mayor o menor proporción. Se propone al lector profundizar en cada una de ellas consultando la página web del ICFES. A continuación se presenta una tabla en la que se caracteriza cada una de las pruebas de matemáticas en las que Colombia participa.
Los resultados de las pruebas externas evidencian la falta de aprehensión de los estudiantes respecto a las matemáticas, lo que tiene como consecuencia que no sea reconocida su utilidad para resolver situaciones problema.
A pesar de que por tradición, los métodos de enseñanza de las matemáticas hoy día siguen siendo magistrales, los resultados en pruebas como TIMSS muestran que los estudiantes no tienen los conocimientos que deberían tener para el grado en el que están. Al contrario, se ubican en los últimos lugares de clasificación.
El camino para transformar esta situación no es adoptar una posición radical frente a las evaluaciones externas, tampoco que obtener mejores resultados se convierta en el objetivo No 1 de la enseñanza de las matemáticas. Más allá de esto, lo que se propone con base en esta información, es que sea posible diseñar aplicar y analizar, en el aula, actividades que promuevan un mejor aprendizaje de las matemáticas por parte del estudiante, a partir del verdadero desarrollo de la evaluación formativa, y que, sin ser el objetivo primordial, reflejen unos resultados más óptimos en futuras aplicaciones de las mismas.
Tabla No 1 Evaluaciones externas en matemáticas
| Evaluación/Tipo | Frecuencia de aplicación/Población | Formato de evaluación | Objeto de evaluación | Resultados |
|---|---|---|---|---|
| Prueba SABER, 5º y 9º / Censal | Cada tres años /5º y 9º | Opción múltiple con única respuesta |
Competencias
El razonamiento y la argumentación cómo y porqué de los caminos que se siguen para llegar a conclusiones, justificación estrategias y procedimientos. La comunicación, la representación y la modelación expresión de ideas, interpretación de datos, uso de diferentes tipos de representación, Planteamiento y resolución de problemas, Ejecución de estrategias y verificación de resultados frente a condiciones de pertinencia. |
En quinto grado, 31 de cada 100 estudiantes están en el nivel mínimo. Ellos son capaces de utilizar operaciones básicas para solucionar problemas, identificar información relacionada con la medición, hacer recubrimientos y descomposiciones de figuras planas, además de organizar y clasificar información estadística.
El 17% de los estudiantes demuestra las competencias establecidas en el nivel satisfactorio, (Mirar caracterización en documento ICFES.) El 8% de los alumnos de ese grado se ubica en el nivel avanzado. (Mirar caracterización en documento ICFES.) En noveno grado, el 52% de los alumnos está en nivel mínimo de desempeño. (Mirar caracterización en documento ICFES. El 19% de los alumnos, se ubica en el nivel satisfactorio. Además de lo establecido en el nivel mínimo, estos estudiantes utilizan las propiedades de la potenciación, la radicación y la logaritmación para solucionar problemas; recurren a expresiones algebraicas y representaciones gráficas para modelar situaciones simples de variación; establecen relaciones entre los sólidos y sus desarrollos planos; reconocen y aplican movimientos rígidos a figuras planas en un sistema de coordenadas; comparan atributos medibles de uno o varios objetos o eventos; hacen conjeturas acerca de fenómenos Sólo el 3% demuestra un desempeño sobresaliente en el área. |
| PISA/Muestral | Cada tres años / estudiantes de 15 años | Opción múltiple simple/múltiple compleja, pregunta abierta, prueba por computador | Procesos matemáticos: Formular situaciones matemáticamente. Capacidad de las personas de reconocer e identificar oportunidades para utilizar las matemáticas, esto es, traducir un problema en un contexto natural a una forma matemática. Emplear conceptos, hechos, procedimientos y raciocinio matemático. Capacidad de las personas de aplicar conceptos, hechos, procedimientos y raciocinios matemáticos para resolver problemas formulados matemáticamente. Interpretar, aplicar y evaluar los resultados matemáticos. Habilidades de las personas para reflexionar sobre las soluciones, los resultados o conclusiones matemáticos, e interpretarlos en el contexto de los problemas de la vida real. |
El 38,8% de los estudiantes colombianos se ubicó por debajo del nivel 1, lo que indica que tienen dificultades para usar la matemática con el fin de aprovechar oportunidades de aprendizaje y educación posteriores, pues no pueden identificar información ni llevar a cabo procedimientos que surgen de preguntas explícitas y claramente definidas. El 31,6% se clasificó en el nivel 1. Al sumar esta proporción con la de quienes están por debajo de ese nivel, se encuentra que el 70,6% de los alumnos no logra el desempeño mínimo establecido por PISA (nivel 2),.
El 20,3% de los estudiantes se ubicó en el nivel 2; el 7,5% en el 3; y sólo el 1,8% restante en los niveles 4, 5 y 6. Estos resultados son muy preocupantes, pues además de ser los más deficientes entre las tres áreas evaluadas, contrastan con los de Shanghái, Finlandia y Corea, países en los que más de la mitad de los alumnos se clasificó por encima del nivel 3 (Gráfico 6). En Latinoamérica, Uruguay es el único país en el que más de la mitad de sus estudiantes alcanzaron o superaron el nivel 2 (52,4%). México y Chile tuvieron mejores resultados que las demás naciones de la región, aunque el 50,8% y el 51% de sus alumnos, respectivamente. |
| TIMSS / Muestral | Cada cuatro años/ cuarto y octavo | Opción múltiple simple/pregunta abierta |
Conocer hechos, procedimientos y conceptos que los estudiantes deben saber. Se partió de la base que cuanto más relevantes son los conocimientos de un estudiante, mayor será su capacidad para enfrentarse a situaciones problema.
Aplicar, habilidad de los estudiantes para poner en práctica conocimientos y conceptos para resolver problemas, contestar preguntas o crear representaciones. Razonar, capacidad de pensamiento lógico y sistemático, así como situaciones nuevas, contextos complejos y problemas que requieren el desarrollo de varios pasos para su resolución. |
En TIMSS 2007 el promedio global en matemáticas de los estudiantes colombianos de cuarto grado fue 355 puntos, con una desviación estándar de 90. En octavo el promedio fue 380, con una desviación estándar de 79. Estos resultados son relativamente homogéneos y significativamente más bajos que el promedio TIMSS, y las diferencias con respecto a los de los cuatro países que obtuvieron los promedios más altos (Hong Kong, Taipéi, Singapur y Corea) son de más de 200 puntos.
En cuarto grado, el 69% de los estudiantes colombianos mostró logros inferiores a los descritos en la prueba; el 22% se ubicó en el nivel bajo; el 7% en el medio, 2% en alto y menos del 1% en el avanzado. En octavo el 61% tuvo logros inferiores a los descritos en la prueba para ese grado; el 28% se ubicó en el nivel bajo, el 9% en el medio, el 2% en el alto y menos del 1% en el avanzado. Estos resultados muestran que casi las dos terceras partes de los alumnos presentan dificultades en el manejo de los conocimientos básicos de las matemáticas. En contraste, en Hong Kong y Singapur más del 40% de los estudiantes de cuarto grado se ubicó en el nivel avanzado y muy pocos tuvieron logros inferiores; en Estados Unidos el 31% de los estudiantes de octavo logró ubicarse en el nivel avanzado. |
Acevedo, M y otros. (2008). Propuesta de fundamentación conceptual área de matemáticas, ICFES, Colombia.
Álvarez, J. (2001). Evaluar para conocer, examiner para excluir. Morata, Madrid. 12-26, 27-39.
ICFES, (2011). Informe de resultados prueba PISA. Bogotá, Colombia.
ICFES, (2007). Informe de resultados prueba TIMSS. Bogotá, Colombia.
ICFES, (2010). Informe de resultados prueba SABER. Bogotá, Colombia.
Rávela, P. (2006). Fichas didácticas para comprender las evaluaciones educativas. PREAL. Montevideo
Shepard, L. (2006). La evaluación en el Aula. Universidad de Colorado. USA. 623-646
1 ICFES, Bogotá, ferleyortiz@gmail.com