Ranking de colegios: comparaciones simplistas

            No, no es que me parezca que el examen del ICFES sea una herramienta inadecuada para comparar colegios por que deja por fuera otras muchas cosas que hacen los colegios. Es que el examen no es para eso. El examen verifica la presencia y grado de desarrollo de unas competencias importantes a desarrollar en la escuela y que correlacionan con el éxito académico en la educación superior, que claro no es todo en la vida, pero sin el cual en cambio, sí se pierde mucho. El asunto que quiero tratar no es si el ICFES sirve para comparar colegios, porque creo que sí es muy bueno para ese fin, sino de cómo hacer un uso adecuado de esos resultados para hacer comparaciones. Quiero ilustrarlo con un análisis del listado de mejores colegios de la revista Dinero de este año, y con un caso particular que es el siguiente: un colegio gradúa un (1) estudiante con un muy buen ICFES.  Otro colegio gradúa 138 estudiantes, y logra que el promedio de los puntajes del ICFES de toda, toda su cohorte, sea 0,9 puntos inferior al del colegio de la promoción unitaria. ¿A cuál colegio le fue mejor en el ICFES?

Yo diría, y creo no estaría solo, que le fue mejor al de 138 estudiantes. Las razones, bueno, la primera, es que la diferencia entre… no, no no un momento: ¿en serio, se necesita explicar porqué es más meritorio obtener resultados académicos superiores con 138 personas que con una? En este colegio de 138 estudiantes podría haber 50 estudiantes  con un ICFES igual o superior al que se sacó el muchacho de este colegio que tiene en último grado al mismo candidato para el equipo de tenis y de ajedrez.  Es mejor en el ICFES el colegio de los 138 que el de uno. Creo que este es un hecho evidente y sencillo.

Este hecho evidente y sencillo no se ve reflejado en la entrega de este año del ranking que todos los años publica la revista Dinero. Y no creo que sea la primera vez que ocurre algo similar. La entrega del listado de colegios es un número especial de la revista, es la noticia de carátula. Es el catálogo con el que muchos colegios se comparan y escogen. El listado lo leen profesores, padres de familia y desde luego los estudiantes de los colegios. Es información que la revista decide entregar al público y debe asumir responsabilidad por ella. (Ver listado completo aquí) Sobre todo porque es información comparativa. Está diciendo a viva voz y con nombre propio que A es mejor que B. No es algo simple.

Algo que sí es simple en cambio, es la forma como Dinero ranquea a los colegios. La simpleza es literal: 

“La posición de cada colegio se estableció con base en un promedio simple de los resultados que estos obtuvieron en las ocho áreas evaluadas (matemáticas, química, física, biología, filosofía, inglés, lenguaje, ciencias sociales)”

El subrayado es mío. Los resultados del ICFES van mucho más allá del promedio simple de las áreas. Este enfoque, simplista, desconoce  varias otras cosas: el desempeño por componentes en las disciplinas, el nivel de competencia evidenciado por el estudiante y sus resultados en las profundizaciones y prueba interdisciplinar,  por decir algo.

 Si uno mira el instructivo de interpretación de resultados que aparece en la página del ICFES, actividad que recomiendo altamente a Dinero, uno se da cuenta de que la variable que resume de manera más global y acertada todas las complejidades del examen es el puesto que se le asigna al estudiante (página 57 de la guía). El puesto es una medida de qué tan arriba o abajo está comparativamente el resultado individual de cada estudiante en una asignación que va del puesto uno al mil. Para el caso, el puesto uno está por encima del 99,9 de los puntajes obtenidos. Este puesto lo comparte cierto número de personas; no es exclusivo. Otros estudiantes pueden haberse sacado ese mismo puesto, pero son muy pocos. Los puestos del 1 al 100 corresponden al 10% superior de los resultados obtenidos por todos quienes tomaron la prueba en un año dado. A medida que el puesto es más grande los resultados son comparativamente peores: sacarse el puesto 576 es muy malo por ejemplo. El ICFES sabe, o debería saber, cuántos estudiantes hay en cada puesto.


Una medida justa de los resultados del ICFES de un colegio debería tener en cuenta dos cosas. La primera, cuántos estudiantes lograron qué puestos. Esta información ponderada de un manera sencilla le puede dar un puntaje único a cada colegio. La segunda cosa que debería tener en cuenta una medida justa de los resultados es alguna medida de la dispersión de los puntajes, por ejemplo, ahí sí, la desviación estándar de los promedios globales entre estudiantes o por áreas. Entre menos dispersos los resultados de estudiantes, mejor. Entre más parejas las áreas, más "integral" el proceso educativo, a menos en lo académico. Así se podría hacer un reconocimiento justo a instituciones educativas que logran excelentes resultados con grandes números de estudiantes, y se evita publicar en un medio de difusión nacional algo tan contraevidente como que un colegio de uno o dos estudiantes es mejor en resultados ICFES que uno que gradúa 98 o 130 estudiantes con ICFES excelentes. No encuentro una justificación razonable para ignorar el número de estudiantes que cada colegio gradúa. No es una información que simplemente se pueda ignorar. Un colegio que logra altos niveles de aprendizaje en todos sus estudiantes es un colegio más equitativo que otro que sólo logra unos cuantos buenos puntajes, o sólo en algunas áreas.

La injusticia inherente a un análisis simplista de la información afecta a los punteros y a los coleros, y como siempre, peor a los de abajo. Por ejemplo, yo no veo la necesidad o el sentido de informar a los padres y madres de 38 bachilleres de dos colegios de sordos en Bogotá, que sus muchachos obtuvieron virtualmente los peores resultados del ICFES en Colombia, con los lugares  12.270 y 12.271. En el municipio de Barranco de Loba,  en el Departamento de Bolívar hay un colegio con un solo muchacho o muchacha que está en el puesto inmediatamente anterior al de los niños sordos, a tan sólo cuatro puestos de tener los peores resultados del ICFES en Colombia, con un promedio de áreas de 30.38 (sobre 100). Un puntaje que en mucho debe relacionarse, me aventuro a decir, con vivir en un sitio que se llama Barranco de Loba, y también con sacar 13 puntos, el menor puntaje nacional, en la prueba de física ¿Habrá contestado algo? ¿Qué validez tiene ese resultado?

Hay otras situaciones realmente preocupantes que merecen ser visibilizadas: Hay seis colegios que gradúan cada uno al año  más de 500 estudiantes. Conjuntamente más de 4.300. De estas seis factorías masivas de bachilleres, ninguna está entre los primeros 1.000 puestos del listado de Dinero, pero en cambio tres de ellas, con más de 2.000 estudiantes, están por debajo del puesto cinco mil (5.000). Y cuatro son públicas. Un colegio con 500 personas en 11 puede tener fácilmente 4000 estudiantes. 4000 estudiantes no alcanza a haber en muchos pueblos de Colombia. La magnitud del impacto que estas instituciones están teniendo en sus comunidades es gigantesca. Valdría la pena mirar qué pasa ahí, para empezar.

 Encuentro muy interesante el rumbo más investigativo que ha tomado Dinero últimamente, pero también me parece muy decepcionante el tratamiento simplista de esta información de puntajes del ICFES. Hay muchas cosas de mayor utilidad pública que se podrían decir a partir de un análisis juicioso de los resultados del ICFES. Cosas más interesantes que “Crece la ventaja del calendario B sobre el A y se consolida el reinado de Bogotá”, que es un cliché sobre la situación de la educación en Colombia. Mejor algo tomado de la misma nota y que me parece mucho más actual y acertado:

"Quienes creen que el problema más grave de la educación en Colombia está en las universidades, están buscando el ahogado río arriba. Los resultados de las pruebas Icfes presentadas por los bachilleres muestran un estancamiento de la calidad y un claro sesgo en contra de los colegios públicos y las regiones más pobres. Quizás no son los estudiantes universitarios quienes deberían estar protestando en la calle, sino los padres de familia cuyos hijos cursan primaria o bachillerato" 

Ojalá los mismos estándares rigurosos de análisis de información que ha mostrado Dinero en otras áreas se vieran también en temas educativos, tan importantes pero tan secundarios en los medios.