Luis Medina Gual Director de Innovación Educativa, Universidad Iberoamericana Ciudad de México
Las dos caídas en PISA fueron de 7puntos. Solo una de ellas puede afirmarse.
La mañana del 8 de septiembre, en la radio, el conductor leyó los resultados de PISA con el tono que se reserva para las malas noticias: bajamos siete puntos en matemáticas, siete en lectura, y subimos cuatro en ciencias. Un comentarista dijo que era una tragedia nacional; otro, que al menos en ciencias íbamos mejorando. Esa misma tarde, en una junta, escuché la misma aritmética con los signos cambiados: alguien celebró los cuatro puntos y alguien lamentó los siete.
Los cuatro tenían el mismo problema: estaban restando.
La OCDE publica esos números acompañados de algo que casi nunca sale en la nota: la incertidumbre de la medición. Y en su propio informe sobre México —página tres, no está escondido— escribe la frase que desarma la discusión de la radio y la de la junta: los resultados de 2025 en México fueron más bajos que los de 2022 en matemáticas, y aproximadamente iguales a los de 2022 en lectura y en ciencias.
En el anexo estadístico están las cifras que sostienen esa frase, y son más elocuentes que la frase. La caída en matemáticas fue de 7 puntos. La caída en lectura fue de 7 puntos. La misma cantidad. Y sin embargo, con los datos de la propia OCDE, la primera es una disminución que puede afirmarse y la segunda no. Los cuatro puntos de ciencias, además, son 3.7, con un intervalo que va de −5 a +12: ahí cabe una caída y cabe una mejora.
Conviene decirlo con precisión, porque la tentación contraria es igual de tramposa: que una diferencia no sea estadísticamente significativa no prueba que no haya pasado nada. Significa que estos datos no alcanzan para afirmarlo. Y los tres casos tampoco son iguales entre sí: el intervalo de lectura está casi entero en terreno negativo y apenas alcanza a tocar el cero —con las cifras sin redondear lo rebasa por dos centésimas de punto: por eso, y solo por eso, no cuenta como significativo—, mientras que el de ciencias admite con holgura una caída y una mejora. Lo que no se sostiene es la lectura que hizo el país, que trató los tres números como hechos del mismo peso.
Qué mide el instrumento, sin tecnicismos
PISA no le aplica el examen a todos los jóvenes de quince años. En México se lo aplicó a 7 843 estudiantes de 297 escuelas, que representan a poco más de un millón y medio. Es una muestra bien construida, pero es una muestra: si mañana se sorteara otra igual de buena, el promedio saldría parecido, no idéntico. Ese “parecido, no idéntico” se resume en una cifra que los estadísticos llamamos error estándar. No es lo mismo que el margen de error del que habla la prensa: es su ingrediente. El margen que suele reportarse, el del 95 %, equivale a grandes rasgos a dos errores estándar hacia cada lado.
El promedio de México en matemáticas en 2025 fue de 387.6 puntos, con un error estándar de 1.9. El de Costa Rica fue de 387.1, con 2.3. Son estadísticamente indistinguibles. No es que se parezcan: es que con estos resultados no puede afirmarse que uno sea mayor que el otro. Lo mismo pasa entre México y Brasil en lectura (407.9 contra 408.0) y entre México y Colombia en ciencias (413.6 contra 413.7). Cada vez que alguien dice “ya superamos a” o “nos alcanzó”, vale la pena preguntar por la anchura del dato antes de asentir.
Con el paso del tiempo la cosa se complica todavía más, porque no solo cambia la muestra: cambia la prueba. Comparar 2022 con 2025 exige un procedimiento de enlace entre dos aplicaciones que no son idénticas, y ese procedimiento tiene su propio error: para ciencias, 2.9 puntos. Robitzsch y Lüdtke (2019, 2024) llevan años explicando que esa incertidumbre hay que incorporarla —no sumarla sin más: combinarla— al calcular la del cambio entre ciclos, y cuestionando el valor que la propia OCDE reporta. Por eso el error del cambio es bastante mayor que el de cada ciclo por separado: 3.2 puntos en matemáticas, 3.8 en lectura y 4.4 en ciencias, contra los dos escasos de cada medición aislada. Buena parte de ese crecimiento viene de que se están combinando dos muestras, no solo del enlace; el enlace aporta poco en matemáticas y en lectura, y pesa mucho en ciencias, que es donde el cambio de marco fue mayor. Es también la razón por la que dos caídas idénticas de 7.4 puntos no dicen lo mismo. Quien compare dos ciclos sin esto está dibujando una línea muda.
Esto no es reburujo estadístico. Es lo mismo que puede pasar en cualquier escuela cuando se cambia un instrumento: pasar una evaluación docente del papel a la pantalla puede mover el promedio institucional aunque ningún profesor haya cambiado de práctica. En PISA ocurrió a lo grande en 2015, cuando la prueba pasó a computadora, y hay literatura entera sobre cuánto de aquella caída fue de los estudiantes y cuánto del instrumento (Jerrim et al., 2018). Este ciclo trae las suyas: la OCDE excluyó a Viet Nam de los análisis de tendencia por ese motivo.
Y sin embargo
Nada de esto absuelve. Al contrario: quitar el ruido sirve justamente para que se vea lo que no es ruido.
Solo el 30 % del estudiantado mexicano que PISA representa alcanza el nivel básico en matemáticas —el que permite, por ejemplo, comparar dos rutas o convertir precios a otra moneda—. En la OCDE es el 65 %. En lectura y en ciencias llegamos al 50 %, contra 69 % y 74 %. Casi ningún estudiante mexicano alcanza los niveles altos en ninguna de las tres áreas. Y desde 2015, la proporción de bajo desempeño subió trece puntos porcentuales en matemáticas y ocho en lectura. Aquí también hay que aplicar la regla de esta columna. Una parte de ese aumento no es deterioro sino inclusión: como cada vez hay más adolescentes dentro de la escuela, entran a la muestra jóvenes que antes no aparecían. La propia OCDE lo acota, y al hacerlo el aumento en matemáticas baja a 6.2 puntos porcentuales, con un intervalo de confianza que va de tres a nueve, y el de lectura deja de ser distinguible de cero. Seis puntos en matemáticas siguen siendo seis puntos, y ese intervalo no incluye el cero.
Hay un número más, que casi nunca se cita y que a mí me parece el más grave de todos: la muestra mexicana representa al 69 % de los jóvenes de quince años del país. El 31 % restante no queda cubierto —la mayoría porque ya no está en la escuela, el resto por rezago de grado o por exclusión muestral—. No sacó un puntaje bajo: no sacó ninguno. La conversación sobre PISA, incluida esta columna, se refiere solo a la población escolar que la prueba representa.
Cómo se lee una evaluación internacional
Felipe Martínez Rizo le dedicó a esto varias páginas de su manual de método, y el ejemplo que escogió era mexicano: las medias de PISA 2012 por entidad federativa. Dibujadas con un eje truncado, las distancias entre estados parecen abismos; con el eje completo —el que él llama correcto para esa gráfica, porque recorre todo el rango posible de la escala PISA—, se ven como lo que son. Su explicación cabe en una línea: las medias de PISA “se basan en resultados de muestras de alumnos, por lo que son estimaciones que tienen un margen de error” (Martínez Rizo, 2020, p. 247). De aquel ejercicio, solo siete entidades quedaban significativamente por encima de la media nacional y cuatro por debajo; las demás, pese a la gráfica, no se distinguían del país. Hace años que alguien nos explicó cómo leer esto.
Rivas y Scasso (2021) han mostrado que en América Latina la validez de estas comparaciones a lo largo del tiempo es especialmente frágil, justamente por los cambios de cobertura como el que México acaba de tener. Y cuando Fischman y sus colegas (2019) encuestaron a expertos, investigadores, funcionarios y docentes de varios países, el 38 % respondió que los resultados de las evaluaciones internacionales se usan mal en sus contextos nacionales.
El caso más elocuente lo documentaron Martens y Niemann (2013) comparando dos países que salieron igual de mal en PISA 2000: Alemania vivió un shock nacional que reorganizó su secundaria, y Estados Unidos no reaccionó de manera perceptible hasta 2010. Su explicación es que una cifra internacional golpea cuando se cumplen dos condiciones a la vez: que el tema se considere crucial en el debate nacional, y que el resultado contradiga la imagen que el país tiene de sí mismo. La diferencia no estuvo en el número. Estuvo en cómo se contó.
Nosotros lo contamos con una resta.
Si algo debería dejarnos este ciclo no es una cifra sino un hábito: antes de indignarse o de celebrar, preguntar cuánto mide el instrumento. Los siete puntos de lectura vuelven a ser lo que siempre fueron: una diferencia estimada que no alcanza a sostener la afirmación que se hizo con ella. Los cuatro de ciencias, igual. Lo que queda después —siete de cada diez de los estudiantes que PISA representa sin alcanzar el nivel en que la prueba sitúa tareas como convertir un precio a otra moneda, y casi tres de cada diez jóvenes de quince años que ni siquiera entran en esa cuenta— no se disuelve con ningún margen de error, y no necesita titulares para ser urgente.
Ese es el problema de gritar por el ruido: cuando aparece la señal, ya nadie está escuchando.
Referencias
Fischman, G. E., Topper, A. M., Silova, I., Goebel, J., & Holloway, J. L. (2019). Examining the influence of international large-scale assessments on national education policies. Journal of Education Policy, 34(4), 470–499. https://doi.org/10.1080/02680939.2018.1460493
Jerrim, J., Micklewright, J., Heine, J.-H., Sälzer, C., & McKeown, C. (2018). PISA 2015: How big is the ‘mode effect’ and what has been done about it? Oxford Review of Education, 44(4), 476–493. https://doi.org/10.1080/03054985.2018.1430025
Martens, K., & Niemann, D. (2013). When do numbers count? The differential impact of the PISA rating and ranking on education policy in Germany and the US. German Politics, 22(3), 314–332. https://doi.org/10.1080/09644008.2013.794455
Martínez Rizo, F. (2020). El nuevo oficio del investigador educativo: Una introducción metodológica. Universidad Autónoma de Aguascalientes / Consejo Mexicano de Investigación Educativa.
OCDE. (2026). PISA 2025 results (Volume I): Country notes — Mexico. OECD Publishing.
Rivas, A., & Scasso, M. G. (2021). Low stakes, high risks: The problem of intertemporal validity of PISA in Latin America. Journal of Education Policy, 36(2), 279–302. https://doi.org/10.1080/02680939.2019.1696987
Robitzsch, A., & Lüdtke, O. (2019). Linking errors in international large-scale assessments: Calculation of standard errors for trend estimation. Assessment in Education: Principles, Policy & Practice, 26(4), 444–465. https://doi.org/10.1080/0969594X.2018.1433633
Robitzsch, A., & Lüdtke, O. (2024). An examination of the linking error currently used in PISA. Measurement: Interdisciplinary Research and Perspectives, 22(1), 61–77. https://doi.org/10.1080/15366367.2023.2198915
