¿Para qué sirven las evaluaciones estandarizadas?

Cada vez que se conocen los resultados de alguna de las pruebas estandarizadas con preguntas de opción múltiple que se realizan en las escuelas de la Argentina, se instala en los medios de comunicación el debate acerca de la calidad en nuestro sistema educativo. El mayor impacto mediático lo generan los operativos realizados por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y por el propio Ministerio de Educación de la Nación (MEN). El organismo internacional implementa el Programa Internacional para la Evaluación de Estudiantes (PISA) entre adolescentes de 15 años de edad; mientras que el Estado nacional aplica las pruebas Aprender entre la población de niños y niñas de los últimos tramos de las escuelas primarias y secundarias. Durante septiembre se tomarán en la Argentina las afamadas pruebas PISA, que evaluarán las áreas de Ciencias Naturales, Lectura y Matemática, ítem en el que el examen pondrá el énfasis. La prueba también indagará sobre el impacto en las trayectorias escolares de las condiciones de enseñanza y aprendizaje, además de cuestiones referidas al uso de las TIC.

¿Son útiles estos operativos de evaluación para la elaboración de políticas que mejoren las condiciones de enseñanza y aprendizaje? ¿O sirven apenas para constatar lo que ya se sabe? ¿Les aportan información a las escuelas y a sus docentes? A fines de junio, la Ciudad de Buenos Aires dio a conocer los resultados de las pruebas Aprender 2021: pandemia de por medio, arrojaron una baja del desempeño estudiantil tanto en Lengua como en Matemática. En este mes, se desarrollarán las evaluaciones PISA y, para 2023, volverán los titulares sobre lo mal ubicada que quedó la Argentina en el ranking mundial del rendimiento educativo.

“Las pruebas estandarizadas de aprendizaje reflejan un aspecto muy reducido de la complejidad de los procesos educativos. La información que aportan debe ser contextualizada y complementada con otros indicadores y con investigaciones cuantitativas y cualitativas”, explica Liliana Pascual, doctora en Ciencias de la Educación y Licenciada en Sociología. La especialista, que también fue directora nacional de Información y Evaluación de la Calidad Educativa y subsecretaria de Planeamiento, Prospectiva e Innovación del MEN, es conocida por su posición crítica frente a una especie de sentido común que se instaló en la década de los noventa: las pruebas censales son la manera privilegiada de “medir la calidad educativa”. De acuerdo con Pascual, con la sanción en 2006 de la Ley de Educación Nacional, “la evaluación dejó de ser concebida como control, para penalizar o premiar a las instituciones educativas y a sus docentes, y devino un instrumento que brinda información para orientar las acciones de política educativa”. Es esa misma normativa la que, al tiempo que establece el acceso público a los resultados, obliga a resguardar “la identidad de alumnas, alumnos, docentes e instituciones educativas, a fin de evitar cualquier forma de estigmatización”. De acuerdo con la exfuncionaria, durante el gobierno de Mauricio Macri hubo un retroceso al paradigma neoliberal.

En la Ctera, la posición es similar. Así lo plantea Miguel Ángel Duhalde, secretario de Educación del sindicato: “Una prueba estandarizada brinda respuestas sobre una limitada cantidad de contenidos y solo en un grado. A partir de ese resultado, se pretende hablar de lo mal que está todo el sistema educativo argentino”. Por otro lado, reclama que la información obtenida debería ser complementada con otros datos del Plan Nacional de Evaluación, que contempla, entre otros insumos, la realización de entrevistas y el análisis de proyectos de investigación.

La mirada de Cecilia Veleda, doctora en Sociología y directora ejecutiva del Instituto Nacional de Formación Docente (INFoD) durante la gestión de Cambiemos, es algo diferente. “Las pruebas estandarizadas son la única forma de tener una mirada sistémica sobre los niveles de aprendizaje”, expresa, aunque también reconoce que tienen sus limitaciones, dado que constituyen “un recorte que excluye otras dimensiones de la enseñanza y del aprendizaje que exceden la simple evaluación de resultados en Lengua, Matemática y Ciencias”. Por otra parte, celebra que los distintos gobiernos hayan sostenido la participación de la Argentina en las pruebas PISA y en los operativos de la Unesco: “Las pruebas estandarizadas son el único medio de tener una imagen de la situación del sistema en su conjunto. Es muy importante que los resultados de esas evaluaciones se difundan, porque generan un sentido de urgencia necesario. Lo que muestran las evaluaciones internacionales y nacionales es que hay un desafío enorme en términos de aprendizajes fundamentales de Lengua y Matemática”.

Germán Lodola, secretario de Evaluación e Información Educativa del MEN, llama a discriminar entre distintos tipos de pruebas estandarizadas: “Algunas evalúan aspectos curriculares, como las Aprender; y otras, más que aprendizajes y contenidos, evalúan capacidades, como las PISA”. Y aclara: “No quiero que se piense que no estoy a favor de las pruebas estandarizadas. Hay que saber que las que no refieren a aspectos curriculares nos dicen poco respecto de los aspectos sobre lo que saben o dejan de saber los chicos y las chicas. O sea, se enfocan más en cuestiones de destrezas, que pueden ser parte o no de una currícula”.

El funcionario defiende que las pruebas Aprender brindan información respecto a la adquisición de los contenidos y, eventualmente, respecto a aquellos que no fueron suficientemente trabajados en las aulas: “Son más útiles desde el punto de vista pedagógico y de política educativa”, dice. Aunque insiste en que, para que sus resultados no se distorsionen, es necesario respetar lo que, en términos técnicos, se denomina trazabilidad: “Los contenidos que se acordó evaluar tienen que ser comparables en el tiempo. En esas cuestiones no hay que tocar las pruebas, porque se atentaría contra la comparabilidad. Este aspecto se descuidó en las pruebas de 2018”. Los acuerdos respecto a los contenidos a evaluar deben ser consensuados en el Consejo Federal de Educación, que cuenta con la representación de todas las jurisdicciones del país y del MEN.

Samanta Bonelli, licenciada en Sociología y directora nacional de Evaluación durante el gobierno de Mauricio Macri, defiende algunos cambios introducidos a la evaluación censal y estandarizada durante su gestión. “Cada escuela participante recibía un informe de manera confidencial. Es decir, solo los directores tenían acceso –relata–. Se informaban los resultados de las evaluaciones en las áreas consideradas por nivel de desempeño e innovamos en la confección de una comparación con escuelas similares.” Aunque no se “midió” el impacto de estas devoluciones en las prácticas pedagógicas de cada institución, Bonelli destaca que se realizó una encuesta al “100% de los directores y directoras, para saber cuántos habían recibido ese informe, cuántos lo habían trabajado con sus equipos docentes y si lo veían útil para su gestión directiva”. En síntesis, la exfuncionaria argumenta que, mientras estuvo a cargo de estas pruebas, se introdujeron “mejoras en los reportes”, ya que “se devolvió a las escuelas información que les es propia, pero desde una mirada externa y con pautas para su lectura”.

Ahora bien, no abundan ejemplos concretos de uso de los resultados de estas pruebas para la elaboración de políticas concretas e, incluso menos, para que los establecimientos y sus docentes mejoren las prácticas educativas. “Son pocas los escuelas que utilizan los resultados para realizar un trabajo de reflexión, ya que resulta difícil mejorar la enseñanza si no se cambian las condiciones estructurales que impiden que los docentes reflexionen en forma colectiva”, señala Pascual. Desde esta perspectiva, la evaluación de los aprendizajes debe dialogar con las condiciones en que trabajan las y los educadores. La exfuncionaria también se pronuncia contra la pretendida neutralidad de estos instrumentos: “El concepto de evaluación es una categoría política. Los diversos sentidos e interpretaciones que se le atribuyen dependen siempre de las concepciones epistemológicas y políticas desde las que se la aborde”.

Según relata la directora de una escuela normal de la CABA, que recibirá 10.000 pesos del Gobierno porteño para que coordine el operativo PISA en su institución y prefiere reservar su identidad, este año “van a tomarle la prueba a 35 chicos de la escuela. PISA decide a cuáles y nosotros aún no lo sabemos. Para nosotros es una complicación, porque tenemos cuatro divisiones de tercer año, donde cursan los chicos de 15 años, que es a quienes se les toma el examen. Pero también tenemos chicos de 15 en segundo y en primero. ¿A quiénes les damos los ejercicios llamados de sensibilización, para que practiquen para el examen?”. Además, en esta edición de la prueba será obligatorio que las y los estudiantes vuelquen sus respuestas en una computadora. “Nunca rinden exámenes de esta manera –dice la directora–. La situación es anormal y puede haber lugares donde los chicos nunca se hayan sentado frente a una computadora. ¿Cuánto influirá eso en las respuestas?”. Y señala: “Nos dijeron que no habrá ninguna devolución a las escuelas. Entonces, ¿cuál es la utilidad de esta prueba?”.

Aunque cualquier funcionario de la cartera educativa se vea obligado a transmitir que las pruebas estandarizadas son útiles para el diseño de mejores políticas, la realidad es que muchas de estas acciones pueden llevarse adelante incluso antes de la realización de estos operativos. “Pueden anticiparse ciertos resultados, porque tenemos antecedentes que dan una primera aproximación –afirma Lodola–. El Estudio Regional Comparativo y Explicativo (ERSE) de 2019, de la Unesco, ya indicaba una tendencia a la baja en el buen desempeño. En el caso argentino, esos valores están muy vinculados a la desinversión educativa que se produjo entre 2016 y 2019. A eso hay que sumarle los años de pandemia. En función de esa realidad, diseñamos una batería de políticas sin esperar los resultados de las pruebas Aprender 2021.”

Entre las políticas diseñadas, Lodola enumera cinco. En primer lugar, el Programa Libros para Aprender que distribuyó 8,2 millones de obras literarias, un manual de Español y otro de Matemática para cada estudiante de la escuela primaria. También menciona los programas de terminalidad de la escuela secundaria que, por un lado, buscan resolver el problema del abandono en este nivel –obligatorio desde 2006– y, por el otro, apuestan a que padres y madres también estén en mejores condiciones de ayudar a sus hijas e hijos en las tareas escolares. En tercer término, alude al aumento de una hora de clase en el Nivel Primario, que ya estaría comenzando a implementarse en cinco provincias. “Esto lo hacemos porque la literatura y los cuestionarios complementarios de la prueba demuestran que cuando se dedica más tiempo a la educación, se obtienen mejores resultados”, esgrime el funcionario. Por último, se refiere a la recuperación gradual del Programa Conectar Igualdad, que entrega netbooks a estudiantes y busca garantizar la conexión a internet en todas las escuelas del país; y a la política de universalización de la sala de cuatro años, sumada al incremento de la cobertura en las salas de dos y tres años.

Difícil que a alguien diga que, si llegan a buen puerto, estas políticas no contribuyen a mejorar la educación. La pregunta es si las pruebas estandarizadas aportan información relevante para su diseño o si se trata de políticas que intentan mitigar problemas estructurales que ya se conocen de antemano hace más de una década. “A nivel declarativo, las pruebas producen información acerca de la calidad de los aprendizajes y sirven para comparar rendimientos entre instituciones, territorios o países, según el tipo de estudio. Sin embargo, hay muy poca evidencia de que se use esta información para orientar políticas”, analiza Emilio Tenti Fanfani, profesor e investigador de la Universidad Pedagógica Nacional (UNIPE). Según el especialista, las desigualdades que se observan entre niveles socioeconómicos y territorios son estructurales y no cambian en el corto plazo. Por eso, añade: “Los resultados obtenidos dependen de una gran cantidad de factores que no pueden encerrarse en el corto plazo que duran los equipos políticos del MEN”. Las pruebas Aprender implementadas por el gobierno de Cambiemos comenzaron con la pretensión de ser anuales. Luego, la gran inversión que esta periodicidad demandaba, sumada a dificultades operativas y para el procesamiento de datos, hicieron que se pensaran como una evaluación bianual.

Por otro lado, Tenti Fanfani advierte que el pretendido uso público de los datos deviene, en realidad, en uso político: “Esta información sirve para hacer críticas a los equipos políticos que están a cargo del MEN, adjudicándoles la responsabilidad en las variaciones en los altos o bajos resultados que se obtienen”. En la misma línea, Pascual observa que “muchas de las ideas sostenidas por el sentido común dominante en la sociedad son retomadas por los medios hegemónicos que, de forma exagerada e interesada, claman por más evaluaciones, como si este fuera el único camino posible para mejorar el sistema educativo”.

Es cierto que en la Argentina estas pruebas no han alcanzado todos los usos soñados por el pensamiento liberal. Es decir, no hay difusión de resultados por establecimiento para que las familias estén “mejor informadas” a la hora de elegir una escuela para sus hijos o hijas, y el desempeño estudiantil en las evaluaciones no tiene ningún impacto sobre el salario y la carrera docente. Como indica Tenti Fanfani, “las investigaciones realizadas en países como Chile, que arrastran esta ideología desde hace muchos años, demuestran que la información acerca del rendimiento que tienen las escuelas es uno de los elementos menos tenidos en cuenta por los padres al momento de elegir un establecimiento. Tienen más importancia cuestiones tales como el prestigio institucional, la cercanía con respecto al hogar, las experiencias personales o la coincidencia con alguna tradición religiosa o cultural. La creencia racionalista de que la gente elige en función de los promedios que obtienen los establecimientos en Lengua y Matemática no parece concretarse”.

Veleda coincide en este aspecto con Tenti Fanfani, y rechaza la publicación de datos desagregados por escuelas: “Efectivamente, existe una responsabilidad de las instituciones, pero sus resultados están atravesados por distintos factores que las exceden, como el nivel socioeconómico de los estudiantes”. Y agrega: “La publicación de resultados por escuela atenta contra la posibilidad de cooperación interinstitucional. Cuando se publican, implícitamente se está promoviendo el movimiento de la competencia”. En cambio, la otrora directora nacional del INFoD señala que no deben dejar de publicarse los resultados por jurisdicción: “Mal que les pese a los gobiernos, los ministerios provinciales tienen atribuciones y responsabilidades sobre sus sistemas educativos”.

Los rankings que publica la OCDE a partir de los resultados de las pruebas PISA se convirtieron en el mecanismo de simplificación más efectivo para que los grandes medios puedan ilustrar el estado de la educación en el país. Sin embargo, aun bajo gestiones muy críticas de este tipo de pruebas, dejar de participar de ellas parece quedar excluido del horizonte de lo posible. “Si hay algo que enseña el método comparado es que deben ponerse en relación situaciones contextualmente similares. Esa es una dificultad de los rankings que se confeccionan con resultados de esas pruebas”, señala Lodola. Pascual, quien fue funcionaria durante el kirchnerismo, agrega: “Los rankings, en general, ignoran la historia de las instituciones, las características socioeconómicas del alumnado, las propuestas curriculares, los recursos disponibles, las características de infraestructura, las condiciones de trabajo, las estrategias didácticas, etc. Ignoran, además, si se trata de instituciones selectivas o si son inclusivas y abren sus puertas a los sectores más desfavorecidos. En las evaluaciones internacionales, los rankings de países no contemplan las importantes diferencias sociales, económicas, políticas y culturales que existen entre ellos”.

Si, como indica Pascual, la implementación regular de las pruebas estandarizadas se relaciona con una lógica de “rendición de cuentas” propia de la racionalización del gasto que los organismos internacionales de crédito impusieron en la década de los noventa, parece lógico preguntarse si, en nombre del uso eficiente de recursos, en verdad no se los está dilapidando. “Me parece hay que hacer una crítica a esta especie de evaluacionitis que nos ha atacado. En ciertos sectores político-culturales, que podemos calificar de centroderecha, hay una confianza excesiva en que la evaluación resuelve los problemas. Esta cosa de hacer evaluaciones de forma sistemática y permanente me parece totalmente dañina para el sistema nacional. No tiene más que un uso político y mediático”, evalúa Tenti Fanfani.