ECAES: de la representación del poder al poder de las representaciones

La evaluación se reviste siempre de atavíos científicos, y el espíritu frívolo puede pensar que se trata de ciencia. Pero no lo es. Es mística, es una transmutación, un bautismo propio de la alquimia. Es el bautismo burocrático.

Jacques-Alain Miller

La transferencia del símbolo hacia el índice o del texto hacia la imagen ha hecho aparecer el Estado simpático, es decir cultural, humanitario, ecológico, etc. El mensaje sin código es su eje dinámico. Este Estado funciona al choque más que al peso y prefiere lo directo a lo diferido, el documento a la obra, el periodismo a la historia.

Régis Debray

Contexto

Colombia se comprometió —junto con el resto de países de América Latina— a realizar una serie creciente de evaluaciones masivas, es decir, aplicadas a un número muy alto de estudiantes en todo el país, con ayuda de instrumentos estandarizados, cuyos resultados se establecen y valoran desde la psicometría. Esta es una condición que las agencias multilaterales “supranacionales” (BM, FMI) ponen para que la asignación de recursos en educación contribuya al ajuste fiscal.

Cuando el magisterio estaba suficientemente desmovilizado, luego de una persecución sistemática que no excluyó el exterminio físico, en 1991 el plan de desarrollo en educación del gobierno de entonces estableció la llamada “evaluación de la calidad”. Allí se proponía hacer evaluación masiva a los grados 3º y 5º, en las áreas de lenguaje y matemáticas; tales evaluaciones eran de carácter muestral, o sea, se aplicaban a un gran número de estudiantes del país, pero no a todos, en el entendido de que una muestra importante (decidida con criterio estadístico) permite inferir las características del universo. Luego de consolidar estos grados, y con el fin de crear un “sistema” de evaluación, se proponía agregar los grados 7º y 9º, así como las áreas de ciencias naturales y sociales. Cuatro grados y cuatro áreas: ese era el propósito en 1991.

En 1994, el sistema de evaluación externa quedó incluido en la Ley general de Educación (artículo 80) y, un año después, el ICFES inició una investigación conducente a reconceptualizar los exámenes de Estado (los que se han aplicado para ingreso a la Universidad); como sabemos, efectivamente en el año 2000 se publicitó que estos exámenes ahora serían “por competencias”, es decir, que entraban en la misma serie de la evaluación de la calidad de la educación básica. Por esa vía, se agregó el grado 11º al sistema nacional de evaluación.

Pero allí no paró esta “fiebre evaluadora”: de un lado, las evaluaciones se hicieron censales (ahora se aplican a toda la población) y obligatorias (ley 715, decreto 230), pensando en la posibilidad de determinar responsabilidades hasta la escala institucional; y de otro lado, se vincularon los extremos preescolar y universidad: en Bogotá se hizo una evaluación piloto del grado cero (con la intención de extenderla a todo el país) y también se comenzó a hacer la evaluación de la calidad de la educación superior, la que conocemos como ECAES. En pocas palabras, el sistema educativo está cruzado por la evaluación masiva: desde que los estudiantes entran al jardín, hasta que salen de la universidad.

Llama la atención el hecho de que nuestra educación no todo el tiempo ha estado preocupada por este asunto de la evaluación. En el pasado, se trataba de interpolar el dispositivo escolar, no sólo en la vida social y sus prácticas, sino fundamentalmente en la manera de representarnos nuestra relación con la vida. Entonces, se hablaba de “alfabetización”, de “cobertura”, de “universalización”, incluso se recurría a una formación “a distancia”, con tal de alcanzar hasta el último rincón del país. Ahora, parece haber un giro: todas estas evaluaciones configuran otra época en la que se habla de “calidad”, en la que la calidad es lo que sería necesario controlar a través de la evaluación[1].

La puesta en acto

Qué evaluar

No obstante ser una medida ligada a una política educativa que —más allá de las normas del momento— se consolida desde 1991, no fue el Estado quien realizó los instrumentos para evaluar a aquellos que van a egresar de la universidad. El ICFES hizo una convocatoria en la que las comunidades “afectadas” debían hacer propuestas. Supuestamente, las asociaciones de facultades eran las llamadas a responder… pero, de un lado, este tipo de asociación no existe para algunas carreras y, de otro lado, cuando existe, la mayoría de las veces son entes administrativos (¡son asociaciones!) que no poseen —y no tendrían por qué poseer— el estatuto de comunidades académicas; también se da el caso de que, pese a estar constituidas, tienen un funcionamiento mínimo.

Pues bien, llamar a estas asociaciones es un mecanismo para tratar de establecer la validez de los ECAES. La validez de las pruebas (aquello que se evalúa), cuando se trata de profesiones como medicina, preescolar, derecho, etc., está en relación con alguna o algunas disciplinas. Y es propio en las evaluaciones externas, como los ECAES, delegar la validez en “expertos”: si se trata de evaluar medicina, convocan a un grupo o a una persona reconocida en ese campo, para que definan lo que debe ser evaluado. Sin embargo, tal reconocimiento no se da solamente por el hecho de tener efectivamente alguna experticia: también puede obtenerse por amistad, por la búsqueda de beneficios personales o por ser garantía de que ciertas políticas se impongan. Por eso, personas “reconocidas” en educación, pueden no tener producción en la disciplina u obrar, en tanto “expertos”, de espaldas a las implicaciones de esa disciplina. Pero lo que queremos destacar, en este caso, no recae sobre la manera de elegir los expertos (que ya introduce un problema: ¿por qué éste y no aquél?), sino sobre el hecho mismo de que sean llamados como condición para tener pruebas válidas.

Si las disciplinas tienen una historia, el llamado experto sería más bien alguien con una posición en un campo de trabajo. Ciertamente, algunas personas pueden dar cuenta de debates que le son contemporáneos a la vida de su disciplina, pero justamente por conformar un campo, no por poderse aislar en calidad de “experto”. Dime a quién ves como experto y te diré a qué distancia estás de las problemáticas de la disciplina.

Entonces, pese a la confianza que pueda depositarse en las pruebas (bajo la forma de confiar en el experto o de objetar su nombre), la universidad —y no los que realizaron las pruebas, ni el ICFES— continúa dispensando la formación profesional. Los procesos de evaluación externa no pueden, por sí mismos, poner a los programas a la altura de las discusiones importantes de las diversas disciplinas. Es decir, el mecanismo no puede cualificar los programas, sino más bien hacer indispensables a los expertos. Entonces, esta posición no interroga, ni la relación de los programas universitarios con las disciplinas respectivas, ni esa división del trabajo que hace eternos unos roles que, en lugar de “mejorar la calidad educativa”, conduce más bien a entrenamientos en resolución de instrumentos “tipo ECAES”, con el fin de evadir el cuestionamiento que por rebote se le hace a la universidad: se aplica al estudiante, pero termina cuestionando programas.

En síntesis, los ECAES fueron realizados —bajo contratos con el ICFES— por asociaciones de facultades (con o sin preparación), por universidades o por grupos (ya existentes, o conformados para la ocasión). Es decir, una heterogeneidad total. Pero, a diferencia de lo que venía ocurriendo con el examen de Estado para ingreso a la educación superior, no es la instancia estatal la que elabora el examen. Si los ECAES pueden ser calificados, con o sin razón, como descontextualizados, sesgados, reduccionistas, “cositeros”, sin relación con la formación por la que preguntan, etc. —epítetos con los que se calificó durante muchos años al clásico examen de Estado—, la acusación se hará recaer sobre los contratistas, supuestamente sobre las comunidades disciplinarias, y no sobre el ICFES.

Cómo evaluar

Las implicaciones de esta heterogeneidad de instancias haciendo los ECAES no se dejó esperar: en reciente investigación, Rodríguez et al. (2005), haciendo análisis psicométrico de los ECAES, demuestran que «el porcentaje de ítems que cumple con los criterios de calidad no superó el 30%»; en otras palabras, ¡el 70% de los ECAES no es confiable! y, sin embargo, con datos arrojados por tales instrumentos, se ha hecho el ranking de las universidades y de las facultades en el país.

Ahora bien, los ECAES apuntan a algo distinto de las disciplinas, algo relativo al dispositivo escolar: de un lado, a la evaluación (de desempeños, logros, competencias, como se lo llame) y, de otro lado, al efecto de la actividad de enseñanza (de la medicina, el derecho, el preescolar, etc.). En tal sentido, la confiabilidad de la evaluación dependería de la relación particular con la especificidad del dispositivo escolar, en general, y con la recontextualización y la evaluación de las asignaturas, en particular. Esto porque en la universidad la actividad no se centra exactamente en una disciplina científica, sino más bien en la recontextualización de un saber, proceso en el que juegan otros asuntos: edad de los estudiantes, oportunidad de la enseñanza, contextos en que ésta se imparte, asuntos de comportamiento, disciplina, asistencia, evaluación, promoción, etc. No obstante, la evaluación masiva prescinde de las “comunidades pedagógicas”, no le interesa si hay una pedagogía específica para cada área y, por lo tanto, también una evaluación específica. Supone la existencia de un mecanismo —la estadística— para tornar “objetiva” cualquier evaluación. Los modelos estadísticos, por sí solos, permitirían fijar el cómo de la evaluación, o sea, imprimir confiabilidad a los instrumentos.

Esto hace que el juicio externo sea preferible al juicio del maestro, del programa, de la universidad. No se confía en el saber pedagógico del maestro, ni en la experiencia formadora de la universidad. De ahí la idea de que, conforme a los resultados, las instituciones deben tomar medidas de “mejoramiento”.

Pues bien, la pretensión de objetividad revela una posición frente a la comunidad pedagógica: su desconocimiento, gracias a la legitimación histórica por medio de la cual la psicología buscó posicionarse frente a cierto paradigma científico a comienzos del siglo XX. Así, en el caso de la confiabilidad, el estadígrafo no tiene, de entrada, un reconocimiento social en el campo pedagógico, sino que se impone su presencia a través de las políticas educativas; no se trata de un estado de la discusión de los profesores sobre cómo evaluar. Las aproximaciones estadísticas son un conjunto de información que no escapa (como quiere hacerlo ver la idea de “objetividad”) a la ubicación histórica, política y social. Por eso pueden funcionar técnicos en medidas psicométricas, sin otra posición en el campo pedagógico. Así, su aislamiento de los problemas de la escuela no se asume como un inconveniente, sino más bien como una ventaja: llegan sin los problemas propios de la institución, incluso sin el conocimiento de la institución escolar, pues su carácter “técnico” les permitiría supuestamente ir más allá de lo perceptible desde la escuela misma.

La estadística es una disciplina seria, pero dejar en sus manos la “exactitud” de la evaluación no conduce a mejorar la calidad de la formación profesional, pues no modifica las prácticas de aula. Una evaluación así se hace pasar por “confiable” en tanto práctica ideal: la mejor evaluación en el aula sería la psicométrica. Pero no es claro cómo podría ella poner a todos los maestros a la altura de las discusiones pedagógicas (incluyendo las psicométricas). Con esto, la evaluación externa expresa una posición frente a la pedagogía, según la cual la metodología estadística (no los maestros), es la única que garantiza evaluaciones objetivas; es más: unos programas de computador, son los garantes de una evaluación supuestamente desprovista de subjetividad. Pero tal evaluación deja intacta la relación de los programas con la pedagogía respectiva y no interroga la posición del estadígrafo frente a la educación.

Entonces, pese a tratarse de disciplinas completamente distintas, con desempeños profesionales de muy diverso orden, el ICFES exigió a todos los contratistas que los ECAES tuvieran más o menos las mismas características, que se validaran más o menos de la misma forma y que hicieran el análisis de resultados con el mismo modelo. En otras palabras, desempeños laborales que nada tienen que ver con las aptitudes que asisten a alguien que responde un examen de lápiz y papel[2], tuvieron que medirse por ese rasero[3]. ¿Acaso un sólo modelo estadístico puede percibir la complejidad y la diversidad que hay en las distintas carreras profesionales? En cualquier caso, los ECAES no han demostrado que haya isomorfismo entre su escala y el conocimiento y/o la destreza que permiten establecer, condición mínima para hacer una medición.

A quién evaluar

La evaluación masiva se considera pertinente cuando se aplica a personas que han sido sometidas a la misma información, que se puedan considerar homogéneas al menos en relación con aquello en lo que se las va a evaluar. Por ejemplo, se piensa que si hay un currículo idéntico, o unos lineamientos idénticos, o unos estándares, entonces todos los estudiantes estarían en igualdad de condiciones. Es decir, un criterio psicométrico preciso es el que prohíbe hacer evaluaciones idénticas a poblaciones no homogéneas. En nuestro caso, la homogeneidad de los estudiantes estaría dada por el hecho de pertenecer a la misma profesión y, por esa misma razón, de haber recibido supuestamente idéntica educación.

No obstante, las disciplinas tienen dinámicas no uniformes, los programas resaltan ciertas finalidades, hay forcejeo entre profesionalización y empleo, hay diferentes intereses en juego en la educación, el conocimiento, la ciencia y la pedagogía sufren diversas interpretaciones paradigmáticas, etc. Bajo estas condiciones de toda formación profesional, es imposible garantizar la homogeneidad de los evaluados. Las distintas facultades de las universidades en el país no coinciden, no manejan —y no es esperable que lo hagan— las mismas perspectivas teóricas ni metodológicas. Tal vez por ello, la Constitución defiende la libertad de cátedra. Además, si algo ha impedido que los medios reemplacen a los docentes (como ha sido la intención cada vez que aparece una novedad tecnológica), es la heterogeneidad de los estudiantes, producida, entre otras, por la heterogeneidad de contextos en que es impartida la educación y por la heterogeneidad de capitales culturales con los que es asumida.

Así, cuando se aplican los ECAES, se selecciona un enfoque, una escuela, un paradigma, unos intereses, unas formas de proceder profesionalmente, un capital cultural… y, entonces, se intenta aplicar indiscriminadamente tal selección a todos los sujetos, a todos los programas, a todas las facultades, a todas las universidades.

Vista de esta forma, la “pertinencia” es una toma de posición que compromete el conocimiento sobre dos aspectos: de un lado, el aprendizaje de los estudiantes; y, de otro, el país que se está construyendo con la educación que estamos dispensando en la escuela. Por su parte, la posición asumida por las evaluaciones externas implica, según se deduce de lo que a propósito de ellas ha sido enunciado de forma explícita por las instancias administrativas, que los actores de la educación no saben sobre sus estudiantes, no saben qué acciones emprender, ni cómo conducir la institución educativa; por estas razones supuestamente deberían someterse a las evaluaciones, esperar sus resultados y ahí sí usar la única información que se considera útil para acometer la labor educativa. Esta posición, por supuesto, conduce a que se produzca cierto tipo de relaciones. De nuevo, como en los otros casos, se trata de una toma de posición histórica.

Algunos efectos

En vista de la explicitación que la instancia estatal hace de lo que espera sea producido por las universidades, éstas reaccionan de varias maneras:

-             Por lo general, entran en pánico y tratan de acomodar sus prácticas a lo que perciben que se les está demandando: hacer preguntas “tipo ECAES”, modificar los programas para que queden “por competencias”, pedir asesorías en relación con las palabras de moda, etc. Esto revela, de un lado, el carácter extrínseco de la evaluación frente a los procesos endógenos de las universidades y, de otro lado, la ausencia de autonomía, fortaleza y lenguaje propio de las instituciones universitarias. En este sentido, habrá las que reduzcan completamente su acción y naturaleza a lo que deducen que subyace al ECAES.

-             También hay otro tipo de respuestas, en menor proporción; se trata de las universidades o los programas que logran distanciarse un tanto de la demanda oficial y, estratégicamente, cumplen con el ECAES, sin permitir mayores distorsiones a su procesos educativo. Más que de universidades, se trata de ciertos programas posicionados en el mercado y en el imaginario social, bajo la retórica de la excelencia y el empleo garantizado.

-             También existen otros programas y/o comunidades educativas que aceptando la idea de valorar la formación universitaria, condicionan la evaluación a la pertinencia de la misma frente a la naturaleza del saber y su correspondiente desempeño profesional[4].

Entre la diversidad de efectos producida por el imperativo de los ECAES y sus resultados, hay dos nada despreciables por lo perjudiciales para las facultades y los programas: de un lado, si los resultados fueron “positivos”, la institución se hincha de confianza y veleidad, en el autoengaño de su calidad y, de esta manera, traiciona sus procesos de fortalecimiento internos, resultando el imaginario social definitorio frente al conocimiento inmediato que ella misma tiene de sí (incluso se aplica un sistema de premios y reconocimientos, incluso de utilización de los resultados para promoverse mediáticamente). Con la misma lógica, si los resultados fueron “negativos”, la institución, desconociendo sus procesos propios, se autoflagela y encamina su accionar hacia una “re-ingeniería pro-ECAES” (hay universidades que han echado profesores, debido a los resultados). Ahora bien, este no es el peor de los escenarios. La situación es mucho más lamentable cuando, eventualmente, entre dos aplicaciones de los ECAES, los resultados difieren diametralmente: en una, los resultados fueron positivos y, en la subsiguiente, negativos, o viceversa. La institución desconcertada, manipulada por la evaluación del ECAES, cae en una total heteronomía. Con resultados negativos, ya no puede discutir sobre la especificidad de la prueba, pues no la puso en cuestión cuando los resultados le fueron favorables.

El otro efecto relevante es el siguiente: como están en juego los asuntos de la acreditación y, a largo plazo, los asuntos presupuestales de las universidades, la urgencia de quedar bien ante la instancia estatal hace sentir la necesidad de tener unos referentes comunes de la formación. Así, una idea que era condición de posibilidad de la evaluación —los “estándares”—, se autolegitima, resulta siendo exigida por aquellos a los que se les va a aplicar el instrumento de medición y por aquellos que los diseñan (que pueden ser los mismos).

Este tipo de evaluación se hace bajo el supuesto de que pone a competir a las universidades entre sí, lo cual las mejoraría a todas. No obstante, en economía —que es de donde se dice sacar esa idea— se sabe que el mercado libre también corrompe la oferta y la demanda. La prueba es que, en lugar de “mejoramiento”, puede aparecer el intento de adaptación al sistema de pruebas, lo cual permite hacerse una idea de las posiciones frente al campo disciplinar.

La mediatización de los resultados

Del mismo modo que el examen de Estado del ICFES para el ingreso a la educación superior, el examen de Estado del ICFES para egreso de la educación superior (ECAES) es un reflejo no de un Estado-educador, sino de un Estado-seductor [Régis, 1993]. Se trata de un Estado avalador del servicio de gestiones privadas para que éstas generen clasificaciones, cifras, números que se publicitan ante la llamada “opinión pública” con bombos y platillos: “La Universidad X es la mejor en medicina, o derecho, o preescolar…”[5].

En esta nueva condición, el Estado y la sociedad no acuden a instrumentos como la ciencia, la estadística y los medios de comunicación masiva para informar de la articulación de una política educativa del país en proceso continuo de cualificación, sino que el Estado y la sociedad son instrumentos de los medios de comunicación y de las estadísticas para escenificar unos resultados. Resultados validados por un supuesto Estado-árbitro que realmente es un Estado-seductor al servicio de una sociedad de la imagen para la cual el medio es el mensaje, en el sentido de que —para este caso— la calidad de la educación se mide, se jerarquiza, se establece no en el proceso evaluativo mismo, sino en la prioridad que se le da al resultado, publicitado a través del bautismo público estatal y mediático.

En esta lógica mediática, lo más importante es que la “calidad” es una representación, no en el sentido de una abreviatura de un proceso complejo, sino en el sentido de la primacía del show que legitima a unas instituciones y a otras no. Esta lógica no advierte que la calidad que se está informando se mide en términos superficialmente comparativos, es decir, “este programa y esta institución son mejores, en comparación con este otro programa y esta otra institución”. Lo que permite afirmar, metafóricamente, que en el reino de los ciegos, el tuerto es rey.

El propósito central de todo el procedimiento del ECAES es, pues, la publicación o, mejor, la mediatización de los resultados. Por ello, decimos que el ranking de los “mejores” programas y de las “mejores” instituciones no es la representación de una calidad, de una potencialidad, sino que dicho listado es el poder o el prestigio que da una representación, es decir, que da un listado que espectacularmente se exhibe ante la opinión pública.

Como toda representación mediática, esta no tiene nada que ver con la “verdad”, en este caso con la calidad, sino con la verosimilitud, en dos sentidos: por un lado, dentro de la lógica interna de la representación mediática tiene que haber personajes y conflictos y, por tanto, antagonismos entre unas instituciones y otras para componer la puesta en escena y la trama; por otro lado, en cuanto a las expectativas de los públicos, lo que se tiene que producir es lo que el público espera, una clasificación o algo parecido que le dé un final a la historia, que produzca ganadores y perdedores, vencedores y vencidos, resultado éste que, como en las telenovelas o en los Western, ya sabemos cuál será: el triunfo de la verdad, la bondad, la belleza y la virtud, representados en las instituciones previamente consagradas por su alta calidad. Sin embargo, y por fortuna, hay más realidad en la academia que la que tiene que recurrir a medios extra-académicos para legitimarse, pues este es sólo el recurso, según Bourdieu, de quienes no pueden legitimarse académicamente.

Bibliografía

Alcaldía mayor de Bogotá DC [2005]. Lineamientos de evaluación para Bogotá. Bogotá: Secretaría de educación distrital.

Debray, Régis [1993]. El estado seductor. Buenos Aires: Manantial, 1995.

Gardner, Howard [1983]. Estructuras de la mente. La teoría de las inteligencias múltiples. Bogotá: fce, 1994.

Marín, Fernando [2004]. «Competencias: “saber-hacer”, ¿en cuál contexto?». En: El concepto de competencia II. Una mirada interdisciplinar. Bogotá: Alejandría-SOCOLPE.

Miller, Jacques-Alain [2003]. «La evaluación». En: Psicoanálisis y política. Buenos Aires: EOL-Grama, 2004.

________ [2004]. «El desencanto de la estadística». En: Psicoanálisis y política. Buenos Aires: EOL-Grama, 2004.

Rodríguez, Olga; Casas, Pedro Pablo & Medina, Yohana. «Análisis psicométrico de los exámenes de evaluación de la calidad de la educación superior (ECAES) en Colombia». En: Revista Avances en medición, No 3. Bogotá, Universidad Nacional de Colombia, Departamento de Psicología, 2005.

---

[1]    La “calidad” se pre-comprende como un rango mensurable, decidido por técnicos que seleccionan unos indicadores, montados sobre los presupuestos de mensurabilidad y disponibilidad. Esta medida no es solamente cuantitativa; podría ser cualitativa, sin dejar de ser un constructo artificial que marca la época de la técnica planetaria, al decir de Heidegger. Por su parte, la disponibilidad tiene que ver con los destinos de la delimitación producida por la mensurabilidad: se evalúa para controlar, manipular, movilizar, mediatizar. En este caso, el ser de la educación se define desde el poder de la representación y la disponibilidad.

[2]    Gardner (1983) señala que el lápiz y el papel —instrumento clásico de la psicometría— sólo permite inferir algo de una de las múltiples inteligencias. Las otras demandan rodeos que les sean específicos.

[3]    La prueba de lápiz y papel es una prueba de la cultura de la escrituralidad; es decir, una prueba inserta en la “galaxia Gutemberg”, que no involucra otras formaciones presentes en la contemporaneidad y que tienen que ver con el uso de las tecnologías de la información y la comunicación, el computador, los laboratorios de distinta índole… y que están en la lógica de otras galaxias: McLuhan, las videosferas, incluso las logosferas, pero no bajo el formato de las evaluaciones que responden a las limitaciones de la medición psicométrica. Argumentar, interpretar y proponer no pueden limitarse a su exposición en términos de la expresión escrita.

[4]    Es el caso de las facultades de arquitectura, que venían pensando este asunto de tiempo atrás, antes de que el ICFES lo exigiera; cuando fueron interpeladas, pudieron asumirlo como comunidad de trabajo y exigir que el proceso evaluativo se realizara in situ, en un ámbito acorde con los procesos de construcción y diseño arquitectónico, de trabajo en equipo, de deliberación frente a las maquetas en construcción… condiciones que ponen en crisis la idea misma del ECAES.

[5]    «La pérdida de las grandes metas ideales del viaje (“la marcha hacia el Progreso”) sumerge a cada uno en la incertidumbre de lo que hay que transmitir, de modo que el “public is message” tranquiliza como último punto de anclaje. Puntaje de audiencia, cota de popularidad, índice de confianza, punto perdido o ganado en el hit-parade, barómetro mensual, tablero de instrumento: luces de niebla para navegantes solitarios. Del mismo modo, los valores de contacto y convivialidad están tanto más en alza en el imaginario por estar el vínculo social en baja en la realidad vivida» (Debray, 1993: 151-152).