Publicación trimestral de AQU Catalunya

77

Abril 2015

La acreditación de títulos universitarios oficiales es un proceso importante desde una lectura administrativa, institucional, educativa, social o individual. Cierra, al menos de forma temporal, un ciclo de renovación de los planes de estudios universitarios iniciado en 2007 con el Real Decreto 1393/2007. Siendo como es un acto administrativo —mantiene o deja fuera del RUCT un título universitario—, tiene además consecuencias para las universidades y sus centros, en términos de lo que se enseña y cómo se enseña en un plan de estudios y, por ende, tiene consecuencias para la sociedad que promueve y sostiene todo el proceso.

Sea cual sea el resultado, la acreditación supone un proceso de aprendizaje para los centros o universidades y para los propios evaluadores. Es un proceso de aprendizaje dado que la evaluación facilita la revisión de las actuaciones de una institución, llevadas a cabo con relación a unos títulos, y las enfrenta con unos criterios de calidad y con los puntos de vista de unos profesores, estudiantes, profesionales y técnicos que son ajenos a la misma. La evaluación para la reacreditación es un proceso de aprendizaje en la medida en que revisa el pasado, pero mirando al futuro.

La acreditación de títulos universitarios oficiales es también un proceso colectivo. En él intervienen varios agentes institucionales —las universidades, AQU Catalunya y las administraciones— y una miríada de personas que aportan su visión sobre el centro y los títulos objeto de evaluación. Entre esas personas estamos los miembros de los comités de evaluación externa, que hacemos la visita a los centros y elaboramos un informe de evaluación externa. Lo que sigue es precisamente una reflexión sobre el proceso de reacreditación de los títulos de máster de las universidades catalanas, realizado por un miembro de dichos comités que ha desempeñado en ellos el rol de presidente.

Un análisis del cómo del proceso de acreditación me lleva a considerar el proceso de evaluación externa —y también la propia acreditación— como un proceso iterativo, de aproximación sucesiva. Si partimos del supuesto de que "todo lo que se mide se mide con error", entonces el objetivo del proceso de acreditación sería "minimizar ese error", dando consistencia y credibilidad a las actuaciones de los evaluadores y, en consecuencia, a los resultados que de ellas se desprenden. Esta naturaleza iterativa del proceso de acreditación tal como ha sido diseñado por AQU Catalunya supone, en esencia, un ajuste progresivo entre dos instancias: el centro o universidad y AQU Catalunya, en nombre de la que actuamos los evaluadores.

En una primera iteración, el centro elabora un autoinforme de los títulos objeto de evaluación y aporta unas evidencias que son analizadas por un comité de evaluación externa competente. Este valora su adecuación y suficiencia y elabora un informe de análisis preliminar, junto con un documento que se envía al centro para que aporte, en su caso, las evidencias o las informaciones complementarias requeridas. En una segunda iteración, puede llevarse a cabo una visita previa en la que presidente y secretario de dicho comité de evaluación externa entran en contacto directo con el centro y se realiza un primer examen de puntos fuertes y áreas de mejora observados. En cualquier caso, tenga o no lugar esa visita previa, se lleva a cabo una visita para comprobar in situ la implantación de las titulaciones en el centro. En esta visita se produce un intercambio de apreciaciones y un ajuste entre las visiones de quienes han participado directamente en un título y las de aquellos que son ajenos a él.

El informe previo de evaluación externa, elaborado tras la visita, es sometido a la consideración de la institución que, según su criterio, da lugar a un nuevo ajuste en forma de alegaciones, que recogen observaciones, comentarios o desacuerdos con lo leído. El comité de evaluación externa toma en consideración, en mayor o menor medida, dichas alegaciones y elabora un informe definitivo de evaluación externa. Este informe pasa a una comisión de acreditación, que da pie a una nueva iteración al elaborar el informe previo de acreditación, que somete, de nuevo, a la consideración de la institución. Todo ello sin mencionar los ajustes internos que se producen entre AQU Catalunya y los evaluadores externos o entre comisiones.

La visión que tengo del proceso de acreditación puede calificarse con el adjetivo garantista. Efectivamente, se trata de un proceso garantista porque está sujeto a plazos, participación de todos los agentes de interés, publicidad, decisiones basadas en evidencias documentales, dobles vías (AQU Catalunya - centro; evaluadores - AQU Catalunya), revisiones y alegaciones. Como consecuencia, el proceso, desde que se elabora el autoinforme hasta que se emite el informe de acreditación, se hace largo; para nuestro consuelo, procesos similares llevados a cabo en otros países por agencias nacionales o supranacionales tienen un tempo similar. Conseguir reducir los tiempos parciales y total sin socavar las garantías del proceso es hoy por hoy un reto importante para todos.

Participar en un proceso tan garantista como el expuesto conlleva para los evaluadores importantes retos. El primero de ellos es seguramente el de la discriminación de los diferentes niveles de calidad. Discriminar supone cribar el grano fino y determinar cuál es el grado en que un título alcanza el estándar; en otras palabras, la diferencia entre "se alcanza con calidad", "se alcanza" y "se alcanza con condiciones". Encontrar esa diferencia entre dichos grados exige entrar en los detalles y examinar con cuidado todas las evidencias. Lograr un buen nivel de discriminación es importante para que el análisis y las recomendaciones que se devuelven a las instituciones resulten válidos, es decir, útiles de cara a la mejora, de modo que no den la impresión a quienes los leen de que representan afirmaciones a las que podría haberse llegado sin tantas complicaciones procesuales.

Un segundo reto para los evaluadores es el de la coherencia en la valoración de los títulos. En primer lugar, es necesaria una coherencia global, que exige la aplicación unitaria de los criterios de evaluación a todas y cada una de las dimensiones de los títulos analizados. En segundo lugar, es necesaria una coherencia lineal, que demanda la articulación vertical de los criterios, de modo que, por ejemplo, lo afirmado con relación al profesorado no contradiga lo recogido al valorar los resultados de aprendizaje. En tercer lugar, es necesaria una cohesión en la lógica argumentativa expuesta en el texto de los informes, así como que de la lectura de los informes se desprenda una imagen clara sobre el punto de vista de los evaluadores favorable o no a la acreditación.

Pero quizás el reto más importante para los evaluadores sea el de la credibilidad que merecen nuestras valoraciones para las universidades catalanas. Dicho en otros términos, hasta qué punto las instituciones se sienten razonablemente reconocidas ante el espejo que les presentamos en los informes de evaluación externa o de acreditación. Lograr credibilidad es importante en la medida en que —cuando no se concede— puede poner en cuestión la valoración de los títulos recogida en los informes de evaluación y las recomendaciones que se hacen. Además de las derivadas de la propia decisión de acreditación, la utilidad de los informes de evaluación para las instituciones puede apreciarse en términos de la capacidad de dichos informes para proponer cuestiones y recomendaciones que conduzcan a la mejora continua de los títulos. La preocupación de los evaluadores es comprensible si entendemos que, en definitiva, una evaluación es válida en la medida en que lo son las consecuencias que de ella se derivan.

En la redacción del informe está finalmente otro de los retos a los que nos enfrentamos los evaluadores. Su traducción más evidente exige presentar nuestras valoraciones de modo que resulten comprensibles para las instituciones y tracen una lógica argumentativa que dé solidez a esas valoraciones cuando se lean los informes de evaluación.

En orden a afrontar los retos que tenemos por delante los evaluadores, algunas actuaciones de las instituciones, de llevarse a cabo, podrían contribuir a mejorar nuestras valoraciones y, por ende, el proceso de acreditación al que están referidas. Dado que la consistencia de nuestras apreciaciones descansa en buena medida en la calidad de las evidencias que examinamos, entonces podría decirse que un buen proceso de seguimiento y revisión interna de los títulos es la mayor garantía de la calidad de la evaluación. Para ello, los informes de autoevaluación tendrían que ofrecer no sólo descripciones de hechos, datos de satisfacción o indicadores, sino interpretaciones en ellos apoyadas. Esas interpretaciones nos permitirían a los evaluadores conocer cuál es el punto de vista de aquellos que están más directamente implicados en el título sobre la evolución de un dato, sobre la relación entre un hecho y sus antecedentes, sobre una medida adoptada y sus consecuencias, etc. A veces, el punto de vista de la institución únicamente lo conocemos en la fase de alegaciones, en la que los comentarios e interpretaciones que se presentan son en ocasiones mucho más explícitos y claros que los propios informes de autoevaluación.

Como decíamos al principio, el proceso de acreditación es también un proceso de aprendizaje para los evaluadores. Así, los evaluadores tenemos que aumentar el rigor de nuestras apreciaciones y mejorar nuestras argumentaciones, de modo que puedan orientar a los responsables académicos sobre cuál es el siguiente paso que podría darse con relación al diseño del título y/o su implantación. En este punto, es posible establecer una sinergia positiva entre nuestro aprendizaje como evaluadores y el propio aprendizaje de las instituciones.