En los últimos años hemos sido testigos de un aumento abrumador en cuanto a la disponibilidad de indicadores de calidad en todos los ámbitos. Este creciente volumen de datos plantea, paralelamente, dificultades en el acceso y la digestión de esta información, lo que se conoce como KPI overload, es decir, una abundancia de indicadores que puede llegar a convertirse incluso en un obstáculo para conseguir una mejora real. Este hecho, junto con los cambios legislativos que ponen el foco de la evaluación en el centro universitario en vez de ponerlo en la titulación, ha llevado a la Agencia a explorar preliminarmente las técnicas de aprendizaje automático (machine learning). A través del análisis de una gran cantidad de datos, los algoritmos de IA pueden identificar patrones y predecir riesgos potenciales en la calidad de las titulaciones, y pueden convertirse en un complemento útil para la diagnosis de los centros universitarios.
Concretamente, el estudio ha analizado más de 1.200 evaluaciones llevadas a cabo entre 2015 y 2021, junto con más de 70 indicadores relativos al acceso, el progreso académico, la satisfacción de los estudiantes y su inserción laboral. Así pues, mediante técnicas de aprendizaje automático se ha establecido una relación entre estos indicadores y el historial de resultados de las evaluaciones de calidad, que evalúa su capacidad predictiva potencial.
A través del análisis de una gran cantidad de datos, los algoritmos de IA pueden identificar patrones y predecir riesgos potenciales en la calidad de las titulaciones, y pueden convertirse en un complemento útil para la diagnosis de los centros universitarios
Los resultados del análisis muestran que, por lo general, la correlación entre los indicadores y los resultados de la evaluación es débil, salvo alguna excepción vinculada a la dimensión de calidad del profesorado. A pesar de esta débil relación, el modelo de aprendizaje automático ha demostrado una elevada tasa de especificidad en la predicción de los resultados de acreditación con condiciones: ha sido capaz de predecir correctamente el resultado de riesgo (es decir, la acreditación con condiciones) del 99% de las evaluaciones de grados y del 100% de las de másteres.
Esta exploración, pese a sus potencialidades, no está exenta de limitaciones. Por un lado, el histórico de resultados de evaluación para entrenar los algoritmos es bastante limitado, teniendo en cuenta que la realidad entre disciplinas, modalidades y titularidades de los centros es muy diversa. Por otra parte, la necesidad de mantener los modelos actualizados con los cambios normativos o metodológicos (p. ej. la acreditación institucional) es una cuestión que no se podrá ignorar en el futuro.
Es importante señalar que la evaluación de la calidad en ningún caso puede convertirse en un proceso puramente automático, realizado por máquinas, sino que tiene un fuerte componente cualitativo irrenunciable. Sin embargo, la utilización de la inteligencia artificial en la evaluación de la calidad es una herramienta interesante para ayudar a identificar riesgos potenciales y complementar los procesos de aseguramiento de la calidad, tanto para las universidades como para las agencias de aseguramiento de la calidad. A pesar de las limitaciones, esta investigación abre las puertas a un futuro en el que la tecnología puede tener un papel clave en la mejora continua de la educación superior y que habrá que seguir explorando.