CompartirAQU Catalunya analiza las potencialidades de la inteligencia artificial en la acreditación de titulaciones
En esta exploración preliminar del uso de la inteligencia artificial, la Agencia analiza la efectividad de la aplicación de esta tecnología en la predicción de resultados de acreditación de calidad de titulaciones universitarias.
AQU Catalunya ha analizado la efectividad de la inteligencia artificial (IA) en un estudio que explora de forma preliminar el uso de esta tecnología en los procesos de evaluación de la calidad de las titulaciones universitarias. El estudio, realizado en un momento propicio porque el sistema universitario dispone de un volumen y variedad de datos crecientes y porque los procesos de evaluación de la calidad están virando hacia un planteamiento de evaluación de centros, se centra las potencialidades de la IA en la predicción, clasificación y agrupamiento de datos, ya que los algoritmos de machine learning pueden aprender patrones y relaciones complejas entre las variables. El objetivo del estudio, por tanto, es valorar si se pueden construir herramientas de evaluación simplificadas que se conviertan en un complemento útil para los diferentes agentes de interés.
El estudio, que ha tenido en consideración todos los protocolos de acreditación de grados y másteres universitarios de AQU Catalunya hasta el año 2021, ha incluido un total de 1.235 (498 de grados y 737 de másteres), de los que el 70-80% obtienen un resultado de consecución y el 20-30% restante obtienen una acreditación con condiciones o hacia la excelencia. A cada uno de los protocolos se le han asignado los datos provenientes de los indicadores disponibles para AQU Catalunya para hacer el análisis de su ajuste con los resultados reales obtenidos.
El análisis, estructurado en dos fases –el primero es un análisis descriptivo y el segundo aplica técnicas de aprendizaje automático (machine learning)–, plantea conclusiones como, por ejemplo, que la correlación entre los indicadores cuantitativos analizados y los resultados de las acreditaciones realizadas es baja. Sin embargo, señala que la tasa de ECTS impartidos por profesorado doctor es el indicador más correlacionado con el resultado de la acreditación. Este análisis, que únicamente quiere plantear un punto de partida en la reflexión y exploración de estas técnicas para la evaluación de titulaciones, también ha concluido que la obtención de un resultado de acreditación hacia la excelencia pese a una baja satisfacción del estudiantado es una situación que se produce en el 3-5% de las evaluaciones.
El informe, que podéis consultar íntegro aquí, ha estado acompañado por un taller con personal técnico del Área de Evaluación de la Calidad de AQU Catalunya para hacer el traspaso de los resultados del análisis cuantitativo del proyecto a fin de promover la reflexión interna. Además, el taller también pretendía recoger la opinión cualitativa de las personas técnicas superiores sobre los indicadores utilizados en la acreditación y ver su encaje con los resultados cuantitativos obtenidos. El informe ha sido realizado por los técnicos de AQU Dani Torrents Vilà y Núria Mancho Fora.