Els darrers anys hem estat testimonis d’un augment aclaparador pel que fa a la disponibilitat d’indicadors de qualitat a tots els àmbits. Aquest volum creixent de dades planteja, paral·lelament, dificultats en l’accés i la digestió d’aquesta informació, la qual cosa es coneix com a KPI overload, és a dir, una abundància d’indicadors que pot arribar a convertir-se inclús en un obstacle per aconseguir una millora real. Aquest fet, juntament amb els canvis legislatius que posen el focus de l’avaluació en el centre universitari en comptes de posar-lo en la titulació, ha portat l’Agència a explorar preliminarment les tècniques d’aprenentatge automàtic (machine learning). A través de l’anàlisi d’una gran quantitat de dades, els algoritmes d’IA poden identificar patrons i predir riscos potencials en la qualitat de les titulacions, i poden esdevenir un complement útil per a la diagnosi dels centres universitaris.
Concretament, l’estudi ha analitzat més de 1.200 avaluacions dutes a terme entre el 2015 i el 2021, juntament amb més de 70 indicadors relatius a l’accés, el progrés acadèmic, la satisfacció dels estudiants i la seva inserció laboral. Mitjançant tècniques d’aprenentatge automàtic, doncs, s’ha establert una relació entre aquests indicadors i l’historial de resultats de les avaluacions de qualitat, que n’avalua la capacitat predictiva potencial.
A través de l’anàlisi d’una gran quantitat de dades, els algoritmes d’IA poden identificar patrons i predir riscos potencials en la qualitat de les titulacions, i poden esdevenir un complement útil per a la diagnosi dels centres universitaris
Els resultats de l’anàlisi mostren que en general la correlació entre els indicadors i els resultats de l’avaluació és feble, tret d’alguna excepció vinculada a la dimensió de qualitat del professorat. Tot i aquesta relació feble, el model d’aprenentatge automàtic ha demostrat una alta taxa d’especificitat en la predicció dels resultats d’acreditació amb condicions: ha estat capaç de predir correctament el resultat de risc (és a dir, l’acreditació amb condicions) del 99% de les avaluacions de graus i del 100% de les de màsters.
Aquesta exploració, tot i les seves potencialitats, no està exempta de limitacions. Per una banda, l’historial de resultats d’avaluació per entrenar els algoritmes és força limitat, tenint en compte que la realitat entre disciplines, modalitats i titularitats dels centres és molt diversa. Per l’altra, la necessitat de mantenir els models actualitzats amb els canvis normatius o metodològics (i. e. l’acreditació institucional) és una qüestió que no es podrà ignorar en el futur.
És important assenyalar que l’avaluació de la qualitat en cap cas pot esdevenir un procés purament automàtic, fet per màquines, sinó que té un fort component qualitatiu irrenunciable. No obstant això, la utilització de la intel·ligència artificial en l’avaluació de la qualitat és una eina interessant per ajudar a identificar riscos potencials i complementar els processos d’assegurament de la qualitat, tant per a les universitats com per a les agències d’assegurament de la qualitat. Tot i les limitacions, doncs, aquesta investigació obre les portes a un futur en què la tecnologia pot tenir un paper clau en la millora contínua de l’educació superior i que caldrà continuar explorant.