75

Novembre 2014

ARTICLES

La qualitat de les evidències en el procés d'acreditació

Albert Basart Capmany - Gestor de projectes d'AQU Catalunya

El compromís d'AQU Catalunya amb la millora de l'eficàcia i l'eficiència dels processos d'assegurament de la qualitat es concreta en accions periòdiques de metaavaluació, que actuen com a mecanismes de retroalimentació i reflexió sobre el seu desenvolupament i millora.

En el marc del procés d'acreditació de titulacions universitàries oficials de grau i de màster, el passat 17 de setembre AQU Catalunya va organitzar una sessió de metaavaluació, a partir de l'experiència de les nou visites externes d'acreditació realitzades fins ara, entre els mesos d'abril i juliol del 2014. La sessió va tenir una àmplia representació dels agents vinculats al procés d'acreditació, ja que hi van participar una cinquantena de persones, entre coordinadors de programes, responsables d'unitats tècniques i oficines de qualitat, i membres de comitès d'avaluació externa.

El desenvolupament de la sessió es va estructurar entorn dels continguts següents:

  • La guia d'acreditació.
  • L'elaboració de l'autoinforme i la selecció de les evidències associades.
  • El desenvolupament de la visita externa.
  • Els resultats de la visita.

A continuació s'exposa una anàlisi sobre la qualitat de les evidències que els centres han aportat per mitjà dels autoinformes, aspecte clau per garantir la qualitat del procés en general i que es correspon amb l'aspecte tractat en el segon punt de la sessió del dia 17.

L'objectiu d'aquesta anàlisi és posar en relleu les principals àrees de millora que els comitès d'avaluació externa han identificat. Per dur-la a terme s'ha procedit a fer un buidatge dels informes de revisió de l'autoinforme i les evidències, un informe que els comitès realitzen prèviament a la visita d'acreditació, en el qual se sol·licita al centre, si es considera necessari, aportar nova documentació o ampliar la informació ja aportada.

Les sol·licituds d'ampliació o d'addició d'informació que els comitès han fet als nou autoinformes presentats en el període del primer semestre del 2014 han estat les següents:

1. Qualitat del programa formatiu

Pel que fa a aquest primer estàndard, s'ha demanat en sis ocasions que s'inclogués als autoinformes informació i valoració sobre el perfil d'ingrés dels nous estudiants. Aquesta informació es pot resumir en:

  • Reflexió sobre l'adequació del perfil d'ingrés dels nous estudiants i sobre la coherència entre el nombre d'estudiants admesos i les places ofertes.
  • Satisfacció del professorat sobre la relació entre el perfil de formació esperat i el perfil de formació real.

En menys mesura (dues ocasions) s'ha sol·licitat informació sobre els mecanismes de coordinació docent.

2. Pertinència de la informació pública

En relació amb el segon estàndard, la major part de sol·licituds (set) s'han correspost amb mancances d'informació detectades a les pàgines web de la institució o la titulació. S'ha demanat:

  • Informació actualitzada sobre les característiques i el desenvolupament operatiu de la titulació.
  • Guies docents.
  • Pla d'acció tutorial.
  • Indicadors.
  • Informes de seguiment de titulació.

També en una ocasió s'ha sol·licitat aportar documentació lligada als processos del SGIQ sobre informació pública, recollida d'informació i rendició de comptes.

3. Eficàcia del sistema de garantia interna de la qualitat de la titulació 

El tercer estàndard, referit als SGIQ i la seva eficàcia, ha comportat un nombre important de demandes d'ampliació o de modificació de la informació aportada.

Pel que fa als instruments per a la recollida de la satisfacció dels grups d'interès, s'ha demanat fins a vuit vegades afegir a l'autoinforme:

  • Exemples de qüestionaris sobre la satisfacció dels estudiants i del PDI.
  • Índexs de resposta i periodicitat de les enquestes.

També en vuit ocasions s'ha sol·licitat millorar la informació quantitativa sobre el desenvolupament de les titulacions, per la via de:

  • Presentar dades evolutives.
  • Millorar la definició dels indicadors.
  • Desagregar dades (per exemple, nombre d'estudiants o de professorat equivalents a temps complet / equivalents a temps parcial).
  • Acompanyar els indicadors de l'anàlisi i la valoració corresponents.

Pel que fa al procés de revisió del SGIQ, en quatre ocasions s'ha demanat informació detallada sobre el desplegament dels processos i els terminis del desplegament.

Finalment, els plans i el seguiment de les accions de millora han estat objecte de comentari per part dels comitès en nou ocasions. Les principals demandes han estat:

  • Desglossar les accions genèriques en accions concretes.
  • Incorporar indicadors d'assoliment de les accions i un calendari concret.
  • Codificar les accions i definir responsables únics.
  • Millorar la traçabilitat amb les accions de plans anteriors.
  • Millorar la coherència entre el pla de millores i les argumentacions dels autoinformes.

4. Adequació del professorat al programa formatiu

Pel que fa a l'estàndard 4, referit al personal acadèmic, els comitès han reclamat, sobretot, ampliar la informació qualitativa i quantitativa sobre l'experiència docent, de recerca i professional del PDI.

En segon lloc, s'han fet fins a set sol·licituds relacionades amb l'adequació i la suficiència del professorat de les titulacions:

  • Elaborar taules resum sobre el professorat.
  • Desglossar la informació del PDI assignat a primer curs, pràctiques i TFG/TFM.
  • Especificar la dedicació de PDI a la titulació.
  • Aportar alguna reflexió sobre la qualitat i la suficiència del quadre docent actual.

També la qüestió relacionada amb el suport institucional que rep el personal acadèmic ha estat objecte de demandes de nova informació:

  • Accions formatives realitzades, valoració i satisfacció amb les accions.
  • Dades sobre la participació en accions formatives.

5. Eficàcia dels sistemes de suport a l'aprenentatge

L'estàndard 5 és el que, comparativament, ha rebut menys demandes d'ampliació de documentació. En tres ocasions s'ha reclamat que s'aportés a l'autoinforme una anàlisi i una reflexió sobre el funcionament del pla d'acció tutorial.
En menys mesura els comitès han sol·licitat indicadors de satisfacció sobre les tutories acadèmiques, indicadors de satisfacció sobre les accions d'orientació professional i documentació del SGIQ sobre el procés de suport i orientació a l'estudiant.

6. Qualitat dels resultats dels programes formatius

Finalment, les demandes de nova informació sobre l'estàndard 6 s'han concretat en dos apartats. El més sol·licitat (en set ocasions) ha estat relacionat amb les mostres de les execucions dels estudiants:

  • Indicar els criteris de selecció de les assignatures escollides i de les mostres presentades.
  • Presentar les memòries de les pràctiques externes obligatòries.
  • Mostrar una llista dels TFM presentats el curs anterior, amb informació de la tipologia, la temàtica i les qualificacions.

I el segon apartat ha estat la sol·licitud d'aportar l'evolució temporal, i també una anàlisi valorativa, dels indicadors de rendiment i dels indicadors d'inserció laboral dels graduats.

Conclusió

La valoració global que els comitès han fet sobre la qualitat dels autoinformes i la resta d'evidències associades a les visites d'acreditació és, en general, força positiva, sobretot si tenim en compte que han estat els primers autoinformes d'aquest procés, engegat el 2014. La gran majoria d'estàndards i subestàndards dels nou autoinformes presentats han comptat amb les evidències suficients per dur a terme una avaluació amb garanties, i en cap cas la manca d'evidències no ha comportat que s'hagués d'endarrerir o posposar el procés de la visita.

L'experiència d'aquests primers mesos ha de servir, en tot cas, per identificar i incorporar les millores necessàries per fer el procés d'acreditació més eficaç i eficient, en benefici de tots els agents que hi estan implicats. 

ENQA EQAR ISO

Generalitat de Catalunya

C. dels Vergós, 36-42. 08017 Barcelona. Tel.: +34 93 268 89 50

© 2014 AQU Catalunya – Dipòsit legal B-5.686-2008