Publicació trimestral d'AQU Catalunya

83

Octubre 2016

El projecte IMPALA, que es llança l'any 2013, ha conclòs aquest mes de setembre de 2016 amb l'organització de diferents jornades de difusió als països participants. AQU Catalunya va emmarcar la difusió del projecte en una jornada titulada "L'avaluació externa de la qualitat: per a què serveix?".

És l'hora, per tant, de fer-ne balanç.

Per què cal avaluar l'impacte de l'avaluació externa?

L'avaluació externa neix a la Unió Europea com un mecanisme per estimular la confiança sobre la qualitat de les diferents institucions d'educació superior i, d'aquesta manera, millorar la mobilitat tant d'estudiants i professorat com de professionals (AQU Catalunya, 2003). Així, a la Declaració de Berlín es diu que les agències d'assegurament de la qualitat estan al cor de l'Espai europeu d'educació superior.

Gairebé vint-i-cinc anys després del llançament del projecte experimental d'avaluació institucional (1993), cal preguntar-nos pel rendiment d'uns processos que han passat d'un marc en què eren activitats esporàdiques a un marc "de febril activitat avaluativa, que ha suposat la creació de múltiples estructures orgàniques en diferents països" (Rodríguez, 2013, 21).

El projecte IMPALA se circumscriu en el corrent de polítiques basades en evidències, que pretenen no tan sols retre comptes de l'assoliment dels beneficis que les impulsen, sinó també contribuir a explicar quines són les claus dels èxits –o fracassos– de les polítiques, en el nostre cas de les polítiques d'avaluació de la qualitat. Així doncs, el que es pretén no és res més que preguntar-se què canvia quan es duu a terme una avaluació externa.

Objectius

En primer lloc, el projecte IMPALA té per objectiu establir una metodologia comú i flexible per a l'avaluació de l'impacte dels processos d'avaluació externa de la qualitat (AEQ). En segon lloc, l'avaluació de l'impacte ens ha de permetre conèixer el funcionament de l'AEQ. I, finalment, aquest coneixement ha de contribuir a l'establiment de noves polítiques de qualitat basades en evidències.

Metodologia

El projecte té un disseny metodològic "abans-després", és a dir, es comparen les dades obtingudes abans del procés d'avaluació externa amb les obtingudes sis mesos després. L'objectiu d'aquest disseny és fer servir les dades prèvies a l'avaluació com a aproximació a la situació contrafactual, és a dir, l'abans ens dibuixa com estaria la situació sense avaluació externa, i així ens permet "inferir" que els possibles canvis són conseqüència, efectivament, de l'avaluació externa.

El marc teòric inclou les teories de mecanismes causals de canvi social, de manera que s'intenta explicar quins elements d'avaluació interna i externa poden estar darrere dels canvis (Leiber et al ., 2015).

Socis

El projecte s'ha desenvolupat en quatre països de la Unió Europea: Alemanya, Espanya, Finlàndia i Romania. Cadascun d'aquests països ha aportat, com a participant, una agència d'assegurament de la qualitat i una universitat.

El projecte IMPALA s'inicia amb el disseny del qüestionari d'avaluació de l'impacte, fase que culmina amb la conferència "Anàlisi de l'impacte de la garantia externa de la qualitat a les institucions d'educació superior: metodologia i rellevància per a les polítiques d'educació superior", a Mannheim, el 19 i 20 de maig de 2014.

 
Quadre 1. Fases del projecte IMPALA

Seguidament s'implanta la metodologia amb tres enquestes: una abans de l'avaluació externa (baseline), una altra durant la visita externa (midline) i una darrera sis mesos després de l'avaluació externa (endline).

Els resultats d'aquestes enquestes per als quatre països es presenten a la Conferència internacional final, a Barcelona, el 16 i 17 de juny de 2016.

Resultats del projecte IMPALA

Als quatre països participants s'han trobat tant elements que han canviat com elements que no ho han fet. Més enllà dels resultats particulars, que es poden consultar al web del projecte, aquí es vol presentar un resum de les principals implicacions del projecte per a la metodologia que fem servir al nostre país.

Per avaluar el canvi en metodologies formatives, cal avaluar l'impacte d'altres processos avaluatius

Els resultats a Catalunya mostren que el procés d'acreditació de les titulacions no implica canvis en la metodologia docent (per exemple, una disminució de les classes magistrals).

L'explicació de la manca de canvis cal entendre-la en el paper que té (i en el que no té) l'acreditació dins del Marc VSMA. Així, la metodologia es dissenya en el procés de verificació, i el seu funcionament (resultats, satisfacció, etc.) s'analitza periòdicament en el seguiment dels títols, en funció del qual es proposen les modificacions consegüents. L'acreditació no és el procés avaluatiu per fer canvis als programes; de fet, no pot conviure temporalment amb un procés de modificació. És més, les modificacions durant el procés d'acreditació semblen incongruents amb un bon funcionament del programa formatiu (si tot va bé, per què ho canvies?). En aquest sentit, l'acreditació no és bon instrument per valorar canvis.

D'altra banda, l'impacte de l'acreditació és molt elevat, per tal com la conseqüència legal és la llicència per continuar impartint, o no, la titulació objecte d'avaluació.

L'acreditació serveix per incrementar la consciència dels diferents instruments que s'utilitzen per seguir i millorar els programes formatius

Els resultats mostren que els estudiants descobreixen que les enquestes es fan servir per al seguiment dels títols. El professorat, per la seva banda, si bé ja coneixia l'ús d'aquest instrument, no era tan conscient de l'ús dels indicadors i dels informes escrits com a mecanismes de seguiment i monitorització de la qualitat dels programes.

Com més implicació en el procés d'avaluació interna, millor és l'actitud sobre els processos d'avaluació

Els canvis en l'actitud del professorat envers l'AEQ es produeixen durant el procés d'elaboració de l'autoinforme, i són més accentuats entre aquells que han participat en la Comissió d'Estudis. Aquests resultats són congruents amb els resultats d'una altra recerca duta a terme en universitats del sistema universitari català: la participació del professorat en processos d'assegurament de la qualitat dilueix l'escepticisme inicial sobre l'AEQ (Trullen, Rodríguez, 2013).

Perspectives de futur (o impacte de l'impacte)

Quines implicacions tenen aquests resultats i aquest projecte en el futur de les activitats d'AQU Catalunya?

L'Agència, des dels seus inicis, ha entès la importància de retre comptes de les seves activitats. Així, l'any 2003, ja va organitzar el seminari "Taking our own medicine: How to evaluate quality assurance agencies". Per millorar la nostra eficàcia, hem de poder no tan sols mesurar-la, sinó conèixer què és allò que funciona i allò que no. Els estudis d'impacte ens permeten aprofundir en el nostre coneixement i, per tant, dissenyar processos més eficients.

L'avaluació de l'impacte suposa un canvi metodològic considerable si es compara amb les avaluacions que hem dut a terme fins ara del funcionament dels nostres processos avaluatius. Fins ara, les nostres avaluacions, com les de gairebé totes les agències europees, han estat orientades a millorar els processos i s'han dut a terme un cop finalitzat el procés d'avaluació externa (Kajaste et al., 2015).

La participació en aquest projecte ens ha fet adonar de l'interès d'introduir la perspectiva d'avaluació orientada als resultats, i també de la viabilitat, pel que fa a costos, d'introduir un disseny "abans-després". Avaluar l'impacte requereix, però, un disseny dels processos d'avaluació que estableixi de manera clara quins són els propòsits o objectius dels quals s'ha de valorar l'impacte. És a dir, participar en aquest projecte ens ha permès reflexionar no tan sols sobre com avaluar allò que fem, sinó sobre com dissenyem els processos avaluatius.

Referències

AQU CATALUNYA (2003). Marc general per a la integració europea. Barcelona: AQU Catalunya. <http://www.aqu.cat/doc/doc_20197380_1.pdf>.

IMPALA (2013-2016). Web del projecte: <http://www.impala-qa.eu/impala/>.

KAJASTE, M.; PRADES, A.; SCHEUTHLE, H. (2015). "Impact evaluation from quality assurance agencies' perspectives?: methodological approaches, experiences and expectations". A: Quality in Higher Education, 21(3), pàg. 270–287.

RODRÍGUEZ, S. (2013). Panorama internacional de la evaluación de la calidad en la educación superior. Madrid: Síntesis.

TRULLEN, J.; RODRÍGUEZ, S. (2013). "Faculty perceptions of instrumental and improvement reasons behind quality assessment in higher education: the roles of participation and identification". A: Studies in Higher Education, 39(5), pàg. 678-692.