Publicació trimestral d'AQU Catalunya

77

Abril 2015

L'acreditació de títols universitaris oficials és un procés important des d'una lectura administrativa, institucional, educativa, social o individual. Tanca, almenys de manera temporal, un cicle de renovació dels plans d'estudis universitaris iniciat el 2007 amb el Reial decret 1393/2007. Sent com és un acte administratiu —manté o deixa fora del RUCT un títol universitari—, té a més conseqüències per a les universitats i els seus centres, en termes del que s'ensenya i com s'ensenya en un pla d'estudis i, per tant, té conseqüències per a la societat que promou i sosté tot el procés.

Sigui quin sigui el resultat, l'acreditació representa un procés d'aprenentatge per als centres o les universitats i per als mateixos avaluadors. És un procés d'aprenentatge atès que l'avaluació facilita la revisió de les actuacions d'una institució, dutes a terme en relació amb uns títols, i les confronta amb uns criteris de qualitat i amb els punts de vista d'uns professors, estudiants, professionals i tècnics que hi són aliens. L'avaluació per a la reacreditació és un procés d'aprenentatge en la mesura en què revisa el passat, però mirant cap al futur.

L'acreditació de títols universitaris oficials és també un procés col·lectiu. Hi intervenen diversos agents institucionals —les universitats, AQU Catalunya i les administracions— i una miríada de persones que aporten la seva visió sobre el centre i els títols objecte d'avaluació. Entre aquestes persones estem els membres dels comitès d'avaluació externa, que fem la visita als centres i elaborem un informe d'avaluació externa. El que segueix és precisament una reflexió sobre el procés de reacreditació dels títols de màster de les universitats catalanes, fet per un membre d'aquests comitès que hi ha exercit el rol de president.

Una anàlisi del com del procés d'acreditació em porta a considerar el procés d'avaluació externa —i també la mateixa acreditació— com un procés iteratiu, d'aproximació successiva. Si partim del supòsit que "tot el que es mesura es mesura amb error", aleshores l'objectiu del procés d'acreditació fóra "minimitzar aquest error", tot donant consistència i credibilitat a les actuacions dels avaluadors i, en conseqüència, als resultats que se'n desprenen. Aquesta naturalesa iterativa del procés d'acreditació tal com ha estat dissenyat per AQU Catalunya suposa, en essència, un ajust progressiu entre dues instàncies: el centre o la universitat i AQU Catalunya, en nom de la qual actuem els avaluadors.

En una primera iteració, el centre elabora un autoinforme dels títols objecte d'avaluació i aporta unes evidències que són analitzades per un comitè d'avaluació externa competent. Aquest comitè en valora l'adequació i la suficiència i elabora un informe d'anàlisi preliminar, juntament amb un document que s'envia al centre perquè aporti, si escau, les evidències o les informacions complementàries demanades. En una segona iteració, es pot dur a terme una visita prèvia en què el president i el secretari d'aquest comitè d'avaluació externa entren en contacte directe amb el centre i es realitza un primer examen de punts forts i àrees de millora observats. En tot cas, tingui lloc aquesta visita prèvia o no, es duu a terme una visita per comprovar in situ la implantació de les titulacions al centre. En aquesta visita es produeix un intercanvi d'apreciacions i un ajust entre les visions dels qui han participat directament en un títol i les dels qui hi són aliens.

L'informe previ d'avaluació externa, elaborat després de la visita, és sotmès a la consideració de la institució que, segons el seu criteri, dóna lloc a un nou ajust en forma d'al·legacions, que recullen observacions, comentaris o desacords amb allò llegit. El comitè d'avaluació externa pren en consideració, en més o menys mesura, aquestes al·legacions i elabora un informe definitiu d'avaluació externa. Aquest informe passa a una comissió d'acreditació, que dóna peu a una nova iteració en elaborar l'informe previ d'acreditació, que torna a sotmetre a la consideració de la institució. Tot això sense esmentar els ajustos interns que es produeixen entre AQU Catalunya i els avaluadors externs o entre comissions.

La visió que tinc del procés d'acreditació es pot qualificar amb l'adjectiu garantista. Efectivament, es tracta d'un procés garantista perquè està subjecte a terminis, participació de tots els agents d'interès, publicitat, decisions basades en evidències documentals, dobles vies (AQU Catalunya - centre; avaluadors - AQU Catalunya), revisions i al·legacions. Com a conseqüència, el procés, des que s'elabora l'autoinforme fins que s'emet l'informe d'acreditació, es fa llarg; per al nostre consol, processos similars duts a terme en altres països per agències nacionals o supranacionals tenen un tempo similar. Aconseguir reduir els temps parcials i total sense soscavar les garanties del procés és ara per ara un repte important per a tothom.

Participar en un procés tan garantista com l'exposat comporta per als avaluadors reptes importants. El primer és segurament el de la discriminació dels diferents nivells de qualitat. Discriminar suposa garbellar el gra fi i determinar quin és el grau en què un títol aconsegueix l'estàndard; en altres paraules, la diferència entre "s'assoleix amb qualitat", "s'assoleix" i "s'assoleix amb condicions". Trobar la diferència entre aquests graus exigeix entrar en els detalls i examinar amb atenció totes les evidències. Aconseguir un bon nivell de discriminació és important perquè l'anàlisi i les recomanacions que es retornen a les institucions resultin vàlides, és a dir, útils amb vista a la millora, de manera que no facin l'efecte a qui les llegeix que representen afirmacions a les quals es podria haver arribat sense tantes complicacions processuals.

Un segon repte per als avaluadors és el de la coherència en la valoració dels títols. En primer lloc, és necessària una coherència global, que exigeix l'aplicació unitària dels criteris d'avaluació a totes i cadascuna de les dimensions dels títols analitzats. En segon lloc, cal una coherència lineal, que demana l'articulació vertical dels criteris, de manera que, per exemple, allò que s'afirma en relació amb el professorat no contradigui allò que es recull en valorar els resultats d'aprenentatge. En tercer lloc, cal una cohesió en la lògica argumentativa exposada en el text dels informes, i també que de la lectura dels informes es desprengui una imatge clara sobre el punt de vista dels avaluadors, favorable a l'acreditació o no.

Però potser el repte més important per als avaluadors sigui el de la credibilitat que mereixen les nostres valoracions per a les universitats catalanes. Dit d'una altra manera, fins a quin punt les institucions se senten raonablement reconegudes davant del mirall que els presentem als informes d'avaluació externa o d'acreditació. Aconseguir credibilitat és important en la mesura en què —quan no es concedeix— pot posar en qüestió la valoració dels títols recollida als informes d'avaluació i les recomanacions que es fan. A més de les derivades de la mateixa decisió d'acreditació, la utilitat dels informes d'avaluació per a les institucions es pot apreciar en termes de la capacitat d'aquests informes per proposar qüestions i recomanacions que condueixin a la millora contínua dels títols. La preocupació dels avaluadors és comprensible si entenem que, en definitiva, una avaluació és vàlida en la mesura en què ho són les conseqüències que se'n deriven.

En la redacció de l'informe rau, finalment, un altre dels reptes que afrontem els avaluadors. La seva traducció més evident exigeix presentar les nostres valoracions de manera que resultin comprensibles per a les institucions i tracin una lògica argumentativa que doni solidesa a aquestes valoracions quan es llegeixin els informes d'avaluació.

Amb vista a afrontar els reptes que els avaluadors tenim al davant, algunes actuacions de les institucions, si es duguessin a terme, podrien contribuir a millorar les nostres valoracions i, per tant, el procés d'acreditació a què estan referides. Atès que la consistència de les nostres apreciacions descansa en bona mesura en la qualitat de les evidències que examinem, aleshores es podria dir que un bon procés de seguiment i revisió interna dels títols és la millor garantia de la qualitat de l'avaluació. Per a això, els informes d'autoavaluació haurien d'oferir no tan sols descripcions de fets, dades de satisfacció o indicadors, sinó interpretacions basades en aquests factors. Aquestes interpretacions ens permetrien als avaluadors conèixer quin és el punt de vista dels qui estan més directament implicats en el títol sobre l'evolució d'una dada, sobre la relació entre un fet i els seus antecedents, sobre una mesura adoptada i les seves conseqüències, etc. Algunes vegades, el punt de vista de la institució únicament el coneixem en la fase d'al·legacions, en què els comentaris i les interpretacions que es presenten són de vegades molt més explícits i clars que els mateixos informes d'autoavaluació.

Com dèiem al principi, el procés d'acreditació és també un procés d'aprenentatge per als avaluadors. Així, els avaluadors hem d'augmentar el rigor de les nostres apreciacions i millorar les nostres argumentacions, de manera que puguin orientar els responsables acadèmics sobre quin és el pas següent que es podria fer en relació amb el disseny del títol i/o la seva implantació. En aquest punt, és possible establir una sinergia positiva entre el nostre aprenentatge com a avaluadors i l'aprenentatge de les institucions.