elButlletí

Publicació bimestral d'AQU Catalunya

74

Setembre 2014

Article publicat a l'Occasional Papers 21 d'ENQA "Transparency of European higher education through public quality assurance reports (EQArep)"

Preguntes sobre la garantia de la qualitat en els informes

Algunes de les preguntes més freqüents i fiables sobre l'assegurament de la qualitat també es poden aplicar, sense cap mena de dubte, a la qualitat dels informes d'una agència:

• Quina finalitat té l'informe? (objectius, destinataris)
• Per què el redactem d'aquesta manera? (mètode i format)
• És la millor manera? (avaluació del mètode)
• Com sabem que funciona? (assoliment dels objectius, impacte dels informes)
• Com es podria millorar? (revisió, avaluació, planificació)

Un informe és un missatge

Segons la teoria estàndard de la comunicació, un informe és, ras i curt, un altre tipus de missatge. La seva comunicació efectiva depèn de tres elements: l'emissor (l'equip d'experts, l'agència), el mitjà (el format, el mitjà de publicació) i el receptor (la universitat i altres parts implicades, com ara estudiants o empreses ).

D'altra banda, els missatges es regeixen per la norma que estableix que la finalitat, el contingut i els lectors o el públic destinatari són tres factors interrelacionats que s'influeixen entre si. Qualsevol informe ha de prendre en consideració els seus principals objectius, els lectors potencials i la millor manera d'adreçar-s'hi.

La teoria de la comunicació maneja els termes codificació i descodificació en relació amb als missatges. En el nostre cas, codificació implica:

• Conèixer la finalitat de l'informe.
• Tenir clar sobre què cal escriure.
• Saber com es redactarà i quines fases se seguiran a l'hora d'elaborar-lo.
• Saber qui l'ha de llegir o qui l'hauria de llegir.
• Saber com i quan es llegirà.

I descodificació:

• Que l'informe es rebi i es llegeixi seguint un procés dirigit.
• Que el lector entengui el procés i les convencions de l'informe.
• Que el lector sàpiga què s'espera de l'informe pel que fa a les accions que cal emprendre o la informació que s'ha d'utilitzar.

A qui va adreçat?

En conseqüència, una agència ha d'actuar amb claredat a l'hora de decidir quins han de ser els objectius i els lectors i usuaris potencials dels seus informes. Però no és fàcil. Seria raonablement senzill si els informes només es redactessin per a ús exclusiu de les institucions d'educació superior. Però hi ha altres parts interessades: govern, estudiants i empreses , que també poden ser-ne destinataris potencials. Un informe d'avaluació hauria de tenir en compte tots aquestes qüestions, però és possible aconseguir-ho amb un únic informe quan hi ha tantes expectatives i necessitats en joc? Un dels principals qüestions que han de resoldre els nostres informes és com satisfer les necessitats de totes les parts interessades.

Possibles respostes a aquest problema tan complex:

• Informes independents per a cada part interessada.
• Un apartat de resum, amb conclusions clares, separat del cos principal i més detallat de l'informe.
• Diferents parts per a diferents lectors.
• Un resum breu al lloc web i un informe més extens per a la institució.
• Un format de checklist per als principals criteris, amb un quadre de comentaris reservat als detalls, si escau.

L'informe és el resultat

Cal tenir present que l'informe d'una agència és el resultat o la conseqüència final de tot un procés. El caràcter i la qualitat de l'informe dependran, doncs, de la qualitat de molts altres aspectes concomitants:

• Gestió, política i mètode de l'agència.
• Direcció de l'agència i equip d'avaluació.
• Documentació i informació subministrada, accés a la informació institucional.
• Visita i ratificació.
• Redacció de l'esborrany.
• Fase de correcció de l'informe.
• Redacció final i aprovació de l'informe.

És fàcil oblidar que el principal objectiu de totes les fases que formen part del procés de revisió és la redacció final de l'informe, que és alhora el producte final i l'epicentre de tot el procés. Supervisar l'equip o reunir-se amb altres avaluadors sol ser molt profitós i val realment la pena. I la visita in situ pot ser interessant i apassionant. La preparació de l'informe, en canvi, és una activitat solitària, de despatx, que pot ser exigent i fins i tot avorrida, cosa que es pot perdre de vista amb facilitat en els primers estadis del procés.

Per tant, a cada fase cal que tinguem sempre present l'informe: prenent notes, redactant esborranys, confrontant l'avaluació amb els fets, treballant per establir valoracions. Un bon informe és el resultat d'un procés planificat que condueix a la redacció definitiva.

A qui correspon l'autoria de l'informe?

Des del principi cal deixar molt clar a qui correspon l'"autoria" de l'informe, és a dir, qui pren la decisió final sobre què s'hi inclou i què no, i com s'estableixen els criteris per a les valoracions. De vegades, l'"autoria" és compartida i aleshores cal definir acuradament cada responsabilitat. A qui correspon l'autoria d'un informe?

• Al comitè d'experts?
• Al membre del comitè que redacta l'informe?
• Al tècnic de l'agència que el revisa?
• Al comitè de l'agència que l'aprova?
• A l'agència com a entitat legal?
• A la institució?

I sobretot, qui o quina institució té el dret de modificar l'informe i/o les seves valoracions?

Diferents participants en el procés poden reclamar l'autoria de diferents parts de l'informe? Per exemple, es podria argumentar que l'autoria de les valoracions d'un informe correspon als avaluadors experts, però que en el cas de la forma i el contingut correspon a l'agència, que té la responsabilitat última sobre la qualitat de la publicació.

Simplifica, ******!

Es podria argumentar que els informes complexos i opacs, de lectura difícil, tenen una finalitat: circumscriure la comprensió i la recepció de l'informe a un tipus de lector concret, que entengui les convencions i els codis amb què està redactat. Tanmateix, si l'objectiu és arribar a un públic al més divers i ampli possible, aleshores, com més senzill sigui l'informe, millor.

Però que sigui senzill no vol dir que calgui rebaixar la importància o la complexitat del contingut, sinó garantir que es transmet amb una estructura clara i amb un llenguatge fàcil de seguir i d'entendre. Alguns dels trets que hauria tenir, o no, un informe d'aquest tipus són els següents:

Trets desitjables:

• Llargada: com més breu millor.
• Una estructura amb indicacions i encapçalaments clars.
• Estil: simple, precís, clar, concís.
• Paràgrafs ben estructurats: inici, desenvolupament, final.
• Frases: simples i clares (que no superin mai les dues línies de text!)
• To: neutre, mesurat, objectiu.
• Contingut: descripció mínima però anàlisi i avaluació màximes (costa d'entendre la utilitat d'una gran quantitat de descripcions sobre els procediments institucionals: la institució ja els coneix i la resta de lectors, de fet, segurament tampoc té gaire interès a conèixer-los, tret que siguin efectius).
• Arguments basats clarament en proves fefaents.
• Recordatoris freqüents sobre la importància dels temes, el calendari i el marc d'avaluació.
• Resums de cada apartat.
• Explicació clara sobre les bases que sustenten les valoracions i les recomanacions.

Trets que cal evitar:

• Excessives referències al procés (l'equip d'experts, la visita d'avaluació, etc.).
• Frases massa complexes.
• Tecnicismes i clixés (sobretot el llenguatge tècnic que utilitzen els experts d'assegurament de la qualitat).
• Termes emotius o massa crítics.
• Paraules difícils d'entendre.
• Ambigüitat.
• Detalls innecessaris.
• Especulacions sobre el futur de la institució.
• Comentaris subjectius basats en l'experiència personal dels experts.

La política lingüística

La llengua pròpia dels països petits no té el mateix abast pel que fa a impacte ni permet fer comparacions internacionals (sinó que queda circumscrita a l'àmbit de la seva pròpia cultura), però reflecteix de manera més exacta l'autoria i el context de l'informe.

La traducció a la llengua franca (l'anglès) comporta el risc de traducció errònia, confusió i mala interpretació. Hi ha moltes varietats d'anglès: i en el camp dels informes d'assegurament de la qualitat està sorgint l'"euroglish"!. De fet, no som conscients de com n'és de diversa la nostra comprensió de termes clau en anglès (els conceptes accreditation, expert, validation, assessment o standards tenen diferents significats en diferents contextos). No sempre es pot estar segur de què signifiquen en anglès per al lector!

Programació de tasques

És essencial establir un calendari per al procés d'elaboració i el lliurament d'un informe. A més, hauria d'incloure indicacions clares sobre el que s'espera de cada col·laborador i sobre els passos que caldrà repetir durant la fase de correcció.

Els terminis són una tortura i a vegades una agonia per als qui redacten informes. És important fixar uns terminis realistes i després afegir-hi encara uns dies més, per garantir més flexibilitat a l'hora de solucionar els problemes que sens dubte es presentaran.

Transparència... ara ho veig clar

En general, la transparència es considera una de les principals virtuts i finalitats d'un bon informe. Però, a més d'un ajut, també pot ser un desavantatge: quina és exactament la finalitat de la claredat? El principal objectiu de l'informe és regular, controlar i comparar? O bé millorar, potenciar i desenvolupar? Si la nostra intenció és ajudar una institució a millorar, és bona idea fer públiques dades que puguin perjudicar-ne la reputació? O bé publicar amb pèls i senyals tot el que no funciona perquè el públic general ho pugui llegir?
I l'alternativa? És acceptable? És a dir, cal ajustar la política de publicacions d'una agència en funció del missatge que conté l'informe? Hi ha un conflicte entre transparència i millora?

A la corda fluixa: les tensions entre l'avaluació d'experts i l'organisme regulador

A la majoria d'agències, el mètode per redactar informes inclou la col·laboració d'un equip d'experts: o bé redacten ells mateixos els primers esborranys de l'informe o bé les seves idees i opinions es recullen i s'incorporen a l'informe que redacta un tècnic de l'agència. Aquest mètode segueix el principi de l'avaluació d'experts. En la seva forma més pura, aquest plantejament basat en l'opinió informada dels experts implica que l'autoria de l'avaluació correspon a aquests mateixos experts, que també redacten l'informe. En aquest mètode, es pot fins i tot permetre que els experts que així ho desitgin presentin una declaració que discrepi de l'opinió majoritària. En general, però, les agències volen tenir un nivell més alt de control sobre l'informe i, per tant, exigeixen als experts que arribin a un consens sobre les seves valoracions i poden imposar un marc comú per a tots els informes.

Cal considerar l'espectre potencial de possibilitats pel que fa al format de l'informe. En un extrem, hi tenim l'avaluació d'experts pura, comparable a una narració personal sobre les impressions dels membres de l'equip; a l'altre extrem de l'espectre se situaria una mena de qüestionari molt controlat, predefinit per l'agència, en el qual els experts han d'encabir les seves idees i decisions. Un aspecte important en tots els processos de redacció consisteix a decidir on situar el format de l'informe entre aquests dos extrems. Els senyals de control de l'agència són visibles en el grau d'estructura que es dóna a l'informe: estàndards i criteris específics; encapçalaments; formalització de qüestionaris; recompte de paraules; taules; formes predefinides per establir criteris i valoracions. En aquest cas, es produeixen tensions, perquè com més control exerceixi l'agència, més sensació tindran els experts que les seves idees i la manera d'expressar-les no s'han pres seriosament. També cal posar en dubte si marcar una simple casella pot reflectir acuradament la complexitat dels sistemes i els diferents plantejaments institucionals. Per tant, es tracta d'arribar a un equilibri entre la llibertat d'expressió (un valor molt preuat en el context acadèmic), el grau de control burocràtic i els nivells de coherència i comparabilitat entre informes que exigeix l'agència. En tot cas, també cal tenir en compte que com més control tingui l'agència, més formació i instrucció els caldrà als experts per garantir que entenen què s'espera d'ells a l'hora de redactar l'informe.

Demostra-m'ho amb proves...

Seguim el principi d'"avaluació basada en proves", però què entenem exactament per proves i com les utilitzem?
Només podem fer servir les dades que ens ha subministrat la institució?
L'equip té dret a demanar altres tipus de proves?
Podem sol·licitar a les institucions proves que demostrin o confirmin l'existència de males pràctiques?
Com garantim que les proves quedin enregistrades i es conservin? (Fotocopiant-les durant la visita? Accedint a webs interns?)
Qui es fa càrrec de les proves i en garanteix la custòdia? Es pot confiar aquesta tasca als experts a títol individual?
Les proves s'han de publicar juntament amb l'informe (cosa que probablement els allargaria excessivament) o s'han de guardar a part? Potser es poden incloure en primeres versions no publicades de l'informe en forma de comentaris, notes a peu de pàgina o parèntesis.
Cal dir que, en general, les institucions només demanen accés a les proves quan se'ls fa una crítica, no quan la valoració és positiva: en aquest cas, només cal conservar les proves relacionades amb aspectes crítics o temes problemàtics?

Qui llegeix l'informe, qui el necessita?

No sembla agosarat afirmar que segurament molt poca gent es llegirà un informe institucional sobre assegurament de la qualitat de dalt a baix. Tret, per descomptat, del tècnic de l'agència responsable de l'informe, que probablement el deu haver llegit unes quantes vegades de cap a cap!

Quines proves té una agència que els seus informes els acaba llegint algú? I sobre el seu impacte real? Caldria reflexionar acuradament sobre els lectors potencials d'un informe. Si realment es tracta d'un petit nombre de lectors (més de deu, menys de cinquanta?, o fins i tot menys?), aleshores cal pensar també en el factor econòmic: les despeses o els esforços que s'han esmerçat per redactar-lo en comparació amb el patró real de recepció i ús. Cal tenir en compte, també, que les recerques que s'han dut a terme han demostrat que a l'hora de llegir informes com els nostres, en general, l'atenció del lector disminueix a cada pàgina...

Probablement hi haurà més gent que en llegirà el resum o la versió breu publicada al web. Es podria considerar la possibilitat de publicar un informe relativament curt i, alhora i de forma independent, redactar-ne un altre de més detallat per a la institució sense necessitat de publicar-lo?

En general, l'impacte d'un informe es tradueix en informes de seguiment i plans d'acció. Aleshores, cal preguntar-se si potser l'únic que necessiten els nostres lectors són resums, valoracions, recomanacions i plans d'acció.

Podem millorar l'accessibilitat dels nostres informes mitjançant l'ús de més signes visuals en la composició (gràfics, taules, subratllats, fins i tot fotos)?

Finalment, cal recordar que també els nostres lectors poden necessitar consells i fins i tot formació a l'hora de llegir i utilitzar els informes d'una manera més productiva. En aquest sentit, són molt útils els documents de guia sobre els procediments i les principals característiques i finalitats dels informes.

Última paraula (sempre és bo arribar-hi!)

L'informe perfecte és més una ambició que no pas una realitat. Així doncs, el millor que es pugui fer en el temps disponible haurà d'estar a l'alçada!