Publicació bimestral d'AQU Catalunya

51

Novembre 2010

Introducció

Actualment, les universitats europees han d'implantar reformes que els permetin convertir-se en centres de gestió del coneixement i, a més, esdevenir els principals organismes facilitadors perquè aquest coneixement es tradueixi en una major mobilitat i inserció laboral dels seus graduats.

Una de les bases de la reforma que duen a terme les universitats és l'establiment d'un sistema de garantia interna de la qualitat (SGIQ) que faciliti el control dels processos i alhora la millora continuada. Així, el SGIQ ha de ser prou rigorós per retre compte del funcionament dels processos i del compliment dels objectius marcats, i suficientment flexible per adaptar-se a l'entorn competitiu, globalitzat i en canvi constant en el qual estan immerses totes les universitats. A més, el SGIQ ha de donar resposta als estàndards europeus.

Tenint en compte tot això, AQU Catalunya ha dissenyat i posat en marxa diversos programes que tenen com a principal objectiu servir de guiatge i assessorament a les universitats perquè es puguin adaptar a aquests canvis. Des de l'any 2007 es porten a terme avaluacions ex ante del disseny de SGIQ en el marc del Programa AUDIT. Aquestes avaluacions tenen el valor afegit d'aportar a la universitat la revisió del disseny SGIQ per part d'una comissió d'experts que segueix un protocol basat en els estàndards europeus, la qual cosa permet obtenir recomanacions d'utilitat per a la millora del sistema i la seva implantació posterior.

Fruit d'aquesta experiència, l'any 2009 es va posar en marxa el Programa Suport, que té com a principal objectiu que els membres de les unitats tècniques de qualitat i totes aquelles persones involucrades en temes de qualitat puguin conèixer de primera mà com les universitats de l'àrea europea resolen aquelles qüestions que més els preocupen. Amb aquesta finalitat, AQU Catalunya va fer una cerca de les universitats europees que millor donaven resposta a aquestes inquietuds.

Descripció del projecte

Els sistemes interns de qualitat de les institucions universitàries presenten dues dimensions: una dimensió interna, en la qual el SGIQ ha de tenir en compte les característiques i l'organització de la institució i amb la informació generada ha de poder fer un seguiment eficient i eficaç dels programes formatius de la universitat; i una dimensió externa, que requereix un SGIQ com més flexible millor i adaptat als canvis socials i econòmics continus, com també a les necessitats que ha generat la globalització.

Així, una qüestió estratègica consisteix a establir canals de comunicació entre les diferents institucions universitàries per tal que les bones pràctiques flueixin amb rapidesa i facilitat. Les diferents maneres d'afrontar una situació, que poden ser compartides per moltes institucions, solen ser una font d'inspiració i innovació per a les altres. Per tant, és molt important conèixer les bones pràctiques que, amb una adaptació prèvia a les característiques de cada universitat i del seu entorn, permetin afrontar amb certa garantia d'èxit situacions que ara poden ser motiu de preocupació per als responsables de les unitats de qualitat.

Seguint aquestes premisses, AQU Catalunya, en el marc del Programa Suport, va iniciar un estudi de les universitats europees que havien adoptat models de gestió de la qualitat que podien considerar-se de referència. Per elaborar aquest estudi es va demanar l'assessorament a diferents agències de qualitat europees:

• Quality Assurance Agency for Higher Education, QAA (Agència d'Assegurament de la Qualitat per a l'Educació Superior)
• Danish Evaluation Institute, EVA (Institut Danès d'Avaluació)
• Norwegian Agency for Quality Assurance in Education, NOKUT (Agència Noruega per al Control de Qualitat en l'Educació)
• Swedish National Agency for Higher Education, HSV (Agència Nacional Sueca d'Educació Superior)
• Accreditation Organisation of the Netherlands and Flanders, NVAO (Organisme d'Acreditació dels Països Baixos i Flandes)
• Finnish Higher Education Evaluation Council, FINHEEC (Consell Finlandès d'Avaluació de l'Educació Superior)
• Evaluationsagentur Baden-Württemberg, EVALAG (Agència d'Avaluació de Baden-Württemberg)

Per abordar la cerca de les universitats de referència es va preguntar a les universitats catalanes quines eren les qüestions que més els interessaven, que es poden agrupar en diversos blocs:

• Conèixer la participació dels grups d'interès: formació de qualitat especifica de grups d'interès, assessorament i participació en processos de gestió de la qualitat.
• Saber com s'organitzen les unitats encarregades de la gestió de la qualitat i les funcions que tenen assignades.
• Esbrinar com es porten a terme els processos d'avaluació de les institucions i dels programes formatius.
• Conèixer l'organització i les funcionalitats dels sistemes d'informació.
• Aprofundir en els mecanismes d'avaluació dels estudiants.

Per dur a terme la primera selecció d'universitats, es van estudiar els SGIQ de les universitats recomanades a partir de la informació continguda als seus webs. A més, es van recollir dades sobre el nombre d'estudiants, el tipus d'organització (centralitzada o federal, privada o pública) i les àrees acadèmiques. Finalment, les universitats que han participat en el programa han estat les següents:

Es va trametre una presentació del Programa Suport a les universitats europees seleccionades, en la qual se'ls van explicar els principals objectius del programa, què s'esperava de la seva participació, les principals característiques de la universitat que els visitaria i les qüestions que més li interessaven. Posteriorment, cadascuna de les universitats catalanes va acordar els detalls de la visita amb la universitat d'acollida i, un cop realitzada, va elaborar un informe on es descrivien les activitats que s'havien dut a terme durant l'estada, els aspectes principals del sistema de qualitat i les bones pràctiques detectades. 

Identificació de bones pràctiques

El concepte de bona pràctica s'ha d'entendre en el marc de la realitat del sistema universitari català. Les bones pràctiques que es descriuen a continuació han estat considerades innovadores i la seva aplicació pot ser factible a curt o mitjà termini, amb les adaptacions necessàries a la normativa i a la realitat aplicable a Catalunya.

1. Avaluació i mecanismes de suport a l'ensenyament

L'avaluació del professorat és una qüestió de màxima importància perquè els estudiants pugin assolir els objectius d'aprenentatge indicats en els programes formatius de qualsevol universitat. Per tant, el sistema d'avaluació és un mecanisme que ha de permetre la millora continua de l'equip docent. Les dues pràctiques que es presenten a continuació proposen que l'avaluació la dugui a terme la mateixa plantilla de professors.

El professor que avalua i el que és avaluat concerten una reunió prèvia on decideixen la data en què tindrà lloc l'observació, el tipus de sessió, el nivell dels estudiants, els objectius docents i els resultats que s'esperen de la sessió, com també les possibles dificultats que puguin aparèixer i tota la resta de qüestions que calgui concretar. Després de l'observació, el professor que avalua ha de reunir-se amb el professor avaluat per tractar els temes que facilitin l'intercanvi d'informació entre ambdós com a resposta a les dades obtingudes per l'avaluador, i que, al final del procés, seran la base per proposar les alternatives estratègiques i tècniques que es considerin necessàries per millorar el rendiment del col·lega avaluat.

Es considera una bona pràctica perquè, d'una banda, permet l'intercanvi d'experiències i coneixements entre professors; i de l'altra, perquè no es tracta d'un sistema d'inspecció, sinó d'una oportunitat de millora.

La segona pràctica es basa en la implicació del professorat en els processos de gestió del control de la qualitat, un aspecte que es considera molt positiu, ja que l'assoliment dels objectius explícits d'una universitat depèn sobretot del paper del professorat en el procés d'aprenentatge. En aquest cas, el personal docent participa en l'avaluació per mitjà d'un qüestionari, els resultats del qual són comentats i analitzats per l'equip docent en el transcurs d'unes reunions específiques destinades a compartir experiències, que, a més, ofereixen un espai per aprendre els uns dels altres. Aquest procés promou la confiança i millora la relació entre el professorat.

2. Participació dels estudiants en els processos de gestió de qualitat i avaluació de l'alumnat

a. Participació dels estudiants en els processos de gestió de qualitat

Els estudiants són l'element central de qualsevol sistema de qualitat universitari, per la qual cosa és molt important garantir-ne la participació. La bona pràctica que es descriu a continuació es basa en la formació dels representants estudiantils, sobretot dels que participen en les comissions del programa, i pretén promoure l'adquisició de coneixements sobre l'estructura universitària, l'orientació i els objectius de cada universitat, els diferents rols dins de la institució, i com es duen a terme el control i la supervisió de la qualitat (mecanismes interns i externs). El contingut del curs es difon a través dels canals de comunicació dels estudiants. Els avantatges d'aquesta pràctica són diversos: afavoreix la integració dels estudiants en els òrgans de participació, promou la percepció del que s'espera d'ells en relació amb la gestió de la qualitat i fomenta l'intercanvi de problemes i experiències.

b. Avaluació de l'alumnat

Pel que fa a l'avaluació dels coneixements adquirits pels estudiants, s'han identificat dues pràctiques.

• La primera consisteix en l'avaluació dels coneixements transversals. En primer lloc, la universitat sistematitza els coneixements per àrees, d'acord amb tres nivells d'aprenentatge. Els estudiants han d'identificar en quina activitat han adquirit els seus coneixements i com poden demostrar-ne l'adquisició. Cal assenyalar que aquest sistema és aplicable als alumnes adults amb experiència professional prèvia, que tenen al seu abast materials docents de cursos anteriors que els ofereixen la base per saber quins d'aquests coneixements han aportat un valor afegit al seu «perfil» professional i de quina manera poden incorporar-los quan sol·liciten un lloc de treball. A més, la universitat treballa amb els estudiants per tal que puguin descriure els coneixements obtinguts d'una manera intel·ligible per als empresaris i reconèixer de quina manera la formació rebuda implica un valor afegit que els permetrà establir o millorar la seva posició en el mercat de treball.
• En la segona pràctica, l'alumnat pot accedir a una guia creada pels mateixos estudiants on es descriu el procés d'avaluació. Al final de cada un dels mòduls d'estudi, els alumnes emplenen un qüestionari de satisfacció en el qual se'ls demana que participin en l'avaluació del mòdul. El procés es basa en una sèrie de preguntes estàndard, però alhora inclou un espai en què els tutors poden incorporar tres preguntes específiques per tal d'obtenir dades qualitatives rellevants en relació amb el seu mòdul. Els tutors del mòdul analitzen aquesta informació per preparar i posar en marxa un pla d'acció. Els temes plantejats i les mesures adoptades s'introdueixen durant el procés d'avaluació anual. El tutor de cada mòdul també és responsable de garantir que els seus alumnes estiguin informats dels resultats de les anàlisis derivades de les seves aportacions. Es considera una bona pràctica perquè obliga la universitat a disposar d'un sistema d'avaluació clar i comprensible, que constitueixi un bon indicador per mesurar el progrés dels estudiants.

3. Organització de sistemes de qualitat

En aquest àmbit, les bones pràctiques es relacionen amb la participació de diferents grups d'interès en el sistema de control de qualitat.

La primera es basa en la implicació de diferents centres que han creat una xarxa de centres d'innovació de la gestió. Per formar part d'aquesta xarxa, els centres han de complir determinats criteris per justificar el seu compromís amb la gestió de la qualitat i la millora continuada, com, per exemple, haver dut a terme una autoavaluació o introduït un sistema de control de qualitat d'acord amb el model ISO un cop l'òrgan de govern s'hagi compromès explícitament a emprar-lo. Aquesta participació ha estat molt positiva, també pel que fa a les repercussions econòmiques, ja que el centre pot veure incrementat el seu pressupost com a resposta a la seva participació i als resultats obtinguts. D'altra banda, s'ha dissenyat un sistema d'informació que permet gestionar un pla estratègic, endegar procediments quotidians de gestió i mesurar altres aspectes relacionats amb les activitats diàries del centre. Aquesta eina facilita la posada en comú de coneixements entre centres, com també la comparació amb altres institucions.

A més, s'ha dedicat un esforç considerable a implicar la plantilla per mitjà d'activitats com ara la semiprofessionalització del personal que col·labora amb els equips de qualitat, l'assistència a seminaris i activitats de formació organitzades per la unitat de qualitat, i la participació en equips de millora per a períodes específics, entre d'altres.

La segona bona pràctica fa referència al fet que altres centres han establert incentius per tal d'assolir els objectius definits prèviament per la unitat o el servei. Els objectius han d'estar relacionats amb la innovació i la millora, com també amb l'increment de l'eficiència en el procés de prestació de serveis. S'anima el personal a presentar propostes per perfeccionar els serveis i els processos i a unir-se als equips de millora. Evidentment, la institució ha implementat un sistema de reconeixement amb funcions i objectius clars.

La tercera bona pràctica descrita aquí es basa en la tasca que duen a terme les comissions del programa, integrades per alumnes i professors, a més del director, el subdirector i un secretari. A banda de les comissions, també hi ha una comissió executiva formada per un professor, un estudiant i un director de programa. El paper d'aquestes comissions consisteix a presentar, cada tres anys, propostes de millora del pla d'estudis d'acord amb les expectatives de l'alumnat i el perfil de competències exigit pel mercat professional; avaluar anualment la qualitat de l'ensenyament, i fer recomanacions pel que fa a l'organització del pla d'estudis. Una perspectiva interessant d'aquesta pràctica és el fet que sistematitza una revisió triennal del contingut d'un programa a partir d'una avaluació del sector professional. D'altra banda, té en compte el punt de vista de l'alumnat, que sol tenir una visió crítica diferent de la de l'entorn acadèmic. L'estudiant té la possibilitat d'explicar el tipus d'educació que espera obtenir. Finalment, es considera una bona pràctica perquè la comissió analitza tots i cada un dels resultats del programa.

La quarta bona pràctica té relació amb l'avaluació externa de mòduls o cursos específics. L'avaluador extern ha de supervisar el programa i, cada any, ha de presentar un informe d'avaluació sobre el compliment dels estàndards. L'informe ha d'incloure les recomanacions i les bones pràctiques que poden ajudar a millorar el desenvolupament del programa d'estudis. Aquest informe és revisat pel director del programa d'estudis, que ha de donar resposta a les principals qüestions plantejades i identificar les mesures de millora que cal implementar. Es considera una bona pràctica perquè els avaluadors externs assumeixen una obligació contractual amb la universitat, fet que comporta una major implicació per part seva en les avaluacions.

La cinquena bona pràctica està relacionada amb les diferents fases de l'avaluació del programa d'estudis. La universitat estableix tres moments d'avaluació diferents: revisió de la posada en marxa, revisió anual, revisió cada sis anys.

• El principal objectiu de la revisió de la posada en marxa és garantir que tot el que està relacionat amb el programa d'estudis s'adeqüi als objectius que cal assolir. Sovint, les accions de millora estan adreçades a redefinir els objectius del programa d'estudis i les expectatives dels estudiants.
• La revisió anual és una avaluació interna que té com a objectiu principal analitzar si els resultats assolits estan d'acord amb els objectius del programa d'estudis. Consegüentment, l'equip responsable del programa ha de dissenyar les accions de millora.
• La revisió de cada sis anys és un estudi exhaustiu de tot el programa, en el transcurs del qual s'avaluen qüestions com ara l'experiència d'aprenentatge, els resultats acadèmics, el disseny curricular, els recursos d'aprenentatge, el sistema d'assegurament de la qualitat. L'informe final té dues parts: bones pràctiques i àmbits de millora.

4. Sistemes d'informació

Una de les principals preocupacions en aquest àmbit és com gestionar eficientment tota la informació que genera el sistema de gestió de la qualitat. Els sistemes d'informació s'han dissenyat per recopilar totes les dades necessàries per fer el seguiment dels programes d'estudi, raó per la qual estan en condicions de proporcionar informació estratègica a l'equip de gestió. D'una banda, les dades es processen per tal de mesurar el progrés del pla estratègic. De l'altra, el sistema d'informació ofereix una visió integrada de tota la universitat mitjançant la comparació de totes les escoles i facultats.

5. Una participació social més àmplia

Les universitats que estan en procés d'esdevenir centres de gestió del coneixement haurien de tenir en compte les necessitats de la societat. Per tant, les bones pràctiques han d'incloure com a objectiu en el pla estratègic la interacció amb la societat.

En aquest sentit, poden haver-hi diferents tipus de cooperació: apropar els serveis de la universitat a les necessitats de la societat i canalitzar la recerca cap a objectius econòmics i socials més factibles. Els diferents àmbits de treball es descriuen a continuació:

• Lideratge de la interacció social: definir les responsabilitats i les funcions de la universitat; establir els termes de la col·laboració; desenvolupar un sistema de seguiment i revisió; analitzar els grups implicats.
• Reforç de la responsabilitat de la comunitat: millorar la comunicació entre la societat i incrementar la importància de l'educació superior; fomentar l'aplicació de coneixements a les necessitats de la societat.
• Associacions universitàries: reforçar les relacions de la universitat amb l'entorn empresarial; implicar la universitat en el desenvolupament regional; promoure l'exportació de coneixements; apropar la universitat a la formació permanent d'adults. 

Implementació de bones pràctiques

Les universitats que han participat en el Programa Suport l'han avaluat molt satisfactòriament. Una de les raons del seu èxit és que es basa en una situació que beneficia totes les parts implicades. L'intercanvi d'experiències entre universitats ha generat sinergies entre els responsables de qüestions relacionades amb la qualitat. Com a conseqüència, el Programa Suport ha contribuït a enfortir els lligams entre unitats de gestió de la qualitat de tot Europa.

Des del punt de vista de les universitats catalanes, l'impacte més important per a la seva activitat diària ha estat l'oportunitat de conèixer noves maneres d'abordar els temes que més els preocupen. La major part de bones pràctiques s'han d'adaptar a la situació i a les necessitats específiques de cada universitat, però totes han estat una font important d'inspiració.
Les experiències del Programa Suport són un punt de partida per a l'elaboració de diferents projectes i per a la revisió de les diferents vies per garantir i millorar la qualitat.

Els projectes i les accions que han sorgit del Programa Suport són els següents:

• Avaluació entre iguals. Una de les universitats preveu iniciar el disseny de processos per avaluar l'ensenyament. Actualment, la Unitat de Qualitat dissenya el procés per definir resultats i responsabilitats. L'any que ve es posarà en marxa una experiència pilot en un dels seus programes i la intenció és estendre aquesta pràctica a tota la universitat a mitjà termini.
• Implicació de l'alumnat. La Unitat de Qualitat dissenya una activitat de formació que serà obligatòria per a tots els representants dels estudiants i optativa per a tot l'alumnat. Es tractarà d'una activitat transversal a tots els programes d'estudi, amb un nombre de crèdits assignats. El contingut d'aquesta activitat serà el coneixement bàsic de l'organització i l'estructura de la universitat, la conscienciació sobre la gestió de la qualitat i la importància del seguiment i de les vies i els canals de participació.
• Prioritat de les accions de qualitat. Després de la visita, la Unitat de Qualitat disposa de criteris més amplis per centrar la seva tasca en el que realment és important per a la millora de la qualitat. Concretament, cal implicar tots els agents interessats en la gestió de la qualitat demostrant-los l'impacte d'aquestes accions en la seva tasca diària i que la millora del procés els comportarà menys feina a mitjà termini.
• Descentralització de la gestió de qualitat. Arran de la visita realitzada, la Unitat de Qualitat ha entès la importància d'involucrar els equips de gestió de cada escola o facultat. Sobretot, és important involucrar els agents implicats, l'equip de gestió, la plantilla docent i el personal de serveis. Com a conseqüència, el personal de la Unitat de Qualitat organitza reunions amb totes les escoles per informar-les sobre què s'espera d'elles, quin ha de ser el seu nivell d'implicació, com poden participar en la gestió de la qualitat, quines han de ser les seves responsabilitats, etc. D'altra banda, també s'està posant en marxa un projecte per formar els coordinadors dels programes d'estudi i el personal acadèmic en temes de gestió de qualitat.
• Simplificació del procés de seguiment. Com a resultat de la visita, la Unitat de Qualitat lidera un projecte per simplificar tots els processos de seguiment, analitzant quines dades i quines accions tenen un valor afegit per ser recopilades i implementades.
• Redisseny del procés per elaborar un programa d'estudis. La Unitat de Qualitat analitza les fases, els agents implicats, les funcions i les responsabilitats. També està treballant en la definició de dades, per tal d'establir quan es tracta d'informació pública i, per tant, s'ha de publicar, i quan es tracta d'informació confidencial.
• Definició d'un model de dades de l'alumnat. La Unitat de Qualitat desenvolupa un projecte per estudiar la manera d'integrar totes les dades dels estudiants, que ara es troben disperses en diferents bases de dades. L'objectiu principal és disposar d'una base de dades que inclogui els estudis realitzats, l'itinerari i les dades personals de cada estudiant. A més a més, s'està definint la normativa d'accés a aquestes dades per determinar qui pot tractar-les i com s'han de tractar.

Beneficis en la universitat d'acollida

En finalitzar les estades, es va demanar la col·laboració de les universitats d'acollida per tal de conèixer la seva opinió sobre el Programa Suport. Amb aquest objectiu, s'han dut a terme entrevistes en les quals se'ls ha demanat el nivell de satisfacció. Val a dir que totes les universitats entrevistades han estat d'acord a repetir l'experiència.

Els aspectes positius de l'experiència coincideixen en:

• La preparació de la visita representa un moment important de reflexió que permet entendre per què es fan les coses d'una manera determinada. La mirada de persones externes a l'organització sobre aspectes quotidians o "obvis" també obliga a replantejar-se la manera de treballar.
• El flux d'informació i de maneres de veure un mateix problema ha estat molt enriquidor.
• La visita es considera una font de motivació per a l'equip, ja que suposa un reconeixement de la tasca realitzada.