Publicación bimestral de AQU Catalunya

56

Septiembre 2011

Hace apenas cinco años (2006-2007), AQU Catalunya iniciaba la primera evaluación externa internacional, con el objetivo de analizar el cumplimiento de los Estándares y directrices para el aseguramiento de la calidad en el Espacio europeo de educación superior (ESG).

AQU Catalunya superó dicha evaluación y, en consecuencia, mantuvo la consideración de miembro de pleno derecho de la European Association for Quality Assurance in Higher Education (ENQA), de la que era miembro fundador, y se convirtió en una de las tres primeras agencias europeas inscrita en el European Quality Assurance Register for Higher Education (EQAR).¹

¿Qué significa que AQU Catalunya supere una evaluación externa internacional?

Que la agencia catalana supere una evaluación externa internacional supone un reconocimiento de:

1. La legitimidad de AQU Catalunya para realizar evaluaciones externas referidas a la calidad de la enseñanza superior. Por lo tanto, que tiene reconocido un estatus oficial, que cuenta con una clara misión que se vincula con la tarea de evaluación que lleva a cabo y, por último, que actúa respetando el principio de independencia que toda evaluación externa requiere.
2. Las actividades de AQU Catalunya, que se despliegan de acuerdo con los criterios de eficiencia y efectividad que se han establecido a escala europea.
3. La sostenibilidad de la agencia catalana para continuar su función, especialmente en lo que se refiere a los recursos disponibles.

¿Qué implicaciones tiene para el sistema universitario catalán?
En primer lugar, ofrece garantías a toda la comunidad universitaria de que trabaja de acuerdo con unos estándares de calidad internacionalmente aceptados y reconocidos. Este proceso de evaluación externa de AQU Catalunya ayuda a mejorar su credibilidad, tanto en el entorno inmediato donde actúa como en el ámbito internacional.

Superar positivamente la evaluación externa facilita acuerdos de mutuo reconocimiento de las evaluaciones llevadas a cabo por la agencia catalana con otras agencias e instituciones nacionales e internacionales. El caso más evidente es la posibilidad que AQU Catalunya tiene, de acuerdo con la regulación del Estado, de desarrollar los procesos de verificación de las titulaciones universitarias oficiales. Sólo las agencias autonómicas que hayan superado la evaluación externa internacional, sean miembros de pleno derecho de ENQA y estén inscritas en el registro EQAR pueden realizar la función de verificación. Actualmente, en España, de las once agencias que operan, cinco pueden llevar a cabo evaluaciones para los procesos de verificación de titulaciones (las agencias de Castilla y León, Galicia, Andalucía, Cataluña y la ANECA).

La segunda implicación para el sistema universitario catalán hace referencia al valor añadido que supone disponer de un órgano evaluador propio con reconocimiento internacional. No sólo por la posibilidad de ser voz activa en la definición y desarrollo de sistemas de garantía externa, aportando la visión catalana en los correspondientes foros internacionales, sino también reforzando la visibilidad del sistema universitario catalán como conjunto de universidades dinámico y avanzado en la implantación de medidas de garantía y mejora de la calidad de las enseñanzas superiores.

La evaluación externa internacional 2011-2012

En 2011 AQU Catalunya vuelve a empezar el proceso de evaluación externa internacional, que finalizará en 2012.

¿Qué se evalúa?
Las evaluaciones externas internacionales evalúan el cumplimiento de los ESG por parte de las agencias. Concretamente, se valora el logro de esos estándares con respecto a las actividades de evaluación de las enseñanzas y de las instituciones de educación superior. Pero también ofrecen la posibilidad de someter a evaluación otras actividades específicas de las agencias. Haciendo uso de ese derecho, AQU Catalunya, en el proceso de 2007, sometió también a evaluación externa las actividades de evaluación del profesorado universitario, que es una peculiaridad del sistema universitario español, puesto que en el resto de Europa esta atribución la asumen las propias universidades.

Los ESG se dividen en tres apartados:

  I. Estándares y directrices europeos para el aseguramiento interno de la calidad en las instituciones de educación superior (los sistemas internos de calidad de las universidades).
 II. Estándares y directrices europeos para el aseguramiento externo de la calidad en la educación superior (la evaluación externa de las universidades y enseñanzas).
III. Estándares y directrices europeos para las agencias externas de aseguramiento de la calidad (la evaluación externa internacional de las agencias).

Las universidades deben cumplir con los estándares del apartado I, mientras que las agencias de calidad se evalúan sobre los apartados II y III.

¿Qué dicen los estándares?
Apartado II: para la evaluación externa de las universidades

• Estándar 1. Aprovechamiento de los procedimientos de aseguramiento interno de la calidad: Los procedimientos de aseguramiento externo de la calidad deben tener en cuenta la eficacia de los procesos de aseguramiento interno de la calidad descritos en el apartado I de los Estándares y directrices europeos.
• Estándar 2. Desarrollo de procesos de aseguramiento externo de la calidad: Todos los estamentos responsables (incluyendo las instituciones de educación superior) deben definir los objetivos y finalidades de los procesos de aseguramiento de la calidad antes de desarrollarlos. Estos objetivos deben publicarse, junto con una descripción de los procedimientos que se utilizarán.
  
• Estándar 3. Criterios para tomar decisiones: Cualquier decisión formal que se tome como resultado de una actividad de aseguramiento externo de la calidad deberá basarse en criterios explícitos, publicados y aplicados con coherencia.
• Estándar 4. Adecuación de los procesos a los objetivos: Todos los procesos de aseguramiento externo de la calidad deben diseñarse específicamente para garantizar que cumplen con las finalidades y objetivos previamente establecidos.
• Estándar 5. Elaboración de informes: Los informes deben publicarse y redactarse en un estilo claro y accesible. El lector tiene que poder encontrar fácilmente en los mismos cualquier decisión, sugerencia o recomendación.
• Estándar 6. Seguimiento: Los procesos de aseguramiento de la calidad que contengan recomendaciones de actuación o requieran la creación de un plan de acción deben disponer de un plan de seguimiento preestablecido, que será implementado consecuentemente.
• Estándar 7. Evaluaciones periódicas: El aseguramiento externo de la calidad de instituciones y/o programas debe llevarse a cabo cíclicamente. La duración del ciclo y los procedimientos de evaluación tienen que definirse con claridad y estar previamente publicados.
• Estándar 8. Análisis de todo el sistema: Periódicamente, las agencias de aseguramiento de la calidad deben elaborar informes breves en los que se describan y analicen los resultados de sus evaluaciones, revisiones, valoraciones, etc.  

Apartado III: para la evaluación externa internacional de las agencias

• Estándar 1. Aprovechamiento de los procedimientos de aseguramiento externo de la calidad: El aseguramiento externo de la calidad de las agencias debe tener en cuenta la presencia y eficacia de los procesos de aseguramiento externo de la calidad descritos en el apartado II de los Estándares y directrices europeos.
• Estándar 2. Estatus oficial: Las agencias deben estar formalmente reconocidas por las autoridades públicas competentes del Espacio europeo de educación superior como organismos con responsabilidades en el aseguramiento externo de la calidad y deben tener un estatus jurídico establecido. Deben cumplir con todos los requerimientos de la jurisdicción en la que operan.
• Estándar 3. Actividades: Las agencias deben llevar a cabo actividades relacionadas con el aseguramiento externo de la calidad (en el ámbito institucional o de programas) de forma regular.
• Estándar 4. Recursos: Las agencias deben disponer de recursos humanos y económicos adecuados y proporcionales, a fin de poder organizar y gestionar las tareas de aseguramiento externo de la calidad de un modo eficaz y efectivo, con una dotación adecuada al desarrollo de sus procesos y procedimientos.
• Estándar 5. Declaración de misión: Las agencias deben tener unas finalidades y unos objetivos claros y explícitos en relación con su tarea, que habrá que incluir en un documento públicamente disponible.
• Estándar 6. Independencia: Las agencias deben ser independientes, en la medida en que son responsables de sus actividades y que las demás partes implicadas, tales como instituciones académicas, ministerios u otras, no pueden influir en las conclusiones y recomendaciones de sus informes.
• Estándar 7. Criterios y procesos de aseguramiento externo de la calidad utilizados por las agencias: Los procesos, criterios y procedimientos que utilicen las agencias deben estar previamente definidos y públicamente disponibles.
• Estándar 8. Procedimientos de rendición de cuentas: Las agencias deben disponer de procedimientos de rendición de cuentas.

¿Quién evalúa?
AQU Catalunya ha solicitado a ENQA que coordine la evaluación de la agencia catalana. La asociación europea ha aceptado coordinar la evaluación de AQU Catalunya, al igual que lo hizo en 2007.

ENQA se encargará de seleccionar y formar un comité externo internacional de evaluación, que sea independiente de la agencia evaluada y que estará formado por cinco miembros: un/a experto/a en procesos de aseguramiento externo de la calidad (proveniente de otra agencia de evaluación), un/a representante de las instituciones de enseñanza superior (nombrado/a por la EUA), un/a representante de los estudiantes europeos (nombrado/a por la ESU), un/a representante de otros grupos de interés (por ejemplo, de sectores profesionales) y un/a secretario/a experto/a en la evaluación externa de las agencias.

¿Cómo se evalúa AQU Catalunya?
AQU Catalunya elaborará un informe de autoevaluación en el que se explicará, a través de evidencias, de qué manera se cumplen cada uno de los estándares que forman los ESG. Ese informe será revisado por las personas que trabajan o han trabajado en la agencia catalana, así como por los principales responsables de la Administración y las universidades catalanas. El objetivo de esta evaluación es realizar un ejercicio constructivo en el que, además de justificar el cumplimiento de los estándares, también se identifiquen los puntos fuertes y débiles de los mismos y se hagan recomendaciones para mejorar el funcionamiento de AQU Catalunya. El informe de autoevaluación será revisado y aprobado por el Consejo de Dirección de la agencia catalana, integrado por todos los rectores y rectoras y presidentes y presidentas de los consejos sociales de las universidades públicas catalanas y por la mayoría de los rectores y rectoras de las universidades privadas.

El comité externo de evaluación revisará el autoinforme y posteriormente llevará a cabo una visita a AQU Catalunya durante dos o tres días, en la que se entrevistará con representantes de los distintos colectivos que integran o han recibido los servicios de la agencia catalana (miembros de los órganos de gobierno y de evaluación, representantes de la Administración y de las universidades, personal de AQU Catalunya, evaluadores, evaluados, representantes de las distintas instituciones, etc.), con quienes contrastará los contenidos del informe, así como las evidencias.

A raíz de este proceso, el comité elaborará un informe de evaluación externa en el que dictaminará el grado de cumplimiento de cada uno de los estándares: completamente alcanzado (cuando se cumpla el estándar de manera efectiva), sustancialmente alcanzado (cuando se cumpla en gran medida), parcialmente alcanzado (cuando algunos aspectos se cumplan y otros no o bien cuando, aunque la interpretación del estándar sea correcta, no se esté implantando de manera efectiva) o no alcanzado (cuando no se cumpla el estándar). Asimismo, el comité elaborará las recomendaciones de mejora que considere oportunas, con el objetivo de que sean introducidas de cara a la siguiente evaluación de AQU Catalunya, al cabo de cinco años.

Toda agencia sometida a evaluación tiene un tiempo para recurrir o aclarar los aspectos del informe externo que considere oportunos. Una vez recurrido, el comité emite un informe final que se traslada al Consejo de Dirección de ENQA y al EQAR, para que dictaminen si aquella agencia puede seguir siendo miembro de pleno derecho de ENQA y mantener su inscripción en el EQAR.

¿En qué fase de evaluación se encuentra AQU Catalunya?
AQU Catalunya ha comunicado a ENQA que inicia el proceso de autoevaluación de la agencia catalana tomando como referentes los ESG, así como las recomendaciones de mejora realizadas por el comité de evaluación externa en 2007.

AQU Catalunya confeccionará el informe de autoevaluación durante el último trimestre del año, el cual, una vez elaborado, se enviará al Consejo de Dirección de la propia agencia para que le dé su visto bueno, a fin de abrirlo a un proceso de consulta pública.

Se prevé que la aprobación del informe definitivo se haga durante el mes de marzo de 2012. Una vez aprobado, será enviado a los miembros del comité de evaluación externa internacional que ENQA designe, para organizar durante la primavera de 2012 la visita a AQU Catalunya.

Toda la información acerca de este proceso se irá publicando en un apartado específico de la web de AQU Catalunya.

La voluntad de la agencia catalana a la hora de someterse de nuevo al proceso de evaluación externa internacional de la calidad es doble. Por un lado, la voluntad de mantener, y mejorar si es posible, la calificación de la primera evaluación internacional de 2007 y, por otro, disponer de un instrumento útil para avanzar en la mejora continua de sus actividades desde una perspectiva internacional.