75

Noviembre 2014

ARTÍCULOS

La calidad de las evidencias en el proceso de acreditación

Albert Basart Capmany - Gestor de proyectos de AQU Catalunya

El compromiso de AQU Catalunya con la mejora de la eficacia y la eficiencia de los procesos de garantía de la calidad se concreta en acciones periódicas de metaevaluación, que actúan como mecanismos de retroalimentación y reflexión sobre su desarrollo y mejora.

En el marco del proceso de acreditación de titulaciones universitarias oficiales de grado y máster, el pasado 17 de septiembre AQU Catalunya organizó una sesión de metaevaluación, a partir de la experiencia de las nueve visitas externas de acreditación realizadas hasta el momento, entre los meses de abril y julio de 2014. La sesión contó con una amplia representación de los agentes vinculados al proceso de acreditación, ya que participaron en la misma una cincuentena de personas, entre coordinadores de programas, responsables de unidades técnicas y oficinas de calidad, y miembros de comités de evaluación externa.

El desarrollo de la sesión se estructuró alrededor de los siguientes contenidos:

  • La guía de acreditación.
  • La elaboración del autoinforme y la selección de las evidencias asociadas.
  • El desarrollo de la visita externa.
  • Los resultados de la visita.

A continuación se expone un análisis sobre la calidad de las evidencias que los centros han aportado a través de los autoinformes, aspecto clave para garantizar la calidad del proceso en general y que se corresponde con el aspecto tratado en el segundo punto de la sesión del día 17.

El objetivo de este análisis es poner de relieve las principales áreas de mejora que los comités de evaluación externa han identificado. Para su realización se ha procedido a efectuar un vaciado de los informes de revisión del autoinforme y las evidencias, un informe que los comités llevan a cabo previamente a la visita de acreditación, en el que se solicita al centro, si se considera necesario, aportar nueva documentación o ampliar la información ya aportada.

Las solicitudes de ampliación o adición de información que los comités han hecho en los nueve autoinformes presentados en el período del primer semestre de 2014 han sido las siguientes:

1. Calidad del programa formativo

En cuanto a este primer estándar, se ha pedido en seis ocasiones que se incluyera en los autoinformes información y valoración sobre el perfil de ingreso de los nuevos estudiantes. Esta información puede resumirse en:

  • Reflexión sobre la adecuación del perfil de ingreso de los mismos y sobre la coherencia entre el número de estudiantes admitidos y las plazas ofertadas.
  • Satisfacción del profesorado sobre la relación entre el perfil de formación esperado y el perfil de formación real.

En menor medida (dos ocasiones) se ha solicitado información sobre los mecanismos de coordinación docente.

2. Pertinencia de la información pública

En relación con el segundo estándar, la mayor parte de las solicitudes (siete) se han correspondido con carencias de información detectadas en las páginas web de la institución o titulación. Se ha pedido:

  • Información actualizada sobre las características y el desarrollo operativo de la titulación.
  • Guías docentes.
  • Plan de acción tutorial.
  • Indicadores.
  • Informes de seguimiento de titulación.

También en una ocasión se ha solicitado aportar documentación ligada a los procesos del SGIC sobre información pública, recogida de información y rendición de cuentas.

3. Eficacia del sistema de garantía interna de la calidad de la titulación

El tercer estándar, referido a los SGIC y su eficacia, ha supuesto un importante número de demandas de ampliación o modificación de la información aportada.

En cuanto a los instrumentos para la recogida de la satisfacción de los grupos de interés, se ha pedido hasta ocho veces añadir al autoinforme:

  • Ejemplos de cuestionarios sobre la satisfacción de los estudiantes y del PDI.
  • Índices de respuesta y periodicidad de las encuestas.

También en ocho ocasiones se ha solicitado mejorar la información cuantitativa sobre el desarrollo de las titulaciones, por la vía de:

  • Presentar datos evolutivos.
  • Mejorar la definición de los indicadores.
  • Desagregar datos (por ejemplo, número de estudiantes o de profesorado equivalentes a tiempo completo / equivalentes a tiempo parcial).
  • Acompañar los indicadores de su correspondiente análisis y valoración.

En cuanto al proceso de revisión del SGIC, en cuatro ocasiones se ha pedido información detallada sobre el despliegue de los procesos y los plazos del mismo.
Por último, los planes y el seguimiento de las acciones de mejora han sido objeto de comentario por parte de los comités en nueve ocasiones. Las principales demandas han sido:

  • Desglosar las acciones genéricas en acciones concretas.
  • Incorporar indicadores de logro de las acciones y un calendario concreto.
  • Codificar las acciones y definir responsables únicos.
  • Mejorar la trazabilidad con las acciones de anteriores planes.
  • Mejorar la coherencia entre el plan de mejoras y las argumentaciones de los autoinformes.

4. Adecuación del profesorado al programa formativo

En cuanto al estándar 4, referido al personal académico, los comités han reclamado, principalmente, ampliar la información cualitativa y cuantitativa sobre la experiencia docente, de investigación y profesional del PDI.

En segundo lugar, se han efectuado hasta siete solicitudes relacionadas con la adecuación y suficiencia del profesorado de las titulaciones:

  • Elaborar tablas resumen sobre el profesorado.
  • Desglosar la información del PDI asignado a primer curso, prácticas y TFG/TFM.
  • Especificar la dedicación de PDI a la titulación.
  • Aportar alguna reflexión sobre la calidad y suficiencia del actual cuadro docente.

También la cuestión relacionada con el apoyo institucional que recibe el personal académico ha sido objeto de demandas de nueva información:

  • Acciones formativas realizadas, valoración y satisfacción con las acciones.
  • Datos sobre la participación en acciones formativas.

5. Eficacia de los sistemas de apoyo al aprendizaje

El estándar 5 es el que, comparativamente, ha recibido menos demandas de ampliación de documentación. En tres ocasiones se ha reclamado que se aportara al autoinforme un análisis y reflexión sobre el funcionamiento del plan de acción tutorial.

En menor medida los comités han solicitado indicadores de satisfacción sobre las tutorías académicas, indicadores de satisfacción sobre las acciones de orientación profesional y documentación del SGIC sobre el proceso de apoyo y orientación al estudiante.

6. Calidad de los resultados de los programas formativos

Por último, las demandas de nueva información sobre el estándar 6 se han concretado en dos apartados. El más solicitado (en siete ocasiones) ha sido el relacionado con las muestras de las ejecuciones de los estudiantes:

  • Indicar los criterios de selección de las asignaturas escogidas y de las muestras presentadas.
  • Presentar las memorias de las prácticas externas obligatorias.
  • Mostrar una lista de los TFM presentados en el curso anterior, informando de su tipología, temática y calificaciones.

Y el segundo apartado ha sido la solicitud de aportar la evolución temporal, así como un análisis valorativo, de los indicadores de rendimiento y de los indicadores de inserción laboral de los graduados.

Conclusión

La valoración global que los comités han realizado sobre la calidad de los autoinformes y el resto de las evidencias asociadas a las visitas de acreditación es, en general, bastante positiva, sobre todo si tenemos en cuenta que han sido los primeros autoinformes de este proceso, puesto en marcha en 2014. La gran mayoría de los estándares y subestándares de los nueve autoinformes presentados han contado con las evidencias suficientes para llevar a cabo una evaluación con garantías, y en ningún caso la carencia de evidencias ha comportado que tuviera que retrasarse o posponerse el proceso de la visita.

La experiencia de estos primeros meses tiene que servir, en cualquier caso, para identificar e incorporar las mejoras necesarias para que el proceso de acreditación sea más eficaz y eficiente, en beneficio de todos los agentes implicados en el mismo.

ENQA EQAR ISO

Generalitat de Catalunya

C. dels Vergós, 36-42. 08017 Barcelona. Tel.: +34 93 268 89 50

© 2014 AQU Catalunya - Depósito legal B-21.909-2008