CompartirConceptos clave de la evaluación
En primer lugar se puede afirmar que existe unanimidad al admitir que toda práctica científica de la evaluación consiste en obtener evidencia (información objetiva de índole cuantitativa y cualitativa) de manera sistemática con el fin de informar algún tipo de decisión.
Las diferentes formas en las cuales se concreta la evaluación de los programas formativos responden, por una parte, a la tradición de la práctica evaluativa más o menos formalizada de los sistemas universitarios y, por otra, de la adopción de determinados modelos que han ido consolidándose a partir de la reflexión crítica e investigación evaluativa.
En este apartado se presenta brevemente el panorama general de las diferentes perspectivas a la hora de catalogar las diversas prácticas de evaluación (institucionales) en la educación superior.
- Según el objetivo de la evaluación
- Según la metodología de evaluación
- Según los agentes de la evaluación
- Según la tipología de evidencias que sostienen la evaluación
- Según el momento de la evaluación
- El modelo de evaluación de AQU Catalunya en el marco VSMA
Según el objetivo de la evaluación
Aseguramiento de la calidad para rendición de cuentas, caracterizado por una visión externa de control y asociada a estructuras administrativas centralizadas y a una revisión externa de auditores que miden indicadores cuantitativos de éxito.
Aseguramiento de la calidad para la mejora, caracterizado por una visión interna de control y asociado a estructuras administradoras facilitadoras y con la utilización de la revisión por pares para obtener indicadores cualitativos de éxito.
Subir
Según la metodología de evaluación
Acreditación. La acreditación supone el reconocimiento de la situación y legitimidad de una institución, programa o módulo de estudio. Un proceso porel cual un programa educativo o institución provee información sobre su actividad y consecuciones a un comité externo que, de forma independiente, evalúa tal información para emitir un juicio público a partir de unos estándares explicitados sobre el valor y calidad de la institución o programa.
Tradicionalmente la acreditación pone el énfasis en los input como garantía de la calidad de los outputs, presenta una orientación hacia la eficacia y tiene un alto componente de evaluación sumativa.
Revisión / Evaluación de programas. A diferencia de la acreditación, no se confronta con criterios previamente fijados sino que sólo pretende describir y valorar los antecedentes de la unidad o programa, su rendimiento actual así como sus planes futuros. Es un proceso que analiza la calidad del proceso de aprendizaje, incluyendo aspectos como la actividad docente y los métodos pedagógicos. Es obvio que cuando la revisión no responde a una motivación interna, la dificultad de su puesta en marcha es alta.
Auditoría. Es un proceso de revisión de los procedimientos puestos en marcha para la garantía de la calidad. Una auditoría de calidad comprueba hasta qué medida una institución o programa consigue alcanzar sus objetivos, a través de los procesos que tiene establecidos. Verifica la idoneidad de lo previsto en los procedimientos de calidad con relación a los objetivos a alcanzar; la conformidad de las actuales actividades de calidad con relación a las planificadas y, finalmente, la efectividad de las actividades en la consecución de los objetivos establecidos en el programa.
Subir
Según los agentes de la evaluación
Dimensión interna. La responsabilidad en la iniciativa y ejecución recae en la propia institución universitaria. El liderazgo, participación y organización del proceso son factores clave del éxito.
Dimensión externa. La responsabilidad de ejecución recae en órganos externos a la institución. La calidad de los comités de evaluación, más allá de la tecnología (guías y protocolos) puesta a su disposición, es el factor determinante de una buena práctica de evaluación.
Subir
Según la tipología de evidencias que sostienen la evaluación
Evaluación basada en indicadores de rendimiento. El juicio de valor que se emite es una consecuencia directa de la constatación de un determinado valor cuantitativo o la presencia-ausencia de una serie de características en el objeto sometido a evaluación. En general se tiende a un cierto reduccionismo en la identificación de indicadores (facilidad, fiabilidad del indicador, potencialidad de su manejo estadístico), así como a su asociación a una evaluación orientada a la rendición de cuentas.
Evaluación basada en juicios de expertos. En ocasiones se ha confundido este tipo de evaluación con la ausencia de información (indicadores) cuantitativa; como si el juicio del experto proviniera de la inferencia cualitativa (ojo clínico) del evaluador. Su auténtico significado es que los datos (cuantitativos y cualitativos) son contextualizados, interpretados y valorados (dentro de unos marcos de referencia) por los evaluadores. Se descarta el automatismo del dato al juicio de evaluación.
Subir
Según el momento de la evaluación
Modelo ex ante. En el contexto europeo en general, y en el español en particular, siempre ha habido un proceso de acreditación (sui generes) de instituciones y programas que culminaba con la aprobación administrativa de la creación de una universidad o del plan de estudios conducente a una titulación homologada. El en que se apoyaba el proceso era de carácter totalmente apriorístico y administrativista: si se cumplen los requisitos-normas-directrices establecidas, la calidad está asegurada. Los órganos responsables de tales procesos eran de índole gubernamental y estaban regidos por procedimientos altamente formalizados y con escasa transparencia.
Modelo a posteriori. Habitual en los sistemas universitarios con amplia tradición de autonomía en la oferta, diseño y desarrollo de sus programas formativos. Está vinculado, generalmente, a la acreditación o a la evaluación-revisión de programas y, por lo tanto, exige haber completado un determinado ciclo temporal en el cual el programa ha pasado por todas sus fases de ejecución.
Subir
El modelo de evaluación de AQU Catalunya en el marco VSMA
Es evidente que el actual marco normativo (Real decreto 1393/2007, de 29 de octubre) identifica una serie de características que tiene que reunir el modelo de evaluación que los órganos competentes adopten, pero también es cierto que permite la concreción —elección— de otros. La ya larga experiencia de AQU Catalunya en la evaluación institucional (ver trayectoria previa) ha llevado, en definitiva, a adoptar el modelo que se presenta y que se caracteriza por:
- Integrar los objetivos de orientación en la mejora y rendición de cuentas.
- Combinar las metodologías de auditoría, revisión de programas y acreditación.
- Complementar las dimensiones interna y externa de evaluación.
- Integrar las evidencias basadas en indicadores con los juicios de expertos.
- Considerar el continuum de tiempo real con respecto al momento de evaluación:
- Verificación ex ante de la propuesta de la enseñanza. - Seguimiento del desarrollo de la propuesta. - Acreditación —evaluación a posteriori— de la enseñanza.
Subir
23.5.2013