elButlletí

Publicación bimestral de AQU Catalunya

74

Septiembre 2014

Artículo publicado en el Occasional Papers 21 de ENQA "Transparency of European higher education through public quality assurance reports (EQArep)"

Preguntas sobre la garantía de la calidad en los informes

Algunas de las preguntas más frecuentes y fiables sobre garantía de la calidad también pueden aplicarse, sin duda, a la calidad de los informes de una agencia:

¿Cuál es la finalidad del informe? (objetivos, destinatarios)
¿Por qué lo redactamos así? (método y formato)
¿Es la mejor forma? (evaluación del método)
¿Cómo sabemos que funciona? (cumplimiento de objetivos, impacto de los informes)
¿Cómo podría mejorarse? (revisión, evaluación, planificación)

Un informe es un mensaje

Según la teoría estándar de la comunicación, un informe es, simple y llanamente, otro tipo de mensaje. Su comunicación efectiva depende de tres elementos: el emisor (el equipo de expertos, la agencia), el medio (el formato, el medio de publicación) y el receptor (la universidad y otras partes implicadas, como los estudiantes o las empresas).

Por otro lado, los mensajes se rigen por el principio según el cual finalidad, contenido y lectores o público destinatario constituyen tres factores interrelacionados que se influyen entre sí. Cualquier informe debe tomar en consideración sus principales objetivos, sus lectores potenciales y la mejor manera de dirigirse a ellos.

La teoría de la comunicación maneja los términos codificación y descodificación en relación con los mensajes. En el caso que nos ocupa, codificación implica:

• Conocer la finalidad del informe.
• Tener claro sobre qué va a escribirse.
• Saber cómo se redactará y qué fases se seguirán para elaborarlo.
• Saber quién debe o debería leerlo.
• Saber cómo y cuándo se leerá.

Y descodificación:

• Que el informe se reciba y lea siguiendo un proceso dirigido.
• Que el lector entienda el proceso y las convenciones del informe.
• Que el lector sepa qué se espera del informe en cuanto a las acciones que deben emprenderse o la información que debe utilizarse.

¿A quién va dirigido?

En consecuencia, una agencia debe actuar con claridad al decidir cuáles deben ser los objetivos y los lectores y usuarios potenciales de sus informes. Pero no es fácil. Sería razonablemente sencillo si los informes solo se redactaran para uso exclusivo de las instituciones de educación superior. Pero existen otras partes interesadas: gobierno, estudiantes y empresas , que también pueden ser destinatarios potenciales. Un informe de evaluación debería tener en cuenta todos estos aspectos, pero ¿es posible conseguirlo con un único informe cuando hay tantas expectativas y necesidades en juego? Una de las principales cuestiones que deben resolver nuestros informes es la siguiente: ¿cómo satisfacer las necesidades de todas las partes interesadas?

Posibles respuestas a un problema peliagudo:

• Informes independientes para cada parte interesada.
• Un apartado de resumen, con conclusiones claras, al margen del cuerpo principal y más detallado del informe.
• Distintas partes para distintos lectores.
• Un resumen breve en el sitio web y un informe más extenso para la institución.
• Un formato de checklist para los principales criterios, con un cuadro de comentarios reservado a los detalles, si procede.

El informe es el resultado

Hay que tener presente que el informe de una agencia es el resultado o la consecuencia final de todo el proceso. Así pues, el carácter y la calidad del informe dependerán de la calidad de otros aspectos concomitantes:

• Gestión, política y método de la agencia.
• Técnico de la agencia y equipo de evaluación.
• Documentación e información suministrada, acceso a la información institucional.
• Visita y ratificación.
• Redacción del borrador.
• Fase de corrección del informe.
• Redacción final y aprobación del informe.

Resulta fácil olvidar que el principal objetivo de todas las fases que integran el proceso de revisión es la redacción final del informe, que es al mismo tiempo el producto final y el epicentro de todo el proceso. Supervisar al equipo o reunirse con otros evaluadores suele resultar muy provechoso y merece realmente la pena. Y la visita al centro puede ser interesante y apasionante. Por contra, la preparación del informe es una actividad solitaria, de despacho, que puede resultar exigente e incluso aburrida, algo que puede perderse de vista fácilmente en los primeros estadios del proceso.

Así pues, en cada fase es necesario tener siempre en mente el informe: tomando notas, redactando borradores, confrontando la evaluación con los hechos, trabajando para establecer valoraciones. Un buen informe es el resultado de un proceso planificado que conduce a la redacción definitiva.

¿A quién corresponde la autoría del informe?

Desde el principio hay que dejar muy claro a quién corresponde la "autoría" del informe, es decir, quién toma la decisión final sobre qué debe incluir y qué no, y cómo se establecen los criterios para las valoraciones. A veces, la "autoría" es compartida y entonces hay que definir claramente cada responsabilidad. ¿A quién corresponde la autoría de un informe?

• ¿Al comité de expertos?
• ¿Al miembro del comité que redacta el informe?
• ¿Al técnico de la agencia que lo revisa?
• ¿Al comité de la agencia que lo aprueba?
• ¿A la agencia como entidad legal?
• ¿A la institución?

Y ante todo, ¿quién persona o qué institución tiene el derecho de modificar el informe y/o sus valoraciones?

¿Los distintos participantes en el proceso pueden reclamar la autoría de distintas partes del informe? Se podría argumentar, por ejemplo, que la autoría de las valoraciones de un informe corresponde a los evaluadores expertos, pero que en el caso de la forma y el contenido corresponde a la agencia, que tiene la responsabilidad última sorbe la calidad de la publicación.

¡Simplifica, ******!

Podría argumentarse que los informes complejos y opacos, difíciles de leer, tienen una finalidad: circunscribir la comprensión y la recepción del informe a un tipo de lector concreto, que entienda las convenciones y los códigos en los que está escrito. Sin embargo, si el objetivo es llegar a un público lo más variado y amplio posible, cuanto más sencillo sea el informe, mejor.

Con todo, la simplicidad no implica rebajar la importancia o la complejidad del contenido, sino garantizar que se transmite con una estructura clara y un lenguaje que pueda seguirse y entenderse con facilidad. Algunos de los rasgos que debería tener, o no, un informe son los siguientes:

Rasgos deseables:

• Extensión: lo más breve posible.
• Una estructura comprensible con encabezamientos claros.
• Estilo: simple, preciso, claro, conciso.
• Párrafos bien estructurados: inicio, desarrollo, final.
• Frases: simples y claras (¡que nunca superen las dos líneas de texto!)
• Tono: neutro, comedido, objetivo.
• Contenido: descripción mínima pero análisis y evaluación máximos (resulta difícil entender la utilidad de una gran cantidad de descripciones sobre los procedimientos institucionales: la institución ya los conoce y los demás lectores del informe, de hecho, seguramente no tienen demasiado interés en conocerlos, salvo que sean efectivos).
• Argumentos basados claramente en pruebas fehacientes.
• Recordatorios frecuentes sobre la importancia de los temas, el calendario y el marco de la evaluación.
• Resúmenes de cada apartado.
• Explicación clara sobre las bases que sustentan las valoraciones y recomendaciones.

Rasgos que hay que evitar:

• Excesivas referencias al proceso (equipo de expertos, visita de evaluación, etc.).
• Frases excesivamente complejas.
• Tecnicismos y clichés (especialmente el lenguaje técnico que utilizan los expertos en garantía de la calidad).
• Términos emotivos o demasiado críticos.
• Palabras de difícil comprensión.
• Ambigüedad.
• Detalles innecesarios.
• Especulaciones sobre el futuro de la institución.
• Comentarios subjetivos basados en la experiencia personal de los expertos.

La política lingüística

La lengua propia de los países pequeños no tiene el mismo alcance en cuanto a impacto ni permite realizar comparaciones internacionales (sino que queda circunscrita a su propia cultura), pero refleja de forma más exacta la autoría y el contexto del informe.

La traducción a la lengua franca (el inglés) conlleva el riesgo de traducción errónea, confusión y mala interpretación. Existen muchas variedades de inglés: ¡y en el campo de los informes de garantía de la calidad está surgiendo el "Euroglish"!) No somos conscientes de lo variada que puede ser nuestra comprensión de algunos términos clave en inglés (los conceptos accreditation, expert, validation, assessment o standards tienen diferentes significados en distintos contextos). ¡No siempre se puede estar seguro de lo que significan en inglés para el lector!

Programación de tareas

Es esencial establecer un calendario para el proceso de elaboración y la entrega de cualquier informe. Además, debería incluir indicaciones claras sobre lo que se espera de cada colaborador y sobre los pasos que será necesario repetir durante el periodo de corrección.

Los plazos son una tortura y en ocasiones una auténtica agonía para quien redacta informes. Es importante fijar plazos realistas y luego añadir unos días de más para garantizar una mayor flexibilidad en la resolución de los problemas que sin duda van a surgir.

Transparencia... ahora lo veo claro

En general, la transparencia se considera una de las principales virtudes y finalidades de un buen informe. Pero, además de una ayuda, también puede resultar una desventaja: ¿cuál es exactamente la finalidad de la claridad? ¿El principal objetivo del informe es regular, controlar y comparar? ¿O más bien mejorar, potenciar y desarrollar? Si nuestra intención es ayudar a una institución a mejorar, ¿es buena idea publicar datos que puedan dañar su reputación? ¿O bien publicar en detalle todo lo que no funciona para que el público general pueda leerlo?
¿Y la alternativa? ¿Es aceptable? Es decir, ¿la política de publicaciones de una agencia debería ajustarse en función del mensaje que contiene el informe? ¿Existe un conflicto entre transparencia y mejora?

En la cuerda floja: las tensiones entre la avaluación de expertos y el organismo regulador

En la mayoría de las agencias, el método para redactar informes incluye la colaboración de un equipo de expertos: o bien se encargan ellos mismos de redactar los primeros borradores del informe, o bien sus ideas y opiniones se incorporan al informe que redacta un técnico de la agencia. Este método sigue el principio de la evaluación de expertos. En su forma más pura, este planteamiento basado en la opinión informada de los expertos implica que la autoría de la evaluación corresponde a dichos expertos, que también redactarían el informe. En este método, cabe incluso la posibilidad de permitir que los expertos que así lo deseen presenten una declaración independiente que discrepe de la opinión mayoritaria. No obstante, en general las agencias desean tener un mayor nivel de control sobre el informe y, por lo tanto, exigen a los expertos que lleguen a un consenso sobre sus valoraciones y pueden imponer un marco común para todos sus informes.

Es preciso considerar el espectro potencial de posibilidades para establecer el formato del informe. En un extremo se sitúa la evaluación de expertos pura, comparable a una narración personal sobre las impresiones de los miembros del equipo; y en el otro extremo del espectro, un tipo de cuestionario muy controlado, predefinido por la agencia, en el que los expertos deben encajar sus ideas y decisiones. Un aspecto importante en todos los procesos de redacción consiste en decidir dónde situar el formato del informe entre ambos extremos. Las señales de control de la agencia son visibles en el grado de estructura que se otorga al informe: estándares y criterios específicos, encabezamientos, formalización de cuestionarios, recuento de palabras, tablas, formas predefinidas para establecer criterios y valoraciones... En este caso se producen tensiones, porque cuanto más control ejerza la agencia, mayor será la sensación de los expertos de que sus ideas y su forma de expresarlas no han sido tomadas en serio. Además, hay que poner en duda si marcar una simple casilla puede reflejar la complejidad de los sistemas y los distintos planteamientos institucionales. Así pues, se trata de llegar a un equilibrio entre la libertad de expresión (un valor muy apreciado en el contexto académico), el grado de control burocrático y los niveles de coherencia y comparabilidad entre informes que exige la agencia. También vale la pena señalar que cuanto más control tenga la agencia, más necesaria será una buena formación de los expertos para que entiendan qué se espera de ellos en el momento de redactar el informe.

Demuéstramelo con pruebas...

Seguimos el principio de «evaluación basada en pruebas», pero ¿qué entendemos exactamente por pruebas y cómo las utilizamos?

¿Solo podemos utilizar los hechos que nos ha suministrado la institución? ¿El equipo tiene derecho a pedir otras pruebas?

¿Podemos solicitar a las instituciones pruebas que demuestren o confirmen la existencia de malas prácticas?

¿Cómo garantizamos que las pruebas queden registradas y se conserven? (¿Fotocopiándolas durante la visita? ¿Accediendo a webs internas?)

¿Quién se responsabiliza de las pruebas y garantiza su custodia? ¿Puede confiarse esta labor a los expertos a título individual?

¿Las pruebas deben publicarse junto con el informe (lo que probablemente alargaría su extensión en exceso) o deben guardarse aparte? Quizá pueden incluirse en primeras versiones no publicadas del informe en forma de comentarios, notas a pie de página o paréntesis.

Es preciso señalar que, en general, las instituciones solo necesitan acceder a las pruebas cuando reciben una crítica, no cuando la valoración es positiva: en este caso ¿solo deben conservarse los hechos relacionados con aspectos críticos o temas problemáticos?

¿Quién lee el informe, quién lo necesita?

Podemos afirmar sin miedo a equivocarnos demasiado que probablemente muy poca gente va a leerse un informe institucional sobre garantía de la calidad de principio a fin. Salvo, por supuesto, el técnico de la agencia responsable del informe, que probablemente lo habrá leído varias veces de cabo a rabo.

¿Qué pruebas tiene la agencia de que alguien realmente se lee sus informes? ¿Y sobre su impacto real? Es preciso reflexionar detenidamente sobre los lectores potenciales de un informe. Si realmente se trata de un pequeño número de lectores (¿más de diez, menos de cincuenta?, ¿o incluso menos?), entonces también habrá que tener en cuenta el factor económico: los gastos que genera o los esfuerzos que se han dedicado a redactarlo en comparación con el patrón real de recepción y uso. Recordemos también que las investigaciones que se han llevado a cabo han demostrado que, en general, al leer informes como los nuestros, la atención del lector disminuye a cada página…

Con toda probabilidad habrá más gente que leerá el resumen o una versión breve publicada en la web. ¿Cabe considerar la posibilidad de publicar un informe relativamente corto y, a la vez y de forma independiente, redactar otro más detallado para la institución sin necesidad de publicarlo?

En general, el impacto de un informe se traduce en informes de seguimiento y planes de acción. Entonces, debemos preguntarnos si quizá lo único que necesiten nuestros lectores sean resúmenes, valoraciones, recomendaciones y planes de acción.

¿Podemos mejorar la accesibilidad de nuestros informes utilizando más signos visuales en la composición (gráficos, tablas, subrayados, incluso fotos)?

Finalmente, es preciso recordar que también nuestros lectores pueden necesitar consejos e incluso formación para leer y utilizar los informes de forma más productiva. En este sentido, resultan muy útiles los documentos de guía sobre los procedimientos y las principales características y finalidades de los informes.

Última palabra (¡siempre es bueno llegar al final!)

El informe perfecto es más una ambición que una realidad. Así pues, lo mejor que se pueda hacer, en el tiempo disponible, ¡tendrá que estar a la altura!