04.- La evaluación y su proceso

Tipos de estudios evaluativos

• Macroevaluación: Está constituida por los estudios evaluativos pasivos. Se debe medir, para detectar problemas y fallos en los sistemas de información y documentación; considerándose entonces como un estudio pasivo. En el momento en el que además se aportan soluciones y sugerencias a los fallos o problemas detectados se denomina estudio activo.

• Microevaluación: Está constituida por los estudios evaluativos activos. Tiene como objetivo detectar o establecer si el sistema funciona y responde correctamente a las metas y objetivos para los que se ha diseñado y además ha de responder a los siguientes aspectos: 
• Si el sistema de información y documentación proporciona los resultados esperados o deseados. 
• Si el sistema es rentable y funciona con las previsiones económicas. 
• En qué medida están formados los usuarios para que utilicen el sistema. 
• Analizar el impacto de los sistemas de información y documentación en su día a día. 
• Qué técnicas, métodos e iniciativas hay que tomar para aumentar la eficacia.

Fases del proceso de evaluación

Las fases del proceso de evaluación o metodología de la evaluación es el conjunto de operaciones, técnicas o instrumentos utilizados para medir o valorar con criterio científico, objetivo, ausente de subjetividad, reproducible, observable los fenómenos acontecidos en el entorno de la UID, el funcionamiento de sus sistemas de información, servicios, atención y respuestas ante los usuarios. Se determinan comúnmente las siguientes fases del proceso evaluativo:

1. Criterio de la evaluación
• Qué aspectos deben ser evaluados - Identificar qué indicadores utilizaremos
• Indicadores globales o particulares dependiendo de la evaluación general de la UID o de un servicio en particular.
2. Recogida de información
• La aporta el propio proceso de planificación
• Nos interesan los propósitos y objetivos del sistema
• Los componentes que integran el sistema de información y documentación
• Las propias funciones del sistema
• Entorno en el que aparece dicho sistema
• Información concreta del usuario y sobre el usuario
3. Tabulación y análisis de datos y elaboración de resultados
• Preparación de los datos para facilitar su análisis y estudio
• Comparación tabulada de resultados con los de otros centros análogos
• Obtención de los indicadores a partir de los datos cuantitativos
• Ordenación de los resultados o informaciones obtenidas mediante métodos cualitativos
4. Interpretación
• A partir de los datos comparativos y los resultados obtenidos establecer un juicio sobre la situación o estado de los servicios o sistemas analizados.
5. Difusión, publicación y acciones
• Elaboración de una publicación con los resultados obtenidos en el estudio de cara a su difusión y utilización en la toma de decisiones o re-planificación (feedback) de la UID.

Los indicadores evaluativos
Un indicador es la expresión (números, símbolos o palabras) utilizada para describir actividades (sucesos, objetos, personas) en términos cuantitativos y cualitativos, para evaluar dichas actividades y el método utilizado. (SEDIC, 1998)

Un indicador es cualquier variable o factor representativo del funcionamiento de un servicio, actividad o producto informativo y documental cuyo resultado es expresado en valores cuantitativos o cualitativos, obtenidos a través de la aplicación sistemática de un método científico basado en la observación, medición estadística, cálculo matemático, financiero, lógico y absoluto. (Blázquez Ochando, M. 2011)

Tipos de indicadores

• Cuantitativos: Obtenidos a través de métodos estadísticos, cienciométricos, bibliometricos o cibermétricos. Ello implica en muchos casos la aplicación de técnicas de obtención de datos automatizadas dentro del OPAC, SIGB, etc.
• Cualitativos: Obtenidos mediante el análisis y valoración de las opiniones y percepciones sobre un determinado tema, servicio, sistema de información o proceso informativo.

Estructura de un indicador

• Denominación del indicador: Cada indicador debe tener un único nombre, que resulte descriptivo. También deberá incluir código alfanumérico para su más rápida identificación.

• Objetivo: Cada indicador debe tener un objetivo explícito, formulado en función de los servicios, actividades o utilización de los recursos que se vayan a evaluar.

• Campo de aplicación: Este apartado debe indicar a qué tipo de UID se puede aplicar el indicador. También puede expresar si es adecuado para su comparación o existen limitaciones para ello. Se pueden incluir aquí otras limitaciones en cuanto a la aplicación del indicador. El apartado puede incluir salvedades y ejemplos que muestren cómo se puede aplicar el indicador.

• Definición: Cada indicador se debe definir únicamente respecto a los datos que se han de recoger y/o a la relación que se debe establecer entre los mismos. El apartado debe incluir también las definiciones de los términos especiales utilizados en la definición del indicador, a no ser que estén ya definidos en alguna otra sección de esta Norma, así como los términos utilizados en la descripción del método que se vaya a emplear. Los términos inequívocos utilizados en sentido habitual no necesitan definirse.

• Método: Se deben describir de forma concisa los datos que hay que recoger y los cálculos que hay que llevar a cabo. Se debe indicar con claridad y concisión si para determinar el valor del indicador es necesario repetir alguna medida. Se pueden describir dos o mas métodos alternativos, por ejemplo. diferentes datos y cálculos utilizados para producir el mismo indicador. NOTA: Por ejemplo. utilizar recuentos totales en vez de muestreo, o utilizar una medida directa en vez de una estimada basada en datos diferentes.Si se describe más de un método, se debe describir primero el que se pueda aplicar de una forma más general. Si se va a utilizar un cuestionario, únicamente se incluirán las preguntas que se vayan a formular y la puntuación utilizada, y no una descripción detallada del diseño del cuestionario. Las descripciones de los métodos deben indicar, si es posible, el esfuerzo necesario para la preparación, recogida de los datos y análisis de los resultados.
• Interpretación y factores que afectan al indicador: La interpretación puede incluir la información necesaria para interpretar los resultados de la utilización del indicador. NOTA: Se puede indicar el intervalo de variación total del indicador, así como incluir un apartado indicando al usuario de esta Norma cuál es el valor ideal, si el máximo, mínimo u óptimo. El apartado de interpretación puede incluir información sobre la variabilidad esperada, por ejemplo, variaciones estacionales, o dependientes de la hora del día. Este apartado también puede incluir información sobre factores internos o externos a la biblioteca que pueden afectar a los resultados, a fin de favorecer la utilización de los indicadores de rendimiento como una herramienta de diagnóstico. Esta información se debe proporcionar de forma que sea posible detectar qué acciones llevadas a cabo por la biblioteca pueden contribuir a que se modifiquen los resultados en la forma deseada.

• Fuentes: Se pueden proporcionar referencias bibliográficas de la fuente del indicador. La descripción debe indicar con claridad si el indicador, tal como se describe en esta Norma, es una versión modificada del descrito en el documento fuente. Si la denominación del indicador es diferente de la utilizada en la fuente bibliográfica, se incluirá el nombre original entre paréntesis detrás de la referencia. Las referencias pueden incluir documentos que suministren una información más detallada sobre la utilización del indicador, métodos de recogida y análisis de los datos, etc.

Bibliografía

• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp39-57
• CSIC. (1999). Información y documentación. Indicadores de rendimiento bibliotecario (Primera parte). ISO 11620. UNE 50-137. Revista española de Documentación Científica.
  22(2), pp.231-232.