04.- La evaluación y su proceso

Tipos de estudios evaluativos

• Macroevaluación: Está constituida por los estudios evaluativos pasivos. Se debe medir, para detectar problemas y fallos en los sistemas de información y documentación; considerándose entonces como un estudio pasivo. En el momento en el que además se aportan soluciones y sugerencias a los fallos o problemas detectados se denomina estudio activo.

• Microevaluación: Está constituida por los estudios evaluativos activos. Tiene como objetivo detectar o establecer si el sistema funciona y responde correctamente a las metas y objetivos para los que se ha diseñado y además ha de responder a los siguientes aspectos: 
• Si el sistema de información y documentación proporciona los resultados esperados o deseados. 
• Si el sistema es rentable y funciona con las previsiones económicas. 
• En qué medida están formados los usuarios para que utilicen el sistema. 
• Analizar el impacto de los sistemas de información y documentación en su día a día. 
• Qué técnicas, métodos e iniciativas hay que tomar para aumentar la eficacia.

Fases del proceso de evaluación

Las fases del proceso de evaluación o metodología de la evaluación es el conjunto de operaciones, técnicas o instrumentos utilizados para medir o valorar con criterio científico, objetivo, ausente de subjetividad, reproducible, observable los fenómenos acontecidos en el entorno de la UID, el funcionamiento de sus sistemas de información, servicios, atención y respuestas ante los usuarios. Se determinan comúnmente las siguientes fases del proceso evaluativo:

1. Criterio de la evaluación
• Qué aspectos deben ser evaluados - Identificar qué indicadores utilizaremos
• Indicadores globales o particulares dependiendo de la evaluación general de la UID o de un servicio en particular.
2. Recogida de información
• La aporta el propio proceso de planificación
• Nos interesan los propósitos y objetivos del sistema
• Los componentes que integran el sistema de información y documentación
• Las propias funciones del sistema
• Entorno en el que aparece dicho sistema
• Información concreta del usuario y sobre el usuario
3. Tabulación y análisis de datos y elaboración de resultados
• Preparación de los datos para facilitar su análisis y estudio
• Comparación tabulada de resultados con los de otros centros análogos
• Obtención de los indicadores a partir de los datos cuantitativos
• Ordenación de los resultados o informaciones obtenidas mediante métodos cualitativos
4. Interpretación
• A partir de los datos comparativos y los resultados obtenidos establecer un juicio sobre la situación o estado de los servicios o sistemas analizados.
5. Difusión, publicación y acciones
• Elaboración de una publicación con los resultados obtenidos en el estudio de cara a su difusión y utilización en la toma de decisiones o re-planificación (feedback) de la UID.

Los indicadores evaluativos
Un indicador es la expresión (números, símbolos o palabras) utilizada para describir actividades (sucesos, objetos, personas) en términos cuantitativos y cualitativos, para evaluar dichas actividades y el método utilizado. (SEDIC, 1998)

Un indicador es cualquier variable o factor representativo del funcionamiento de un servicio, actividad o producto informativo y documental cuyo resultado es expresado en valores cuantitativos o cualitativos, obtenidos a través de la aplicación sistemática de un método científico basado en la observación, medición estadística, cálculo matemático, financiero, lógico y absoluto. (Blázquez Ochando, M. 2011)

Tipos de indicadores

• Cuantitativos: Obtenidos a través de métodos estadísticos, cienciométricos, bibliometricos o cibermétricos. Ello implica en muchos casos la aplicación de técnicas de obtención de datos automatizadas dentro del OPAC, SIGB, etc.
• Cualitativos: Obtenidos mediante el análisis y valoración de las opiniones y percepciones sobre un determinado tema, servicio, sistema de información o proceso informativo.

Estructura de un indicador

• Denominación del indicador: Cada indicador debe tener un único nombre, que resulte descriptivo. También deberá incluir código alfanumérico para su más rápida identificación.

• Objetivo: Cada indicador debe tener un objetivo explícito, formulado en función de los servicios, actividades o utilización de los recursos que se vayan a evaluar.

• Campo de aplicación: Este apartado debe indicar a qué tipo de UID se puede aplicar el indicador. También puede expresar si es adecuado para su comparación o existen limitaciones para ello. Se pueden incluir aquí otras limitaciones en cuanto a la aplicación del indicador. El apartado puede incluir salvedades y ejemplos que muestren cómo se puede aplicar el indicador.

• Definición: Cada indicador se debe definir únicamente respecto a los datos que se han de recoger y/o a la relación que se debe establecer entre los mismos. El apartado debe incluir también las definiciones de los términos especiales utilizados en la definición del indicador, a no ser que estén ya definidos en alguna otra sección de esta Norma, así como los términos utilizados en la descripción del método que se vaya a emplear. Los términos inequívocos utilizados en sentido habitual no necesitan definirse.

• Método: Se deben describir de forma concisa los datos que hay que recoger y los cálculos que hay que llevar a cabo. Se debe indicar con claridad y concisión si para determinar el valor del indicador es necesario repetir alguna medida. Se pueden describir dos o mas métodos alternativos, por ejemplo. diferentes datos y cálculos utilizados para producir el mismo indicador. NOTA: Por ejemplo. utilizar recuentos totales en vez de muestreo, o utilizar una medida directa en vez de una estimada basada en datos diferentes.Si se describe más de un método, se debe describir primero el que se pueda aplicar de una forma más general. Si se va a utilizar un cuestionario, únicamente se incluirán las preguntas que se vayan a formular y la puntuación utilizada, y no una descripción detallada del diseño del cuestionario. Las descripciones de los métodos deben indicar, si es posible, el esfuerzo necesario para la preparación, recogida de los datos y análisis de los resultados.
• Interpretación y factores que afectan al indicador: La interpretación puede incluir la información necesaria para interpretar los resultados de la utilización del indicador. NOTA: Se puede indicar el intervalo de variación total del indicador, así como incluir un apartado indicando al usuario de esta Norma cuál es el valor ideal, si el máximo, mínimo u óptimo. El apartado de interpretación puede incluir información sobre la variabilidad esperada, por ejemplo, variaciones estacionales, o dependientes de la hora del día. Este apartado también puede incluir información sobre factores internos o externos a la biblioteca que pueden afectar a los resultados, a fin de favorecer la utilización de los indicadores de rendimiento como una herramienta de diagnóstico. Esta información se debe proporcionar de forma que sea posible detectar qué acciones llevadas a cabo por la biblioteca pueden contribuir a que se modifiquen los resultados en la forma deseada.

• Fuentes: Se pueden proporcionar referencias bibliográficas de la fuente del indicador. La descripción debe indicar con claridad si el indicador, tal como se describe en esta Norma, es una versión modificada del descrito en el documento fuente. Si la denominación del indicador es diferente de la utilizada en la fuente bibliográfica, se incluirá el nombre original entre paréntesis detrás de la referencia. Las referencias pueden incluir documentos que suministren una información más detallada sobre la utilización del indicador, métodos de recogida y análisis de los datos, etc.

Bibliografía

• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp39-57
• CSIC. (1999). Información y documentación. Indicadores de rendimiento bibliotecario (Primera parte). ISO 11620. UNE 50-137. Revista española de Documentación Científica.
  22(2), pp.231-232.

03.- Qué es la evaluación

¿Qué es evaluar? 

• Evaluación es señalar o estimar el valor de una cosa. Tratar la evaluación, supone utilizar la medición para ponderar una cosa. 

• La evaluación es aquel proceso mediante el cual se intenta obtener un juicio de valor o una preciación de la bondad de un objeto de una actividad, de un proceso o de sus resultados. (Swanson, 1975)

Qué se persigue con la evaluación: Objetivos

• Medir la consecución de los objetivos previamente establecidos: Se determina si se cumple la evaluación con los factores de eficacia, eficiencia o factor de impacto de un servicio o sistema de información. 
• Concordancia con los objetivos operativos
• Coste del sistema de información
• Consecución de los objetivos planteados
• Logra mejorar servicios o sistemas precedentes
• Qué impacto tiene en la organización y sus usuarios

• Disponer de un instrumento para diagnosticar los puntos débiles en el funcionamiento: El instrumento puede ser el propio sistema de información o metodología específica para la medición de factores o indicadores de actividad, calidad, servicio, producción, etc.
• Se obtienen resultados de calidad y por lo tanto los resultados deseados
• Se llevan a cabo correctamente las operaciones y actividades documentales
• Puede el sistema de información o servicio ofrecer soluciones y respuestas a las necesidades de los usuarios

• Facilitar el proceso de la toma de decisiones: Utilizando información objetiva, no basadas en opiniones o suposiciones.
• Mantener o eliminar un servicio que se ha evaluado
• Optar por el uso de un procedimiento u otro en función de su rendimiento y beneficios
• Modificar estrategias
• Establecer nuevos sistemas de información.
• Introducir nuevas técnicas o procedimientos para mejorar el funcionamiento de los servicios y unidades de información y documentación.

• Permitir la comparación entre sistemas mediante la construcción de estándares de referencia: Evaluar la unidad de información y documentación en función de trabajos de evaluación de otras bibliotecas, centros de documentación o archivos. Por lo tanto se fijan unos indicadores comunes por los que determinar la eficiencia y eficacia de los servicios y procesos de la UID. Éste método también ha sido denominado evaluación exógena (Manuela de la Mano, 1998).

• Justificar la existencia de los sercicios y sistemas de información: Evaluar para justificar el buen funcionamiento y mantenimiento de un servicio en función de su rendimiento económico, difusión o alcance, resultados operativos, calidad de servicio y respuesta al usuario. Todo ello implica como resultado la satisfacción del usuario.

Tipos de evaluación

Además de la concepción general de la evaluación que aquí se expone, hay que considerar otros tipos de evaluación que si bien comparten el mismo origen y finalidad, tienen objetivos más especializados. De hecho no es lo mismo evaluar la UID desde un punto de vista económico, que efectuar un estudio cualitativo de sus servicios o procesos. Teniendo en cuenta esta consideración, definimos los siguientes tipos de evaluación especializada:

• Evaluación económica de la UID: Consiste en la definición de indicadores en los que se mide el coste, la inversión, los beneficios o el balance de los servicios, actividades y productos que se llevan a cabo en la UID. El objetivo de la evaluación económica es mejorar el rendimiento económico de la UID, recortando costes sin perjudicar la eficiencia de los servicios de información o la calidad de los productos resultantes, de tal forma que los beneficios resultantes puedan ser reinvertidos en la mejora y eliminación de las debilidades del centro, definidas en los análisis DAFO.

• Evaluación de servicios de la UID: Consiste en la definición de indicadores que miden la eficacia, eficiencia, capacidad de respuesta, satisfacción y calidad de los servicios activos de la UID. El objetivo es obtener datos cuantitativos del funcionamiento de los servicios, satisfacción de las necesidades de información del usuario, tiempo de respuesta, pertinencia y exhaustividad de los resultados. Dichos datos permiten diagnosticar si el PNT (Procedimiento Normalizado de Trabajo) es el adecuado, qué mejoras y rutinas hay que incluir para mejorar el resultado final del servicio, de cara a cumplir con los objetivos del plan estratégico-operativo.

• Evaluación de PNTs en la UID: Implica la evaluación de los pasos y rutinas del PNT, comprobando si se cumplen en la actividad habitual de los miembros de la UID. Durante la comprobación de los pasos del PNT puede detectarse su ejecución o no. Este fenómeno puede deberse a múltiples circunstancias y factores como una mala redacción del PNT o la existencia de algún paso susceptible de ser eliminado o bien por simplicidad del proceso o inutilidad en la consecución final de los objetivos. Por otro lado también pueden detectarse problemas de formación o falta de comunicación con los miembros de la UID.

• Evaluación de sistemas informáticos para la gestión de contenidos e información: Es la evaluación de los programas informáticos, procesos de automatización y sistemas de gestión integral de bibliotecas, centros de documentación, archivos y museos. Desde el funcionamiento del OPAC, hasta la página web de la UID, se pueden enmarcar dentro de este apartado. Estos sistemas exigen modelos de evaluación adaptados que sean capaces de medir su adaptación al entorno de la UID, detección de errores de ejecución,
  
• Evaluación de usuarios de información y documentación: Consiste en la obtención de información sobre los usuarios potenciales y reales de la UID, conociendo sus opiniones, comportamiento, necesidades de información y consideraciones con respecto a los servicios y sistemas de información y documentación proporcionados.

• Evaluación de recursos y fuentes de información: La evaluación de recursos y fuentes de información en red constituyen un apartado unívoco correspondiente al servicio de información y referencia de la UID. Evaluar tales contenidos permite conocer qué fuentes preferentes se deben consultar en primer lugar para resolver una demanda informativa. Determinar la disposición de metadatos Dublin Core, Web Semántica RDF, Ontologías OWL, la accesibilidad del recurso, la extensión y cantidad de información, la aplicación de procesos de steaming y análisis de frecuencias, así como la organización de los contenidos publicados con una estructura clasificatoria normalizada constituyen algunos de los factores estudiados en este apartado.

• Evaluación de la interacción usuario y recuperación de información: Es la evaluación de la satisfacción de las necesidades de información del usuario, dicho de otra forma, que la información obtenida por el IRS (Information Retrieval System) sea pertinente y realmente útil ante las consultas planteadas al sistema. Son objeto de medición el número de respuestas útiles o pertinentes, el número total de respuestas del sistema, el comportamiento del usuario, tiempo medio de permanencia en páginas de resultados, contabilización de backspaces o retornos de página, perseverancia de las consultas, número de veces que se reformuló una consulta, capacidad de recuperación del sistema de información, etc.

De todos los enfoques de la evaluación, serán objeto de estudio en esta asignatura los siguientes:

• Evaluación mediante estudios de usuarios
• Evaluación de procesos y servicios de la UID: Estudio de indicadores, INPUT y OUTPUT
• Evaluación de recursos y fuentes de información
• Evaluación de los sistemas de recuperación y el comportamiento de los usuarios

Bibliografía

• Mano, M. de la. (1998). Propuesta de un sistema de evaluación para bibliotecas universitarias. Revista Española de Documentación Científica, 21 (2). pp147-1987
• Swanson, R.W. (1975). Performing evaluation studies in Information science. Journal of the Information Society of Information Science, 3. pp140-156
• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp18-22