03.- Qué es la evaluación

¿Qué es evaluar? 

• Evaluación es señalar o estimar el valor de una cosa. Tratar la evaluación, supone utilizar la medición para ponderar una cosa. 

• La evaluación es aquel proceso mediante el cual se intenta obtener un juicio de valor o una preciación de la bondad de un objeto de una actividad, de un proceso o de sus resultados. (Swanson, 1975)

Qué se persigue con la evaluación: Objetivos

• Medir la consecución de los objetivos previamente establecidos: Se determina si se cumple la evaluación con los factores de eficacia, eficiencia o factor de impacto de un servicio o sistema de información. 
• Concordancia con los objetivos operativos
• Coste del sistema de información
• Consecución de los objetivos planteados
• Logra mejorar servicios o sistemas precedentes
• Qué impacto tiene en la organización y sus usuarios

• Disponer de un instrumento para diagnosticar los puntos débiles en el funcionamiento: El instrumento puede ser el propio sistema de información o metodología específica para la medición de factores o indicadores de actividad, calidad, servicio, producción, etc.
• Se obtienen resultados de calidad y por lo tanto los resultados deseados
• Se llevan a cabo correctamente las operaciones y actividades documentales
• Puede el sistema de información o servicio ofrecer soluciones y respuestas a las necesidades de los usuarios

• Facilitar el proceso de la toma de decisiones: Utilizando información objetiva, no basadas en opiniones o suposiciones.
• Mantener o eliminar un servicio que se ha evaluado
• Optar por el uso de un procedimiento u otro en función de su rendimiento y beneficios
• Modificar estrategias
• Establecer nuevos sistemas de información.
• Introducir nuevas técnicas o procedimientos para mejorar el funcionamiento de los servicios y unidades de información y documentación.

• Permitir la comparación entre sistemas mediante la construcción de estándares de referencia: Evaluar la unidad de información y documentación en función de trabajos de evaluación de otras bibliotecas, centros de documentación o archivos. Por lo tanto se fijan unos indicadores comunes por los que determinar la eficiencia y eficacia de los servicios y procesos de la UID. Éste método también ha sido denominado evaluación exógena (Manuela de la Mano, 1998).

• Justificar la existencia de los sercicios y sistemas de información: Evaluar para justificar el buen funcionamiento y mantenimiento de un servicio en función de su rendimiento económico, difusión o alcance, resultados operativos, calidad de servicio y respuesta al usuario. Todo ello implica como resultado la satisfacción del usuario.

Tipos de evaluación

Además de la concepción general de la evaluación que aquí se expone, hay que considerar otros tipos de evaluación que si bien comparten el mismo origen y finalidad, tienen objetivos más especializados. De hecho no es lo mismo evaluar la UID desde un punto de vista económico, que efectuar un estudio cualitativo de sus servicios o procesos. Teniendo en cuenta esta consideración, definimos los siguientes tipos de evaluación especializada:

• Evaluación económica de la UID: Consiste en la definición de indicadores en los que se mide el coste, la inversión, los beneficios o el balance de los servicios, actividades y productos que se llevan a cabo en la UID. El objetivo de la evaluación económica es mejorar el rendimiento económico de la UID, recortando costes sin perjudicar la eficiencia de los servicios de información o la calidad de los productos resultantes, de tal forma que los beneficios resultantes puedan ser reinvertidos en la mejora y eliminación de las debilidades del centro, definidas en los análisis DAFO.

• Evaluación de servicios de la UID: Consiste en la definición de indicadores que miden la eficacia, eficiencia, capacidad de respuesta, satisfacción y calidad de los servicios activos de la UID. El objetivo es obtener datos cuantitativos del funcionamiento de los servicios, satisfacción de las necesidades de información del usuario, tiempo de respuesta, pertinencia y exhaustividad de los resultados. Dichos datos permiten diagnosticar si el PNT (Procedimiento Normalizado de Trabajo) es el adecuado, qué mejoras y rutinas hay que incluir para mejorar el resultado final del servicio, de cara a cumplir con los objetivos del plan estratégico-operativo.

• Evaluación de PNTs en la UID: Implica la evaluación de los pasos y rutinas del PNT, comprobando si se cumplen en la actividad habitual de los miembros de la UID. Durante la comprobación de los pasos del PNT puede detectarse su ejecución o no. Este fenómeno puede deberse a múltiples circunstancias y factores como una mala redacción del PNT o la existencia de algún paso susceptible de ser eliminado o bien por simplicidad del proceso o inutilidad en la consecución final de los objetivos. Por otro lado también pueden detectarse problemas de formación o falta de comunicación con los miembros de la UID.

• Evaluación de sistemas informáticos para la gestión de contenidos e información: Es la evaluación de los programas informáticos, procesos de automatización y sistemas de gestión integral de bibliotecas, centros de documentación, archivos y museos. Desde el funcionamiento del OPAC, hasta la página web de la UID, se pueden enmarcar dentro de este apartado. Estos sistemas exigen modelos de evaluación adaptados que sean capaces de medir su adaptación al entorno de la UID, detección de errores de ejecución,
  
• Evaluación de usuarios de información y documentación: Consiste en la obtención de información sobre los usuarios potenciales y reales de la UID, conociendo sus opiniones, comportamiento, necesidades de información y consideraciones con respecto a los servicios y sistemas de información y documentación proporcionados.

• Evaluación de recursos y fuentes de información: La evaluación de recursos y fuentes de información en red constituyen un apartado unívoco correspondiente al servicio de información y referencia de la UID. Evaluar tales contenidos permite conocer qué fuentes preferentes se deben consultar en primer lugar para resolver una demanda informativa. Determinar la disposición de metadatos Dublin Core, Web Semántica RDF, Ontologías OWL, la accesibilidad del recurso, la extensión y cantidad de información, la aplicación de procesos de steaming y análisis de frecuencias, así como la organización de los contenidos publicados con una estructura clasificatoria normalizada constituyen algunos de los factores estudiados en este apartado.

• Evaluación de la interacción usuario y recuperación de información: Es la evaluación de la satisfacción de las necesidades de información del usuario, dicho de otra forma, que la información obtenida por el IRS (Information Retrieval System) sea pertinente y realmente útil ante las consultas planteadas al sistema. Son objeto de medición el número de respuestas útiles o pertinentes, el número total de respuestas del sistema, el comportamiento del usuario, tiempo medio de permanencia en páginas de resultados, contabilización de backspaces o retornos de página, perseverancia de las consultas, número de veces que se reformuló una consulta, capacidad de recuperación del sistema de información, etc.

De todos los enfoques de la evaluación, serán objeto de estudio en esta asignatura los siguientes:

• Evaluación mediante estudios de usuarios
• Evaluación de procesos y servicios de la UID: Estudio de indicadores, INPUT y OUTPUT
• Evaluación de recursos y fuentes de información
• Evaluación de los sistemas de recuperación y el comportamiento de los usuarios

Bibliografía

• Mano, M. de la. (1998). Propuesta de un sistema de evaluación para bibliotecas universitarias. Revista Española de Documentación Científica, 21 (2). pp147-1987
• Swanson, R.W. (1975). Performing evaluation studies in Information science. Journal of the Information Society of Information Science, 3. pp140-156
• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp18-22