Práctica 5: Estudio de usuarios 1

Instrucciones

• Formar grupos de 4 personas para preparar un estudio de usuarios especializado en la Biblioteca de la Facultad de Ciencias de la Documentación.
• Se rellenará a continuación una tabla con las preguntas seleccionadas con el orden de aparición definitivo en el estudio de usuarios.
• Finalmente se preparará el estudio de usuarios en formato impreso.

Descargar Práctica 5

06.- Los estudios de usuarios. Parte2

Etapa de Diseño y Construcción de Cuestionarios

• Identificación de la lista de las dimensiones o características de calidad: 

• Es el conjunto de aspectos que determinan el grado de satisfacción de los usuarios respecto al sistema de información y documentación. Definir lo que espera el usuario de los servicios del centro y qué cuestiones le harán sentirse satisfecho. En este sentido es una mezcla de características del sistema y necesidades de los usuarios, desideratas, etc.
   
• Definir estas dimensiones, características o factores de calidad, ha centrado la atención de varios autores.

• TESSIER: Publica un artículo “Special Libraries” donde determina una relación de dimensiones, cantidad y calidad de los servicios y productos, así como la interacción con el sistema y con los intermediarios, política del servicio y funcionamiento global del sistema.

• LANCASTER Y WARNER: Sobre el coste y tiempo invertidos y calidad de los productos y servicios. (Siendo este último el principal condicionante)

•  GRIFFITHS Y KING: Dimensiones más ligadas al propio usuario (Conocimiento, actitudes, valoración del sistema de información, uso del mismo y propósitos de uso de la información obtenida).

• BAILEY Y PEARSON: Dimensiones para evaluar un sistema de información automatizado. Se basó su sistema en varios métodos, definiendo 38 enunciados o características de calidad:

• Flexibilidad del sistema.
• Cobertura.
• Competencia técnica del personal.
• Actualización de la información (Tiempo de Respuesta).
• Actitud del personal.
• Utilidad percibida y uso de la información o efecto en el trabajo.
• Aplicación o procesamiento de los cambios que se solicitaban.
• Comunicación y relación con el personal.
• Nivel de entrenamiento de formación de usuarios.
• Formato de salida de información y la interface.
• Traducción de las dimensiones a preguntas.
• Evaluación de la validez y fiabilidad del cuestionario como instrumento de medida. (Si de verdad permite obtener los objetivos propuestos)

• Ejemplo: Dimensiones y Características de calidad sobre el sistema o los usuarios.

El Formato de Respuesta

Tipo de respuestas cerradas en función del formato de respuesta

1. Dicotómicas: Presentan 2 posibles categorías de respuesta: Sí o No
2. Checklist: No se plantean una pregunta pero si afirmaciones o aseveraciones conforme al producto a evaluar. Se responderá si encaja con la opinión del usuario, pudiendo marcar únicamente una opción disponible. Ejemplo: El Personal me atendió bien….. Si o No
3. Elección múltiple: Presentan una o varias posibilidades de respuesta. Ejemplo: Qué servicios ha utilizado; Préstamo, Consulta, Base de Datos. El usuario ha podido utilizar más de uno.
4. Escala de Likert: están relacionadas las escalas de Importancia, de valores y de uso. Permite que el usuario exprese su opinión sobre la calidad mediante los valores de una escala. En un extremo de la misma se incluye la categoría más positiva y en el otro lado la más negativa.
• Ej.: Muy Satisfecho – Satisfecho – Insatisfecho.
• Ej.: La UID presta un buen servicio de referencia: Estoy muy de acuerdo – De acuerdo – Nada de Acuerdo.
5. Diferencial semántico: se presentan dos conceptos opuestos sin gradación. Se presenta una categoría y su opuesta. (Son formatos de salida poco frecuentes).
6. Escala de importancia: se utiliza el término Importante en la gradación: muy importante, indiferente, poco importante.
7. Escala de valores: aporta atributos como bueno, malo, pésimo, excelente, muy correcto.
8. Escala de intención de uso: utilizada en estudios de necesidades informativas y de caso a la implantación de nuevos servicios y productos.

Ej.: Si existiera un servicio X: Probablemente lo usaría, No lo usaría.

Tipos de Preguntas abiertas en función del Formato de Respuesta:

1. Preguntas abiertas básicas: el encuestador puede responder como le parezca de manera libre o abierta.
2. Asociación de palabras: son preguntas abiertas un poco más restringidas; se suele ofrecer una relación de afirmaciones y como colofón a éstas el encuestador aporta la palabra que se le ocurre a las afirmaciones. Ejemplo: ¿cómo valoras el servicio? desastroso; ¿y el préstamo de materiales? escaso
3. Completar oraciones: presentamos una oración inacabada y el encuestador termina la oración. Visito la biblioteca para…. (el usuario responde)
4. Completar historias: se muestra una historia en un párrafo y el encuestado la completa.
5. Completar dibujos: de cara a usuarios infantiles.

Recomendaciones para la elaboración del Cuestionario

• Definir claramente los objetivos del estudio de usuarios que pretendemos realizar.
• En el apartado de presentación hay que realizar un protocolo de presentación.
• Presentación del encuestador.
• Justificación y realización del cuestionario.
• Garantizar el anonimato del encuestado y la confidencialidad de los datos.
• Agradecer de antemano la participación
• Ejemplos o explicaciones de cómo realizar el cuestionario, es decir, las instrucciones que se crean precisas.
• Organización de las preguntas
• Las preguntas más sencillas al principio, que además coincidirán con las más generales, para que gradualmente se llegue al final del cuestionario con las preguntas más complejas y específicas. (Relación con la psicología)
• Formular las preguntas de la forma más clara y precisa. Si una pregunta es demasiado compleja, es mejor dividirla en dos o más preguntas.
• El cuestionario no deberá ser muy largo, para no exceder en tiempo de contestación por parte del usuario. Aunque no hay ninguna regla de tiempo, es importante determinar el tiempo que tardaría el usuario medio en cumplimentar nuestro formulario. 15 minutos recomendado
• Es importante evitar preguntas que induzcan la respuesta del usuario. (Para mantener un grado de objetividad)
• Evitar la jerga bibliotecaria o palabras poco usuales.
• Es importante introducir preguntas filtro, que son aquellas que dicen al usuario que partes debe responder.

Ejemplo: ¿Conoce el servicio X? si o no // Si las preguntas posteriores son sobre X, y el usuario lo conoce, se le remite a otro punto del formulario.

• La secuencia del embudo plantea las preguntas progresivamente, siguiendo una gradación de lo más general a lo más particular:

• Ejemplo: ¿Le gusta leer? si o no >> ¿Qué genero le gusta más? novela o poesía >> ¿Que Novelista le gusta más? X o Y.

• Consejos Adicionales:

• Es fundamental que los profesionales y usuarios se sientan implicados. Que la cumplimentación del formulario servirá para mejorar el servicio.
• El formulario no solamente incluye las preguntas, sino que es un instrumento para recoger las respuestas; Por tanto:
• Hay que numerar las Preguntas.
• Dejar espacio suficiente para contestar.
• Colocar avisos señalizados para crear bloques de preguntas

Práctica4. Cuestionarios en red

La práctica de cuestionarios en red tiene como objetivo conocer una de las herramientas más importantes para la edición de encuestas, aplicables a cualquier tipo de caso y en especial a las bibliotecas, archivos y museos. Se utilizarán las herramientas de Google Docs, se elaborarán varios cuestionarios de prueba previos a los definitivos que se crearán en las prácticas 4 y 5. 

Instrucciones

1. Crear una cuenta de correo Gmail en Google a fin de poder utilizar el servicio Google Docs. 
2. Crear un formulario en Google Docs con 10 preguntas, probando todos los tipos de pregunta que proporciona la herramienta. Cumplimentar los apartados de ayuda para cada pregunta y finalmente publicar el formulario.
3. Copiar la referencia URL del formulario que has creado y una impresión de pantalla del mismo.
4. Rellenar el formulario con una respuesta ficticia para probar el funcionamiento del cuestionario.
5. Comprobar el spreadsheets del formulario, ver si en efecto se recibió o almacenó la respuesta ficticia e imprimir pantalla justificante.

• Descargar Práctica4. Cuestionarios en red

05.- Los estudios de usuarios. Parte1

¿Qué se entiende por estudios de Usuarios?

Son aquellos cuyo objetivo es obtener información sobre los usuarios potenciales y reales, sus opiniones,  conducta y valoración respecto a los sistemas de información y documentación o a la información que éstos proporcionan.

Condiciones que determinan la existencia de distintos tipos de estudios de usuarios:

• Los objetivos que se plantee el estudio ¿Qué se propone medir el estudio?
• La aplicación concreta de métodos para la realización del estudio.
• El sujeto investigado.
• La fase del ciclo vital del sistema de información.

Conceptos de Necesidad, Deseo, Demanda y Uso:

• Necesidad de información: Aquel contenido que un individuo debe poseer para el desempeño de su trabajo, investigación o actividades.
• Deseo informativo: Estadio previo a la necesidad de información del individuo, en la que éste intuye las posibles aplicaciones de un contenido informativo. Cuando se sucede la dependencia del mismo, se crea la necesidad de información, lo que desemboca la demanda de información.
• Demanda de información: Es la formulación del deseo del usuario.
• Uso: Lo que el individuo utiliza realmente como resultado de la recuperación o explotación de la información del sistema.

(Qué es un Estudio de Impacto: Pretende demostrar en que forma impacta el sistema de información y documentación en el usuario; Si desempeña mejor su trabajo a raíz de que se satisfagan las necesidades de información. Para ello es necesario realizar un estudio de uso y de las necesidades de información del usuario)

Relación de los Conceptos de Necesidad, Deseo, Demanda y Uso:

• Necesidad / Deseo: Siempre estará relacionado con los estudios de usuarios potenciales y reales y los estudios de necesidades de información.

• Demanda / Uso: Relacionado con los usuarios reales, e implica el estudio de uso, estudio de satisfacción e estudio de impacto.

Métodos empleados para la realización de estudios de usuarios.

• Métodos Directos: Cuando se aplican en estudios de usuarios; permiten obtener información de manera directa del usuario. Requieren acudir directamente al usuario en persona.
• La realización de cuestionarios y entrevistas.
• Observaciones de los hábitos de búsqueda.
• Métodos de consenso: La Técnica Delphy y el Focus Group.
• La Técnica del Incidente Crítico.

• Métodos Indirectos:
• Análisis de Citas.
• Análisis de Referencias.
• Análisis de Peticiones de documentos.

(Aunque un mismo método se puede emplear para diferentes estudios, según la literatura clásica existe una correspondencia entre el estudio y el método. Ejemplo: Cuestionario y el Estudio de Usuarios)

Tipología de Estudios de Usuarios

• Primer Bloque: Usuarios Potenciales
• Estudios de necesidades de información de los usuarios.

• Segundo Bloque: Usuarios Reales
• Enfoque Cuantitativo: Estudios de Uso; Pretenden analizar el uso que de una unidad de información y documentación se está haciendo.
• Estudios de Uso: Sobre Productos
• Estudios de Uso: Sobre Tipologías Documentales
• Estudios de Uso: De Colectivos sin estar en un Centro de Documentación Enmarcado.
• Enfoque Cualitativo: Estudios de Satisfacción e Impacto.

(Recuérdese que el alcance o amplitud del estudio es mucho mayor si hablamos de estudios potenciales que de usuarios reales)

Fases del Ciclo Vital de un sistema de Información y Documentación; donde se lleva a cabo un estudio de Usuarios:

• Primer Bloque:
• Planificación
• Viabilidad
• Diseño
• Implantación
• Funcionamiento

• Segundo Bloque:
• Funcionamiento y Estudios de Uso, Estudios de Satisfacción y Estudios de Impacto sobre usuarios reales.

Los Cuestionarios

Son el conjunto de preguntas preparadas de forma anidada, sobre hechos y aspectos que interesan en una investigación. (En este contexto, estudio de usuarios) para su contestación por la población general o por una muestra de la misma. Esto incluye usuarios reales y potenciales.

• Utilidad del cuestionario:
• Marca un orden en la entrevista.
• Facilita la recogida de grandes cantidades de datos en poco tiempo.
• Permiten la homogeneidad, las preguntas se plantean de la misma manera.
• Sirve de plantilla para recoger la información, permitiendo la fácil tabulación de los datos.

• Clasificación del cuestionario en función del grado de libertad que se da al encuestado cuando plantea las cuestiones: Qué posibilidades se dan al encuestador para Modificar / Cambiar las preguntas, siempre desde una base.
• Cuestionarios estructurados: No permiten variación alguna, se plantea de la misma forma, secuencia y orden. Son Puros.
• Cuestionarios no estructurados: Pueden llegar a ser una relación de puntos a tratar como base de unas ideas principales. Utilizados para entrevistas, grupos de discusión y métodos de consenso.
• Cuestionarios semi-estructurados: Son mixtos, a medio camino entre un tipo y otro. Generalmente son la base de las entrevistas en profundidad. Habitualmente contiene más preguntas abiertas y menos preguntas cerradas

• Clasificación del cuestionario según el modo de administración: se diferencian el modelo auto-administrado y las entrevistas.
• Auto-administrado: Los usuarios contestan las preguntas sin intervención del encuestador
• Entrevistas: Se da una intervención directa del encuestador con los usuarios. Lleva más tiempo para realizarlo y resulta más costoso.

Comparativa entre los cuestionarios auto-administrados y las entrevistas

Entrevistas	Auto Administrados
El Entrevistador formular las preguntas y anota las respuestas.	Las Preguntas están formuladas a priori y es el usuario quien anota las respuestas.
Preguntas No Fijas Necesariamente.	Preguntas fijas y estandarizadas.
Relación Entrevistador / Entrevistado.	No hay relación Entrevistador / Entrevistado.
Ventajas	Ventajas
-          Comprensión de las preguntas más problemáticas o complejas. -          Respuestas con matices. -          Tasa de Respuestas Elevada.	-          Rapidez y facilidad de aplicación y administración. Invitar a la participación de los usuarios. -          Bajo Coste. -          Garantiza la objetividad por no estar mediatizado o influido por el encuestador.
Inconvenientes	Inconvenientes
-          Posible Sesgo del entrevistador (Subjetividad). -          Elevado coste de tiempo y personal. -          Cada Entrevista debe realizarse individualmente.	-          Requiere que las preguntas e instrucciones sean sencillas (Transparentes, claras), puesto que no se les puede aclarar inicialmente nada. -          Se obtienen respuestas sin matices; en ocasiones los encuestados no responden. -          Tasa alta de preguntas sin respuesta. O respuestas de poca calidad.

Práctica3. Indicadores

Asimiladas las bases para constituir indicadores y habiendo comprobado la dificultad que entraña pensar en términos de evaluación de servicios, se tratará de poner en práctica y refinar los conocimientos evaluativos a un caso concreto. En este documento se deberá elaborar 1 indicador utilizando la estructura y forma propuesta anteriormente. 

Instrucciones

1. Se deberán consultar en primer lugar las estadísticas del INE sobre bibliotecas del año 2008 (Último año disponible). Disponible en: http://www.ine.es/jaxi/menu.do?type=pcaxis&path=/t12/p403/a2008&file=pcaxis

2. Seleccionar las estadísticas sobre las altas de documentos en las bibliotecas y los gastos y establecer un coeficiente que correlacione ambos factores. Cómo lo calcularías, cómo lo definirías, en todo caso para qué serviría su medición.
   
   
3. Qué datos obtendrías de aplicar el método de éste indicador. Utiliza una hoja excell y pega los resultados a continuación. Descargar Práctica3

Práctica2. Desarrollando un indicador

Partiendo de la práctica anterior en la que se describieron 10 posibles indicadores para la evaluación de un servicio en una UID, se propone la selección de uno de ellos para su desarrollo exhaustivo conforme a la estructura real de un indicador; 1) denominación del indicador, 2) objetivo, 3) campo de aplicación, 4) definición, 5) método, 6) interpretación y factores que afectan al indicador, 7) fuentes.

• Descargar Práctica2. Desarrollando un indicador

04.- La evaluación y su proceso

Tipos de estudios evaluativos

• Macroevaluación: Está constituida por los estudios evaluativos pasivos. Se debe medir, para detectar problemas y fallos en los sistemas de información y documentación; considerándose entonces como un estudio pasivo. En el momento en el que además se aportan soluciones y sugerencias a los fallos o problemas detectados se denomina estudio activo.

• Microevaluación: Está constituida por los estudios evaluativos activos. Tiene como objetivo detectar o establecer si el sistema funciona y responde correctamente a las metas y objetivos para los que se ha diseñado y además ha de responder a los siguientes aspectos: 
• Si el sistema de información y documentación proporciona los resultados esperados o deseados. 
• Si el sistema es rentable y funciona con las previsiones económicas. 
• En qué medida están formados los usuarios para que utilicen el sistema. 
• Analizar el impacto de los sistemas de información y documentación en su día a día. 
• Qué técnicas, métodos e iniciativas hay que tomar para aumentar la eficacia.

Fases del proceso de evaluación

Las fases del proceso de evaluación o metodología de la evaluación es el conjunto de operaciones, técnicas o instrumentos utilizados para medir o valorar con criterio científico, objetivo, ausente de subjetividad, reproducible, observable los fenómenos acontecidos en el entorno de la UID, el funcionamiento de sus sistemas de información, servicios, atención y respuestas ante los usuarios. Se determinan comúnmente las siguientes fases del proceso evaluativo:

1. Criterio de la evaluación
• Qué aspectos deben ser evaluados - Identificar qué indicadores utilizaremos
• Indicadores globales o particulares dependiendo de la evaluación general de la UID o de un servicio en particular.
2. Recogida de información
• La aporta el propio proceso de planificación
• Nos interesan los propósitos y objetivos del sistema
• Los componentes que integran el sistema de información y documentación
• Las propias funciones del sistema
• Entorno en el que aparece dicho sistema
• Información concreta del usuario y sobre el usuario
3. Tabulación y análisis de datos y elaboración de resultados
• Preparación de los datos para facilitar su análisis y estudio
• Comparación tabulada de resultados con los de otros centros análogos
• Obtención de los indicadores a partir de los datos cuantitativos
• Ordenación de los resultados o informaciones obtenidas mediante métodos cualitativos
4. Interpretación
• A partir de los datos comparativos y los resultados obtenidos establecer un juicio sobre la situación o estado de los servicios o sistemas analizados.
5. Difusión, publicación y acciones
• Elaboración de una publicación con los resultados obtenidos en el estudio de cara a su difusión y utilización en la toma de decisiones o re-planificación (feedback) de la UID.

Los indicadores evaluativos
Un indicador es la expresión (números, símbolos o palabras) utilizada para describir actividades (sucesos, objetos, personas) en términos cuantitativos y cualitativos, para evaluar dichas actividades y el método utilizado. (SEDIC, 1998)

Un indicador es cualquier variable o factor representativo del funcionamiento de un servicio, actividad o producto informativo y documental cuyo resultado es expresado en valores cuantitativos o cualitativos, obtenidos a través de la aplicación sistemática de un método científico basado en la observación, medición estadística, cálculo matemático, financiero, lógico y absoluto. (Blázquez Ochando, M. 2011)

Tipos de indicadores

• Cuantitativos: Obtenidos a través de métodos estadísticos, cienciométricos, bibliometricos o cibermétricos. Ello implica en muchos casos la aplicación de técnicas de obtención de datos automatizadas dentro del OPAC, SIGB, etc.
• Cualitativos: Obtenidos mediante el análisis y valoración de las opiniones y percepciones sobre un determinado tema, servicio, sistema de información o proceso informativo.

Estructura de un indicador

• Denominación del indicador: Cada indicador debe tener un único nombre, que resulte descriptivo. También deberá incluir código alfanumérico para su más rápida identificación.

• Objetivo: Cada indicador debe tener un objetivo explícito, formulado en función de los servicios, actividades o utilización de los recursos que se vayan a evaluar.

• Campo de aplicación: Este apartado debe indicar a qué tipo de UID se puede aplicar el indicador. También puede expresar si es adecuado para su comparación o existen limitaciones para ello. Se pueden incluir aquí otras limitaciones en cuanto a la aplicación del indicador. El apartado puede incluir salvedades y ejemplos que muestren cómo se puede aplicar el indicador.

• Definición: Cada indicador se debe definir únicamente respecto a los datos que se han de recoger y/o a la relación que se debe establecer entre los mismos. El apartado debe incluir también las definiciones de los términos especiales utilizados en la definición del indicador, a no ser que estén ya definidos en alguna otra sección de esta Norma, así como los términos utilizados en la descripción del método que se vaya a emplear. Los términos inequívocos utilizados en sentido habitual no necesitan definirse.

• Método: Se deben describir de forma concisa los datos que hay que recoger y los cálculos que hay que llevar a cabo. Se debe indicar con claridad y concisión si para determinar el valor del indicador es necesario repetir alguna medida. Se pueden describir dos o mas métodos alternativos, por ejemplo. diferentes datos y cálculos utilizados para producir el mismo indicador. NOTA: Por ejemplo. utilizar recuentos totales en vez de muestreo, o utilizar una medida directa en vez de una estimada basada en datos diferentes.Si se describe más de un método, se debe describir primero el que se pueda aplicar de una forma más general. Si se va a utilizar un cuestionario, únicamente se incluirán las preguntas que se vayan a formular y la puntuación utilizada, y no una descripción detallada del diseño del cuestionario. Las descripciones de los métodos deben indicar, si es posible, el esfuerzo necesario para la preparación, recogida de los datos y análisis de los resultados.
• Interpretación y factores que afectan al indicador: La interpretación puede incluir la información necesaria para interpretar los resultados de la utilización del indicador. NOTA: Se puede indicar el intervalo de variación total del indicador, así como incluir un apartado indicando al usuario de esta Norma cuál es el valor ideal, si el máximo, mínimo u óptimo. El apartado de interpretación puede incluir información sobre la variabilidad esperada, por ejemplo, variaciones estacionales, o dependientes de la hora del día. Este apartado también puede incluir información sobre factores internos o externos a la biblioteca que pueden afectar a los resultados, a fin de favorecer la utilización de los indicadores de rendimiento como una herramienta de diagnóstico. Esta información se debe proporcionar de forma que sea posible detectar qué acciones llevadas a cabo por la biblioteca pueden contribuir a que se modifiquen los resultados en la forma deseada.

• Fuentes: Se pueden proporcionar referencias bibliográficas de la fuente del indicador. La descripción debe indicar con claridad si el indicador, tal como se describe en esta Norma, es una versión modificada del descrito en el documento fuente. Si la denominación del indicador es diferente de la utilizada en la fuente bibliográfica, se incluirá el nombre original entre paréntesis detrás de la referencia. Las referencias pueden incluir documentos que suministren una información más detallada sobre la utilización del indicador, métodos de recogida y análisis de los datos, etc.

Bibliografía

• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp39-57
• CSIC. (1999). Información y documentación. Indicadores de rendimiento bibliotecario (Primera parte). ISO 11620. UNE 50-137. Revista española de Documentación Científica.
  22(2), pp.231-232.

03.- Qué es la evaluación

¿Qué es evaluar? 

• Evaluación es señalar o estimar el valor de una cosa. Tratar la evaluación, supone utilizar la medición para ponderar una cosa. 

• La evaluación es aquel proceso mediante el cual se intenta obtener un juicio de valor o una preciación de la bondad de un objeto de una actividad, de un proceso o de sus resultados. (Swanson, 1975)

Qué se persigue con la evaluación: Objetivos

• Medir la consecución de los objetivos previamente establecidos: Se determina si se cumple la evaluación con los factores de eficacia, eficiencia o factor de impacto de un servicio o sistema de información. 
• Concordancia con los objetivos operativos
• Coste del sistema de información
• Consecución de los objetivos planteados
• Logra mejorar servicios o sistemas precedentes
• Qué impacto tiene en la organización y sus usuarios

• Disponer de un instrumento para diagnosticar los puntos débiles en el funcionamiento: El instrumento puede ser el propio sistema de información o metodología específica para la medición de factores o indicadores de actividad, calidad, servicio, producción, etc.
• Se obtienen resultados de calidad y por lo tanto los resultados deseados
• Se llevan a cabo correctamente las operaciones y actividades documentales
• Puede el sistema de información o servicio ofrecer soluciones y respuestas a las necesidades de los usuarios

• Facilitar el proceso de la toma de decisiones: Utilizando información objetiva, no basadas en opiniones o suposiciones.
• Mantener o eliminar un servicio que se ha evaluado
• Optar por el uso de un procedimiento u otro en función de su rendimiento y beneficios
• Modificar estrategias
• Establecer nuevos sistemas de información.
• Introducir nuevas técnicas o procedimientos para mejorar el funcionamiento de los servicios y unidades de información y documentación.

• Permitir la comparación entre sistemas mediante la construcción de estándares de referencia: Evaluar la unidad de información y documentación en función de trabajos de evaluación de otras bibliotecas, centros de documentación o archivos. Por lo tanto se fijan unos indicadores comunes por los que determinar la eficiencia y eficacia de los servicios y procesos de la UID. Éste método también ha sido denominado evaluación exógena (Manuela de la Mano, 1998).

• Justificar la existencia de los sercicios y sistemas de información: Evaluar para justificar el buen funcionamiento y mantenimiento de un servicio en función de su rendimiento económico, difusión o alcance, resultados operativos, calidad de servicio y respuesta al usuario. Todo ello implica como resultado la satisfacción del usuario.

Tipos de evaluación

Además de la concepción general de la evaluación que aquí se expone, hay que considerar otros tipos de evaluación que si bien comparten el mismo origen y finalidad, tienen objetivos más especializados. De hecho no es lo mismo evaluar la UID desde un punto de vista económico, que efectuar un estudio cualitativo de sus servicios o procesos. Teniendo en cuenta esta consideración, definimos los siguientes tipos de evaluación especializada:

• Evaluación económica de la UID: Consiste en la definición de indicadores en los que se mide el coste, la inversión, los beneficios o el balance de los servicios, actividades y productos que se llevan a cabo en la UID. El objetivo de la evaluación económica es mejorar el rendimiento económico de la UID, recortando costes sin perjudicar la eficiencia de los servicios de información o la calidad de los productos resultantes, de tal forma que los beneficios resultantes puedan ser reinvertidos en la mejora y eliminación de las debilidades del centro, definidas en los análisis DAFO.

• Evaluación de servicios de la UID: Consiste en la definición de indicadores que miden la eficacia, eficiencia, capacidad de respuesta, satisfacción y calidad de los servicios activos de la UID. El objetivo es obtener datos cuantitativos del funcionamiento de los servicios, satisfacción de las necesidades de información del usuario, tiempo de respuesta, pertinencia y exhaustividad de los resultados. Dichos datos permiten diagnosticar si el PNT (Procedimiento Normalizado de Trabajo) es el adecuado, qué mejoras y rutinas hay que incluir para mejorar el resultado final del servicio, de cara a cumplir con los objetivos del plan estratégico-operativo.

• Evaluación de PNTs en la UID: Implica la evaluación de los pasos y rutinas del PNT, comprobando si se cumplen en la actividad habitual de los miembros de la UID. Durante la comprobación de los pasos del PNT puede detectarse su ejecución o no. Este fenómeno puede deberse a múltiples circunstancias y factores como una mala redacción del PNT o la existencia de algún paso susceptible de ser eliminado o bien por simplicidad del proceso o inutilidad en la consecución final de los objetivos. Por otro lado también pueden detectarse problemas de formación o falta de comunicación con los miembros de la UID.

• Evaluación de sistemas informáticos para la gestión de contenidos e información: Es la evaluación de los programas informáticos, procesos de automatización y sistemas de gestión integral de bibliotecas, centros de documentación, archivos y museos. Desde el funcionamiento del OPAC, hasta la página web de la UID, se pueden enmarcar dentro de este apartado. Estos sistemas exigen modelos de evaluación adaptados que sean capaces de medir su adaptación al entorno de la UID, detección de errores de ejecución,
  
• Evaluación de usuarios de información y documentación: Consiste en la obtención de información sobre los usuarios potenciales y reales de la UID, conociendo sus opiniones, comportamiento, necesidades de información y consideraciones con respecto a los servicios y sistemas de información y documentación proporcionados.

• Evaluación de recursos y fuentes de información: La evaluación de recursos y fuentes de información en red constituyen un apartado unívoco correspondiente al servicio de información y referencia de la UID. Evaluar tales contenidos permite conocer qué fuentes preferentes se deben consultar en primer lugar para resolver una demanda informativa. Determinar la disposición de metadatos Dublin Core, Web Semántica RDF, Ontologías OWL, la accesibilidad del recurso, la extensión y cantidad de información, la aplicación de procesos de steaming y análisis de frecuencias, así como la organización de los contenidos publicados con una estructura clasificatoria normalizada constituyen algunos de los factores estudiados en este apartado.

• Evaluación de la interacción usuario y recuperación de información: Es la evaluación de la satisfacción de las necesidades de información del usuario, dicho de otra forma, que la información obtenida por el IRS (Information Retrieval System) sea pertinente y realmente útil ante las consultas planteadas al sistema. Son objeto de medición el número de respuestas útiles o pertinentes, el número total de respuestas del sistema, el comportamiento del usuario, tiempo medio de permanencia en páginas de resultados, contabilización de backspaces o retornos de página, perseverancia de las consultas, número de veces que se reformuló una consulta, capacidad de recuperación del sistema de información, etc.

De todos los enfoques de la evaluación, serán objeto de estudio en esta asignatura los siguientes:

• Evaluación mediante estudios de usuarios
• Evaluación de procesos y servicios de la UID: Estudio de indicadores, INPUT y OUTPUT
• Evaluación de recursos y fuentes de información
• Evaluación de los sistemas de recuperación y el comportamiento de los usuarios

Bibliografía

• Mano, M. de la. (1998). Propuesta de un sistema de evaluación para bibliotecas universitarias. Revista Española de Documentación Científica, 21 (2). pp147-1987
• Swanson, R.W. (1975). Performing evaluation studies in Information science. Journal of the Information Society of Information Science, 3. pp140-156
• Abad García, M.F. (2005). Evaluación de la calidad de los sistemas de información. Madrid: Síntesis. pp18-22

Práctica 1: La monitorización y control

El concepto de monitorización y control hacen alusión al cuidado periódico de una serie de factores, indicadores o variables de un proceso, trabajo, actividad o planificación, como resulta el caso. En el contexto de la planificación, ésta se nutre de los resultados que se obtienen de su puesta en práctica y como se puede intuir de la recogida de los datos o de la información pertinente que nos permita determinar un correcto funcionamiento, implantación o puesta en marcha de un servicio, sistema de información, trabajo o actividad. Ello se consigue mediante la revisión, cálculo y definición de indicadores cualitativos y cuantitativos que variarán dependiendo de la ejecución de los planes previstos, ofreciendo unos resultados interpretables que faciliten sucesivas actuaciones que redunden en la mejora del servicio.

La práctica propuesta tiene como objetivo tomar contacto con los denominados indicadores, factores de revisión y control que permitan monitorizar un servicio o sistema de información ya conocido. Este trabajo previo será continuado y ampliado por terceras prácticas.

Instrucciones

1. Elige un centro de información y documentación, describe su URL, servicios fuentes documentales propias, catálogos y bases de datos y el servicio o sistema de información elegido para esta práctica.
   
   
2. Determina 10 parámetros que someterías a control exhaustivo para su correcto funcionamiento. Razona cada caso.
   
   
3. Utiliza la siguiente plantilla de respuestas y envía el resultado por medio del campus virtual. Descargar Práctica1