07.- Los estudios de usuarios. Parte3

Evaluación de la Validez y Fiabilidad del Cuestionario Diseñado

Fiabilidad: Es el grado en el que las mediciones están libres de desviaciones producidas por errores casuales.

Test Retest: Establece la capacidad que tiene el cuestionario cuando proporciona las mismas respuestas cuando se aplica al mismo usuario en distintas situaciones. Es decir la capacidad que tiene para evitar las desviaciones de las respuestas.

Validez: Es la capacidad del cuestionario para medir aquello para lo que ha sido confeccionado: Se ha de medir la validez por:

• La validez lógica: Se relaciona con que las preguntas del formulario sirven verdaderamente para recoger la información, sobre lo que pretendemos medir. Si hay preguntas en blanco o hay respuestas de No Sabe / No Contesta, hay que sospechar de la validez lógica de ese formulario.
  
• La validez de contenido: Que todos los aspectos de dimensiones de calidad estén presentes en el contenido del formulario
• La validez consensuada: Consiste en confrontar las ideas sobre el cuestionario y pedir opinión a otros profesionales. Es mejor la participación de más de un profesional.

Métodos directos de evaluación
Permiten obtener información directa de o sobre el usuario.

• La realización de cuestionarios y entrevistas.
• Observación de los hábitos de búsqueda.
• Método de consenso: La técnica Delphy y Focus Group.
• La técnica del incidente crítico.

La Observación de los Hábitos de Búsqueda: Son métodos de investigación cualitativos. Supone cierta habilidad para detectar y estudiar los hábitos de consulta del usuario. Se debe situar a los usuarios en el contexto determinado de la búsqueda de información.

• Parámetros: en función de lo que el investigador se acerque con los sujetos o usuarios observados.
• Observación abierta: cuando los usuarios son conscientes de que son observados.
• Observación encubierta: La Observación no es visible por parte del usuario. Puede romper con ciertos principios éticos; pero es la observación más válida por la veracidad de la información obtenida.

Los Métodos de Consenso:
Pretenden como último fin, llegar a un consenso entre los usuarios del centro de información para conocer sus necesidades de información.

• La Técnica Delphy: Consiste en llegar a un acuerdo, pero mediante la obtención de un grupo de individuos de forma sistemática, “Individual” y “Anónima”. Se suele basar o combinar con los cuestionarios.

• El cuestionario es enviado a los distintos participantes.
• La Información obtenida se depura hasta obtener un consenso, mediante la base de información obtenida en un principio.
• En ningún caso los participantes se reúnen cara a cara.
• Ventajas: esta técnica hace que se puedan utilizar usuarios que se encuentren en sitios y lugares dispares; el anonimato de las respuestas, asegura cierta libertad para que el usuario aporte información veraz.

El Focus Group: Similar en la finalidad de obtener un acuerdo o consenso, pero que a diferencia de Delphy, requiere de reuniones presenciales que se basan en un guión con temas o preguntas estructuradas o de libre respuesta. Seleccionarán las ideas que consideren más importantes.

• De esta forma los usuarios vienen con todas sus sugerencias preparadas para el debate o tormenta de ideas, donde las mismas serán bien explicadas y establecerán una gradación que les permitirá asegurar o diferenciar las principales y establecer dicha gradación o escala de las mismas.
• Se puede volver a Reunir al grupo donde se tomarán en cuenta las valoraciones.
• El Resultado es la elaboración de un informe que refleje el consenso mayoritario.
• Ventajas: Implicación de los Usuarios. Aunque supone más tiempo, los resultados son más precisos y positivos y se ve recompensados porque utilizan con mayor eficiencia la unidad de información y documentación.

La Técnica del Incidente Crítico: Entendemos por Incidente crítico, cualquier observación, que sea susceptible de adjetivarse Crítica, porque el resultado sea muy exitoso o rotundamente fracasado. Ejemplo: Experiencia de Búsqueda de Información.

• Se auxilia de otras técnicas como micro-estudios de usuarios. Pequeñas entrevistas y cuestionarios para recoger información sobre esos incidentes críticos.
• Situamos al usuario en situaciones concretas y recientes.
• Ante esto, se realiza la inferencia y obtención de la información pertinente.

Métodos Indirectos
Permiten obtener información sin tener que consultar directamente a los usuarios. Se Basan en el análisis de Documentos.

• Que bien generan los usuarios en el acto de sus ejercicios.
• Que bien utilizan para citar o referenciar.
• En el análisis de los documentos que nos han consultado o pedido.

• Citas // Documentos Utilizados.
• Referencias // Referencias Bibliográficas.

• Análisis de Peticiones de Documentos: Es el método más empleado en la práctica profesional, de cara al desarrollo de la colección desde el punto de vista temático.