martes, 27 de marzo de 2012

Práctica8. Refinando los índices de cobertura

Refinando los índices de cobertura es una práctica que permitirá reflexionar sobre los índices de cobertura en revistas en la práctica 6 y consolidar los conocimientos para elaborar estudios comparativos de cobertura. Descargar Práctica 8

Resuelve los siguientes casos:
  • Índice de cobertura comparada entre los catálogos de las bibliotecas UCM y UGR.
  • Índice de cobertura comparada entre los catálogos de las bibliotecas UCM y USAL.
  • Índice de cobertura comparada entre los catálogos de las bibliotecas UCM y UNIZAR.
  • Índice de cobertura comparada entre los catálogos de la BNE y la Library of Congress.
  • Reflexiones de la práctica anterior nº6 sobre índice de cobertura de revistas.
Si el objeto de comparación de las revistas son los rankings de Scimago, DOAJ o Eigenfactor, siendo estos cuantitativamente menores al número de revistas a las que está suscrita la biblioteca de la UCM, los resultados que se obtienen al aplicar la fórmula son muy elevados. ¿Cómo es posible que la UCM supere en cobertura a todos los rankings internacionales? ¿Qué falla en el planteamiento de la fórmula? ¿Se está comparando correctamente? ¿Qué tipo de revistas están incorporadas en los índices internacionales y qué tipo de revistas recibe la Universidad Complutense? ¿Son todas de impacto? ¿Hasta qué punto puede influir la acotación de las revistas de impacto al aplicar la fórmula del índice de cobertura de revistas?

10.- Los índices de cobertura. 2ª Parte

Índice de cobertura total de referencias por áreas

Índice de cobertura total de referencias por áreas

Metodología:
  1. Establecer los Criterios de delimitación del área específica de interés para el estudio o lo que es lo mismo el sesgo temático. Normalmente suelen ser según idiomas o lengua utilizada y las Fechas de Publicación de los Documentos, o el periodo de tiempo que abarca el estudio.
     
  2. Establecer la lista de expertos o la fuente de comparación: Para ver que cobertura aportamos. Por ejemplo los catálogos de los centros de documentación como el UIT o el ETSI.
     
  3. Comparar los Fondos propios y la fuente de comparación mediante la fórmula anteriormente escrita. Si nuestro fondo consta de 4000 referencias recientes, entre el 2003 y 2005 en idiomas Inglés y Español, lo comparamos con la lista de expertos que proporciona 200.000 referencias en los mismos periodos e idiomas. El resultado de aplicar la fórmula es (4.000/200.000)*100. En función de la materia de estudio y la lista de expertos se obtienen unos u otros resultados.

Los Estudios Comparativos de Cobertura

Permiten comparar dos contextos o fondos documentales reales: Por ejemplo un fondo A y otro fondo B.

Cobertura comparada de dos fondos
Nota: Dentro de este enfoque se pueden realizar estudios de solapamiento entre los dos fondos determinados.

Método para comparar dos fondos reales:
  • Tienen que tener características comunes, como la materia, público objetivo, orientación y planificación.
  • El Método a seguir consiste en: a) Tomar como fuente de comparación el Nº de referencias únicas, no repetidas entre los sistemas que se quieren comparar. b) En este caso la cobertura de A-B y respecto a B-A.
  • Ejemplo: Dado un estudio comparativo de dos bibliotecas universitarias; El fondo de la biblioteca A es de 200.000 Referencias y el de la biblioteca B es de 300.000. La fuente de comparación se establece en 320.000 referencias únicas no repetidas, por lo que las restantes 180.000 son repetidas en ambas bibliotecas. Esto significa que el índice de solapamiento es el que sigue:
Índice de Solapamiento Global

(Nº de Referencias Comunes entre A y B / Nº de referencias Únicas No Repetidas)*100 = (180.000/320.000)*100 = 56% de Solapamiento entre el Fondo A y B.

Cobertura de la Biblioteca A:
(200.000/320.000)*100 = 62,5% de cobertura del fondo A.

Cobertura de la Biblioteca B:
(300.000/320.000)*100 = 93,7% de cobertura del fondo B.

El índice de solapamiento relativo de A con respecto a B
(180.000/200.000)*100 = 95% de Solapamiento de A respecto a B.
(180.000/300.000)*100 = 60% de Solapamiento de B respecto a A.

Índice de aporte específico de las bibliotecas
  • Se utiliza para evaluar convenios Bibliotecarios.
  • Bases de Datos y Catálogos, Repertorios para conocer su solapamiento.
Se obtiene a partir de la siguiente fórmula:

Aporte específico

Aplicado al Ejemplo Anterior:

(200.000-180.000 / 320.000)*100 =
(20.000 / 320.000)*100 = 6,25% de Aporte de A en Referencias Únicas.

(300.000-180.000 / 320.000)*100 =
(120.000 / 320.000)*100= 37,5% de Referencias Únicas que aporta B.

En Resumen:
  • Estudio Comparativo de Cobertura
  • El Índice de Solapamiento.
Autores cuyos trabajos han supuesto aplicaciones de todos los índices estudiados
  • Bearman y Kunberger.
  • Goldstein.
  • Laboire et.al.
Bearman Y Kumberger: 1977
  • Aplicaron el índice de solapamiento global y relativo para estudiar la relación entre 14 fuentes de información del área de ciencia y tecnología: Concretamente el Chemical Abstract y el Bological Abstract.
  • Establecieron en qué medida se solapaban.
Goldstein y Laboire: se centran más en el plano biblioteconómico

Goldstein: Estudio el grado de solapamiento y cobertura de las revistas indizadas del área de Biblioteconomía y Documentación.

Pretendían establecer el núcleo de revistas referentes en el área o Core Journals.

Fue objeto de su estudio, LISA (Revista de Resúmenes elaborada originalmente en Londres), ISA (Revista de Resúmenes original de Estados Unidos), ABJI (Versión Inglesa de las publicaciones elaboradas por científicos rusos), LL (Library Literatura Willson Company), JASIST (American Society of Information Sciencie and Technology).

Llegaron a Establecer ese núcleo de revistas punteras.

Laboire: Realiza una réplica del trabajo de Goldstein, Añadiendo un nuevo aspecto. No sólo analizará los repertorios, sino que los comparaba con otros recursos de otras áreas. Por tanto se estudio el Historical Abstraes, Sección C del Computer and Control Abstracts, Social Sciencie Citation Index, ERIC, Chemical Abstracts, ABI Inform. El Resultado fue la obtención del Core Journal y observaron que se producía un alto grado de solapamiento de la Biblioteconomía y Documentación con el Computer and control abstracts; Mientras que con el resto de Repertorios el grado de solapamiento fue muy bajo.

Posturas actuales
  • A favor de un alto grado de solapamiento: Dado que es indicativo del peso de una fuente de información con respecto al resto.
  • En contra del alto grado de solapamiento: Sostienen que citar y reescribir un artículo varias veces en más de una decena de fuentes de información, hace perder eficacia de recuperación y crea un punto de estudio ficticio, duplica esfuerzos y gasta más recursos.

lunes, 26 de marzo de 2012

Práctica 7. Cobertura de revistas

Aplicando los fundamentos de la evaluación por medio de indicadores de cobertura, se tratará de comprobar hasta qué punto las bibliotecas de Ciencias de la Documentación, Químicas, Matemáticas, Educación, Derecho e Informática de la Universidad Complutense abarcan el espectro de revistas necesario para un correcto servicio al usuario general e investigador. Utiliza la plantilla disponible en el siguiente enlace: Descargar Práctica 7

1.    Biblioteca de la Facultad de Ciencias de la Documentación de la UCM.
  • ¿Cuántas revistas de biblioteconomía recibe la biblioteca de la Facultad de Ciencias de la Documentación?
  • Obtener el índice de cobertura con respecto al DOAJ.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.
2.    Biblioteca de la Facultad de Ciencias Químicas de la UCM.
  • ¿Cuántas revistas sobre química recibe la biblioteca de dicha facultad?
  • Obtener el índice de cobertura con respecto al DOAJ.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.
3.    Biblioteca de la Facultad de Matemáticas de la UCM. 
  • ¿Cuántas revistas sobre matemáticas y física recibe la biblioteca de dicha facultad?
  • Obtener el índice de cobertura con respecto al DOAJ.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.
4.    Biblioteca de la Facultad de Educación de la UCM.
  • ¿Cuántas revistas sobre pedagogía, sociología y humanidades recibe la biblioteca de dicha facultad?
  • Obtener el índice de cobertura con respecto a INRECS.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.
5.    Biblioteca de la Facultad de Derecho de la UCM.
  • ¿Cuántas revistas sobre derecho recibe la biblioteca de dicha facultad?
  • Obtener el índice de cobertura con respecto a RESH.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.
6.    Biblioteca de la Facultad de Informática de la UCM.
  • ¿Cuántas revistas sobre derecho recibe la biblioteca de dicha facultad?
  • Obtener el índice de cobertura con respecto a eigenfactor.
  • Obtener el índice de cobertura con respecto a Scimago Journal Rank.

martes, 20 de marzo de 2012

Práctica 6: Indicadores para cada caso

Las fuentes de información sobre indicadores son muy amplias, existiendo literatura especializada para cada caso que pretenda ser evaluado. Es el caso de las bibliotecas universitarias, científicas, digitales, archivos de la administración, museos, software especializado y recursos digitales, tal como se expone a continuación:

Bibliotecas universitarias
Bibliotecas científicas
Bibliotecas digitales
Archivos de la administración
Museos
Software especializado
Recursos digitales
El objetivo de la práctica es estudiar y comparar los modelos de evaluación e indicadores para cada caso siguiendo el esquema planteado en la plantilla disponible para su descarga.

martes, 13 de marzo de 2012

09.- Evaluación del INPUT: Los índices de cobertura

Aspectos Evaluativos en la fase de Funcionamiento de Sistemas de Información y Documentación. Evaluación de la Entrada, Tratamiento y Análisis Documental de la Información.
  • Introducción.
  • Evaluación de la Entrada de Información (INPUT).
    • Cobertura de la Información Propia.
    • Estudio Comparativo de Cobertura.
  • Evaluación del Tratamiento y Análisis Documental.

Cobertura de la Información Propia
  • Análisis de Cobertura de un tipo documental concreto-fórmulas.
  • Análisis de Cobertura de la Totalidad de Referencias recogidas en las Bases de Datos sin acotar una tipología concreta, es decir añadiendo todas.
  • Estudios Comparativos de Cobertura. (Fuente de Comparación que proviene de una UID similar)
Estudio de Cobertura de un Tipo Documental Concreto:  Índice de cobertura de Revistas.

Índice de cobertura de una revista en la UID

Ejemplo: Cobertura de la Información propia atendiendo a una tipología concreta: En qué medida cubrimos con las publicaciones periódicas el total de la fuente de conocimiento de un área.

Pasos para la Obtención de la Cobertura EN BLOQUE
  • Definir los criterios que delimitan el área o materia de nuestro estudio.
  • Obtener la “Fuente de Comparación” o (Listas de Expertos) // Averiguar que publicaciones periódicas hay en esa fuente o área de conocimiento. Se obtiene a partir de:
    • Citation Index ISI: Journal Citation Reports, Subject Category Listing. Índice de Citación que determina a nivel internacional las Revistas Científicas de mayor prestigio y relevancia. Tiene un Sesgo Anglosajón.
    • Latindex: Catálogo de publicaciones periódicas evaluadas. Utiliza criterios basados en elementos formales, como los autores, consejos de redacción, de contenido. Tiene un Sesgo Mexicano. Comparte la iniciativa del CSIC a través del CINDOC, Mediante el estudio de elementos Formales.
NOTA: Se pretende obtener fuentes de comparación válidas que hayan sido analizadas cuantitativa, cualitativa y formalmente.
  • Comparación entre lo que estamos suscritos y la lista de expertos. Es decir, se contrasta el INPUT, con la fuente de información. Desde un punto de vista informativo se realiza la comparación.
  • Se Aplica la fórmula cuantitativamente, de este se deriva una revisión cualitativa.
  • Ejemplo: Un centro de Documentación de Derecho, está suscrito a 30 publicaciones del área. Según la lista de expertos existen 3000 revistas del área. El resultado de aplicar la formula; (30/3000)*100= 1% de Cobertura del Área. Aplicar Consideración Cualitativa.
Pasos para la Obtención de la Cobertura EN PARTICULAR
  • Evaluar la cobertura real de los artículos evaluados que realmente están controlados y son susceptibles de ser controlados. (La Fuente de Comparación es el propio centro que realiza el estudio).
  • Se trata de establecer una comparación entre los artículos relevantes y aquellos que realmente controlamos, frente al total de artículos que se han publicado en las revistas a las que estamos inscritos. Esto Demuestra que el anterior valor EN BLOQUE sobredimensiona la Cobertura.
  • Se proponen los Siguientes pasos:
    • 1. Definir los criterios que delimitan el área de estudio. (Valoración del Área X y su ámbito Y).
    • 2. Obtener el Nº total de artículos descritos y controlados, aplicando los criterios de delimitación.
    • 3. Contrastar los datos, según la fórmula anteriormente apuntada; es decir: (Nº de artículos indizados/Nº Total de los artículos Publicados en el área)*100. Otro ejemplo: (10000 Artículos Recibidos/7200 Artículos controlados por el centro)*100.

martes, 6 de marzo de 2012

08.- La evaluación e impacto de revistas científicas

El factor de impacto de las revistas
El factor de impacto de una revista es el número de veces que los artículos publicados por una dicha revista han sido citados durante el año siguiente a su publicación, entre el número total de artículos publicados en dicho periodo. Este cálculo es elaborado por el Instituto para la Información Científica, también denominado ISI Institute for Scientific Information, que es publicado en el informe de citas Journal Citation Report, disponible para su consulta en el Portal de Acceso a la Web of Knowledge del FECYT.

Ejemplos de índices para estudiar el factor de impacto en revistas
  • JCR Journal Citation Reports
    http://thomsonreuters.com/products_services/science/science_products/a-z/journal_citation_reports/
  • In-RECS
    http://ec3.ugr.es/in-recs/
  • RESH
    http://resh.cindoc.csic.es/
  • DICE
    http://dice.cindoc.csic.es/
  • Scimago Journal & Country RankAnaliza
    http://www.scimagojr.com/
  • ERIH (European Reference Index for the Humanities)
    http://www.esf.org/research-areas/humanities/erih-european-reference-index-for-the-humanities.html
  • Eigenfactor.org
    http://www.eigenfactor.org/
  • Latindex
    http://www.latindex.unam.mx/
Los estudios de usuarios y el estudio de impacto en servicios de la unidad de información y documentación

Algunas experiencias y particularidades de los estudios de impacto en relación a los estudios de usuarios:
  • Impactos, conocer la calidad percibida de los servicios recibidos o no recibidos, es fundamental para saber cómo hemos quedado ante el usuario. Uno de los problemas del impacto es que se mide la calidad percibida no la calidad real y hay un interacción perversa entre expectativas y calidad percibida. Véase M. Asensio, E. Cruces, R. Pérez, A. Díaz y E. Pol. 2010. Un Estudio de Usuarios del Archivo Histórico Provincial de Málaga. Sevilla: Arch-e Revista Andaluza de Archivos 
  • Fase de funcionamiento... En esta fase se llevará a cabo el desarrollo de estudios de usuarios que pretenden, como es nuestro caso, determinar qué uso se ha hecho de la unidad de información y documentación concreta, qué grado de satisfacción presentan los usuarios de la misma y qué impacto produce el uso de la unidad de información en sus usuarios reales en el desempeño de su actividad profesional. Véase R. Arquero Avilés, M.L. García-Ochoa Roldán. 2010. Diseño y planteamiento de un estudio de usuarios en una hemeroteca electrónica: el servicio de prensa electrónica de la biblioteca de la Facultad de Ciencias de la Información de la Universidad Complutense. III Jornadas Andaluzas de Documentación. Disponible en: http://www.ucm.es/BUCM/inf/doc5852.pdf
  • El nivel de impacto se relaciona con los resultados que se obtienen a partir del uso de la información obtenida mediante los servicios o productos. Pérez Fernández, A.M.  2007. La medición del impacto de los servicios de información: una necesidad y un reto Disponible en: http://bvs.sld.cu/revistas/aci/vol15_1_07/aci11107.htm
  • Las organizaciones de información han experimentado un cambio de paradigma, para desempeñarse en forma proactiva en la satisfacción de las necesidades de sus usuarios/clientes. Para lograr este propósito es fundamental el proceso de evaluación, que permite  establecer una comparación entre los objetivos que se había propuesto la institución objeto de estudio y la ejecución realizada, de manera que pueda determinarse, si se ha producido alguna variación en esta ejecución, y si esto ha ocurrido, si fue en una dirección deseada y hasta que punto se ha comportado así. Véase Rojas Benítez J.L. Evaluación de organizaciones, sistemas y ofertas de información
  • La denominación de evaluación de impacto contempla el proceso evaluatorio, orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas. Así, la medida de los resultados, que constituye la característica principal de la evaluación de impacto, permite comparar el grado de realización alcanzado con el grado de realización deseado y, a su vez, compara la planeación con el resultado de la ejecución. Véase Abdala E. 2004. Manual para la evaluación de impacto en programas de formación para jóvenes. y Libera Bonilla, B.E. 2007. Impacto, impacto social y evaluación del impacto. Disponible en: http://bvs.sld.cu/revistas/aci/vol15_3_07/aci08307.htm 
 

lunes, 5 de marzo de 2012

07.- Los estudios de usuarios. Parte3

Evaluación de la Validez y Fiabilidad del Cuestionario Diseñado

Fiabilidad: Es el grado en el que las mediciones están libres de desviaciones producidas por errores casuales.

Test Retest: Establece la capacidad que tiene el cuestionario cuando proporciona las mismas respuestas cuando se aplica al mismo usuario en distintas situaciones. Es decir la capacidad que tiene para evitar las desviaciones de las respuestas.

Validez: Es la capacidad del cuestionario para medir aquello para lo que ha sido confeccionado: Se ha de medir la validez por:
  • La validez lógica: Se relaciona con que las preguntas del formulario sirven verdaderamente para recoger la información, sobre lo que pretendemos medir. Si hay preguntas en blanco o hay respuestas de No Sabe / No Contesta, hay que sospechar de la validez lógica de ese formulario.
  • La validez de contenido: Que todos los aspectos de dimensiones de calidad estén presentes en el contenido del formulario
  • La validez consensuada: Consiste en confrontar las ideas sobre el cuestionario y pedir opinión a otros profesionales. Es mejor la participación de más de un profesional.
Métodos directos de evaluación
Permiten obtener información directa de o sobre el usuario.
  • La realización de cuestionarios y entrevistas.
  • Observación de los hábitos de búsqueda.
  • Método de consenso: La técnica Delphy y Focus Group.
  • La técnica del incidente crítico.
La Observación de los Hábitos de Búsqueda: Son métodos de investigación cualitativos. Supone cierta habilidad para detectar y estudiar los hábitos de consulta del usuario. Se debe situar a los usuarios en el contexto determinado de la búsqueda de información.
  • Parámetros: en función de lo que el investigador se acerque con los sujetos o usuarios observados.
  • Observación abierta: cuando los usuarios son conscientes de que son observados.
  • Observación encubierta: La Observación no es visible por parte del usuario. Puede romper con ciertos principios éticos; pero es la observación más válida por la veracidad de la información obtenida.
Los Métodos de Consenso:
Pretenden como último fin, llegar a un consenso entre los usuarios del centro de información para conocer sus necesidades de información.
  • La Técnica Delphy: Consiste en llegar a un acuerdo, pero mediante la obtención de un grupo de individuos de forma sistemática, “Individual” y “Anónima”. Se suele basar o combinar con los cuestionarios.
    • El cuestionario es enviado a los distintos participantes.
    • La Información obtenida se depura hasta obtener un consenso, mediante la base de información obtenida en un principio.
    • En ningún caso los participantes se reúnen cara a cara.
    • Ventajas: esta técnica hace que se puedan utilizar usuarios que se encuentren en sitios y lugares dispares; el anonimato de las respuestas, asegura cierta libertad para que el usuario aporte información veraz.
El Focus Group: Similar en la finalidad de obtener un acuerdo o consenso, pero que a diferencia de Delphy, requiere de reuniones presenciales que se basan en un guión con temas o preguntas estructuradas o de libre respuesta. Seleccionarán las ideas que consideren más importantes.
  • De esta forma los usuarios vienen con todas sus sugerencias preparadas para el debate o tormenta de ideas, donde las mismas serán bien explicadas y establecerán una gradación que les permitirá asegurar o diferenciar las principales y establecer dicha gradación o escala de las mismas.
  • Se puede volver a Reunir al grupo donde se tomarán en cuenta las valoraciones.
  • El Resultado es la elaboración de un informe que refleje el consenso mayoritario.
  • Ventajas: Implicación de los Usuarios. Aunque supone más tiempo, los resultados son más precisos y positivos y se ve recompensados porque utilizan con mayor eficiencia la unidad de información y documentación.
La Técnica del Incidente Crítico: Entendemos por Incidente crítico, cualquier observación, que sea susceptible de adjetivarse Crítica, porque el resultado sea muy exitoso o rotundamente fracasado. Ejemplo: Experiencia de Búsqueda de Información.
  • Se auxilia de otras técnicas como micro-estudios de usuarios. Pequeñas entrevistas y cuestionarios para recoger información sobre esos incidentes críticos.
  • Situamos al usuario en situaciones concretas y recientes.
  • Ante esto, se realiza la inferencia y obtención de la información pertinente.
Métodos Indirectos
Permiten obtener información sin tener que consultar directamente a los usuarios. Se Basan en el análisis de Documentos.
  • Que bien generan los usuarios en el acto de sus ejercicios.
  • Que bien utilizan para citar o referenciar.
  • En el análisis de los documentos que nos han consultado o pedido.
    • Citas // Documentos Utilizados.
    • Referencias // Referencias Bibliográficas.
  • Análisis de Peticiones de Documentos: Es el método más empleado en la práctica profesional, de cara al desarrollo de la colección desde el punto de vista temático.