martes, 24 de abril de 2012

Práctica 10.- Tabulación de resultados del cuestionario

Después de preparar y publicar los cuestionarios para la evaluación y mejora de la biblioteca, se procederá a la tabulación de los resultados obtenidos para cada formulario. Este proceso se llevará a cabo desde los grupos formados en la asignatura para tal efecto. El objetivo de la tabulación es preparar un cuadro en hoja de cálculo que permita poner de relieve los aspectos más significativos de la respuestas del usuario.

12.- Evaluación avanzada de usuarios a través de sus consultas: Los Query Logs

Qué es un Query Log
Un archivo de tipo Query Log o Registro de Consultas se compone de identificador anónimo correlativo de las consultas que han efectuado los usuarios del sistema, la cadena de consulta propiamente dicha, la fecha de registro, la posición en la que se ha encontrado el resultado y la URL del enlace en el que se ha hecho clic (CLAIR. 2006).

Ejemplos de Query Log

Típico registro de consultas
Qué aspectos evaluativos se tienen en cuenta durante el análisis del archivo Query Log
  • Tiempo de consulta.
  • Tiempo de permanencia en las páginas de resultados.
  • Cluster de consultas que agrupan términos o palabras de una determinada categoría o temática recurrente de consulta.
  • Coeficiente de clustering.
  • Recursividad de las consultas.
  • Número de nodos y relaciones entre palabras de las distintas consultas o clusters.
  • Porcentaje de resultados encontrados en las primeras posiciones ante una determinada consulta.

Bibliografía

BAEZA YATES, R.; HURTADO, C.; MENDOZA, M. 2004. Query Recommendation using Query Logs in Search Engines. Disponible en:  http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=0E34DE0EC5DD449088D826C5FC6103A0?doi=10.1.1.85.8688&rep=rep1&type=pdf

BAEZA YATES, R. 2006. Applications of Query Mining. Disponible en: http://videolectures.net/fws06_yates_aqm/

BAEZA YATES, R. 2007a. Extracting Semantic Relations from Query Logs. Disponible en: http://videolectures.net/kdd07_baeza_yates_esr/

BAEZA YATES, R. 2007b. Mining Queries. Disponible en: http://videolectures.net/ecml07_baeza_yates_mwq/

CLAIR. 2006. Web Search Engine Query Log Analysis. Computational Linguistics And Information Retrieval: University of Michigan. Disponible en: http://tangra.si.umich.edu/clair/clair/qla.html

CUI,H.; WEN,J.R.; NIE,J.Y.; MA,W.Y. 2002. Probabilistic Query Expansion Using Query Logs. Disponible en: http://www2002.org/CDROM/refereed/558/

MISHRA,N.; SAHA-ROY,R.; GANGULY,N.; LAXMAN,S.; CHOUDHURY,M. 2011. Unsupervised Query Segmentation Using only Query Logs. Disponible en: http://www.www2011india.com/proceeding/companion/p91.pdf

TEEVAN,J.; ADAR,E.; JONES,R.; POTTS,M. 2005. History Repeats Itself: Repeat Queries in Yahoo’s Logs. Disponible en: http://people.csail.mit.edu/teevan/work/publications/posters/sigir06.pdf

TYLER, S.K.; TEEVAN,J. 2011. Large Scale Query Log Analysis of Re-Finding. Disponible en: http://people.csail.mit.edu/teevan/work/publications/papers/wsdm10.pdf

martes, 17 de abril de 2012

Práctica 9: Evaluando recursos electrónicos

Teniendo en cuenta el método de evaluación propuesto para los recursos electrónicos, selecciona 2 recursos de cada lista que se presenta a continuación. La primera lista corresponde contiene las URL de la página de portada de las escuelas de negocios mejor posicionadas en el ranking de webometrics. El segundo listado corresponde a direcciones URL de artículos de la revista DLIB (Digital Library Research) especializada en Biblioteconomía y Documentación.


Lista2 :: Artículos de la revista DLIB

Una vez elegidos los recursos, aplica la ficha de evaluación propuesta en el artículo anterior, atendiendo a las distintas categorías y puntuaciones. Para llevar a cabo el análisis de los siguientes aspectos es recomendable consultar los siguientes recursos:

Aspectos
Herramientas de análisis
Calcular PageRank
Calcular Alexa
Recursos similares
Operador de Google related:http://recurso-analizado
Enlaces externos a nuestro recurso
Operador de Google link:http://recurso-analizado
Cuantitativo de contenidos

BLÁZQUEZ OCHANDO, M. 2011. Primeras pruebas del mbot webcrawler. Disponible en: http://www.mblazquez.es/documents/articulo-pruebas1-mbot.html

Validación HTML-XHTML del W3C
Test de accesibilidad TAW Nivel AA

Una vez se ha analizado cada recurso con la ficha evaluativa propuesta, se deberá obtener la suma de los resultados en una tabla tipo que contendrá el nombre del recurso, la suma de todos los puntos, la relación de caracteres y palabras, la relación de enlaces externos y enlaces internos, la relación de Pagerank-Alexa y la suma de archivos del análisis cibermétrico cuantitativo de contenidos incluyendo el número de documentos, archivos multimedia e imágenes. Utiliza la plantilla disponible para responder la práctica: Descargar Práctica9

Nota:
Debido a la casuística del servidor que aloja el webcrawler mbot, no se pueden ampliar más los tiempos de respuesta y ejecución de scripts, lo que limita en ciertos casos la obtención de datos para llevar a cabo la práctica. Esta circunstancia, significa que el programa funciona correctamente y cualquier resultado en blanco no es achacable a su funcionamiento si no al entorno de ejecución. Por ello y para facilitar la actividad a los alumnos se han obtenido todos los datos cuantitativos derivados del análisis de los recursos de las listas 1 y 2, facilitados en el siguiente: Descargar Cibermétrico de Práctica9

martes, 10 de abril de 2012

11.- Evaluación de recursos electrónicos/digitales de información

La evaluación de recursos electrónicos es una preocupación constatada desde los inicios de internet, prácticamente desde que existen páginas web. Por medio de directorios, buscadores y webcrawlers, se han probado y asentado métodos de clasificación, organización, ordenación, ponderación y evaluación.

Los inicios
El enfoque Documental de la evaluación de recursos electrónicos comienza entre 1995 y 1998 con artículos especializados como el publicado en la American Association of Law Libraries (STUDWELL, B. 1998), en el que se aporta una lista de referentes esenciales, a saber:
  • Propósito
    • Saber si la información es pertinente a las demandas informativas del usuario. Si el recurso incluye resultados, estadísticas, etc.
    • Determinar si la información presentada ha sido contrastada, está basada en el método científico y ha sido consensuada, de acuerdo con la temática o línea conductora texto.
  • Comprobar el contenido
    • Analizar si el recurso cita las fuentes de información, las obras de terceros autores para basar la argumentación de su contenido.
    • Recurre a fuentes primarias y originales o secundarias.
  • Autoridad
    • El recurso presenta el autor/es del contenido.
    • Son autores de reconocido prestigio o del ámbito de su área de conocimiento.
    • Dispone de correo electrónico para establecer contacto con el autor.
    • Está documentado y cualificado el autor para escribir sobre el tema que se aborda en el recurso.
    • El contenido publicado en el recurso tiene derechos de copia. Qué tipo de derechos.
  • Precisión
    • Es la información oportuna, de acuerdo con el objeto especificado por su título.
    • Existen errores tipográficos, de gramática y ortografía que afecten a la legibilidad o comprensión de los contenidos.
    • Es la información suficientemente exhaustiva y detallada de acuerdo con los objetivos planteados.
    • La información presentada es pobre o irrelevante. Hasta que punto es original.
    • El contenido es objetivo o parcial, de tal manera que sólo recoge un único punto de vista o enfoque.
    • Las afirmaciones planteadas están basadas en otras fuentes.
    • Está la información organizada para proporcionar relaciones de tablas, figuras, ilustraciones, bibliografía, etc. 
  • Objetividad
    • Está la información sesgada.
    • Se reconoce la existencia de otros argumentos y enfoques del tema que se está tratando.
    • Hasta que punto se trata de influir al lector o usuario de dicha información.
    • Se expresan claramente los contenidos sin hacer publicidad o adorno. Se emplea un lenguaje aséptico.
  • Actualidad y cobertura
    • Cuándo fue la última actualización del recurso. Especifica las fechas de modificación y actualización del mismo.
    • Está en contínuo desarrollo.
    • Contiene citas de fuentes actuales.
    • Guarda copia de versiones anteriores para su comparación.

Enfoques actuales
Desde entonces ya se establecen las principales ideas que atañen a la evaluación cualitativa de la información, una de las más importantes para llevar a cabo un correcto análisis de los recursos electrónicos. El enfoque cuantitativo se ha venido desarrollando con la aplicación de técnicas de recuperación de información, análisis estadístico de la términos, extensión del texto, procesos de análisis de la similaridad, frecuencia de aparición de términos y los más recientes como la ponderación los recursos a partir de sus enlaces entrates y salientes como el método de pagerank o el índice alexa entre otros.

En España el interés por establecer métodos que permitan evaluar recursos electrónicos ha dado sus frutos en con diversos estudios y materiales prácticos. Un claro ejemplo de estas investigaciones son las llevadas a cabo por (CODINA, L. 2003a) en el que define los aspectos de Organización, Representación, Acceso a la información, Ergonomía y Adecuación al medio para a continuación establecer distintos ámbitos de aplicación de la evaluación (Uso profesional, Compilaciones de recursos, Auditorías e Investigación) para el establecimiento de indicadores (CODINA, L. 2003b), resumidos en una ficha de análisis en la que es posible puntuar y efectuar observaciones sobre los siguientes aspectos:
  • Identificación
    • Título / URL
    • Temática o categorización
    • Público objetivo o destinatarios
    • Datos de la fuente y filiación del autor/es
  • Autoría
    • Autores
    • Adecuación
    • Comunicación
  • Contenido
    • Concordancia entre tema, público y objetivos del recurso
    • Interés para la comunidad científica
    • Originalidad y oportunidad de comunicación de la información
    • Política editorial
    • Cantidad de contenidos
    • Rigurosidad
    • Edición
    • Actualización
    • Contenidos multimedia e interactivos
    • Archivo y hemeroteca
  • Acceso a la información
    • Índices, sumarios generales y locales o tablas ordenadas de capítulos o contenidos
    • Expresividad de la información que se transmite
    • Correcta identificación de los contenidos
    • Recorrido secuencial y ordenado / Navegación estructurada
    • Jerarquización de los contenidos
    • Navegación semántica
    • Etiquetas
    • Búsqueda simple y avanzada
    • Empleo de lenguajes documentales en la clasificación del recurso
  • Ergonomía
    • Facilidad, Flexibilidad, Claridad, Legibilidad
    • Velocidad de carga de los contenidos
  • Luminosidad
    • Enlaces, Calidad, Actualización, Tratamiento
  • Popularidad
    • Transparencia, Dublin Core, Meta-información, Nivel de enlazamiento
  • Errores
    • Deshacer acciones
    • Mensajes
    • Consecuencias de los errores
  • Adaptación
    • Redundancia
    • Acceso a la información según el tipo de usuario
    • Política de información y comunicación
Otro enfoque complementario y derivado del anterior es el que aporta (AYUSO GARCÍA, M.; MARTÍNEZ NAVARRO, V. 2006) con una estructura de parámetros por secciones, más resumida en su extensión y presumiblemente más rápidamente analizable.
  • Micronavegación
    • Autoría/Fuente: Identificación y solvencia de la fuente.
    • Contenido: Calidad y cantidad de información.
    • Navegación y recuperación.
    • Ergonomía: Comodidad y facilidad de utilización.
  • Macronavegación
    • Luminosidad.
    • Visibilidad.
  • Usabilidad
    • Procesos.
    • Errores.
    • Adaptación.
En todo caso las aportaciones mostradas, se limitan a un proceso evaluativo basado o en la medición de la calidad, la presencia o ausencia de ciertos rasgos o características que rozan la descripción de los recursos y fuentes de información propiamente dichas. Esta tendencia queda claramente marcada por el análisis de la profesora (PINTO MOLINA, M. 2011) que vuelve a englobar los fundamentos presentados anteriormente con un modelo de plantilla similar al expuesto a continuación:
  • Autoría
    • Adscripción del autor 
    • Información sobre el autor 
    • Medio de contacto (e-mail) 
    • Logotipo de la organización 
    • Declaración de principios y propósito del sitio web
    • Evaluación externa
  • Actualización
    • Fecha de creación 
    • Fecha de actualización 
    • Información actual y actualizada 
    • Existencia de enlaces obsoletos 
    • Existencia de enlaces incorrectos
  • Contenido
    • Cobertura 
    • Exactitud, precisión y rigor 
    • Pertinencia 
    • Objetividad
  • Accesibilidad
    • Diseño compatible con diferentes versiones navegador y resoluciones de pantalla 
    • Versiones alternativas de visualización 
    • Cumplimiento normativa WAI 
    • Impresión correcta 
    • Ayuda para la navegación y la comprensión contenidos 
    • Versiones en otras lenguas
  • Funcionalidad
    • Estructura lógica: tabla, menú de contenidos 
    • Pertinencia y adecuación de los títulos secciones
    • Existencia de mapa web con enlaces 
    • Sistema de búsqueda de contenidos propios
  • Navegabilidad
    • Menú de contenidos 
    • Botones de navegación
  • Diseño
    • Elegante, funcional y atractivo 
    • Combinación de colores, formas e imágenes
    • Tipografía textual adecuada 
    • Homogeneidad de estilo y formato
Como ha podido comprobarse, existe una alta compenetración de las ideas y tendencias que determinan los criterios de evaluación de los recursos electrónicos/digitales de información. Como bien se indica en todos los casos, el empleo de un método de análisis u otro viene determinado por el ámbito de aplicación del estudio, la comunidad de usuarios y su tipología, abriendo un abanico de posibilidades al investigador que pretenda estudiar fuentes de información.

Método propuesto
Dicho de otro modo, no se puede determinar que un método es mejor que otro si no se determinan los factores de 1) tiempo de análisis (El tiempo predeterminado para que el documentalista analice el recurso), 2) datos relevantes para la conclusión (Cuáles son los aspectos clave de la evaluación de los recursos, o sobre qué aspectos contados se pretende obtener conclusiones), 3) definición del tipo de estudio evaluativo (determinar si es un estudio cualitativo, cuantitativo, mixto y cuántos criterios de análisis se derivan de cada tipo), 4) definición de la temática y su grado de conocimiento (Si la temática de los recursos es conocida, la objetividad y precisión de la evaluación será superior, por la comprensión que ejerce el documentalista para discernir qué contenidos son relevantes y cuáles no, dicho de otra forma, la competencia del documentalista para emitir juicios de calidad), 5) cantidad de recursos sometidos al análisis evaluativo (La cantidad de recursos afecta junto con el tiempo de análisis en la obtención de resultados más o menos exhaustivos)

Definidos tales factores, se requiere una concrección de los criterios de evaluación, empleando a ser posible un modelo de ficha análogo a los citados anteriormente. Un cuadro de análisis medio y proporcionado, podría ser la siguiente propuesta.

Ficha de evaluación de recursos de información en red
Propuesta por el Prof. Manuel Blázquez Ochando
Título

URL

Temática

Público objetivo

Fuente

Fecha de publicación

Fecha de actualización

Fecha de evaluación

Documentalista evaluador


Categoría1
Categoría2
Categoría3
Puntuación
Autor
Identificación de autoridad
Denominación completa de la autoridad: autor/es o entidades responsables del contenido.
[0-5]
Datos de filiación: localización de la autoridad.
[0-5]
Datos de contacto: disposición de correo electrónico y perfil social.
3 puntos por cada aspecto. [0-6]
Referenciación de autoridad
URL oficial de la autoridad.
[0-5]
Nº de Enlaces externos sobre la autoridad.
[nº]
Contenido
Estructura formal
Título destacado tipográficamente: <h1>título</h1>, <b>título</b> o CSS aplicado.
[0-1]
Resumen: Detección de resumen analítico, informativo, indicativo y crítico.
[0-10]
Versión: Detección de las fechas de publicación, modificación y disposición de versiones anteriores o descripción de cambios.
10 puntos por cada aspecto.
[0-20]
Derechos: Declaración de los derechos de uso y explotación.
[0-1]
Tabla de contenidos  o índices: Relación de epígrafes, capítulos o hitos del recurso. Por otro lado hipertextualidad para la navegación de todos los apartados.
Puntuar la presencia de índices con 10 puntos y su hipertextualidad con otros 10.
[0-20]
Aparato crítico: Incluye bibliografía, fuentes de información, citas bibliográficas
5 puntos por cada aspecto. [0-15]
Propiedades del contenido
Pertinencia: determina el grado de precisión del contenido con respecto al objeto o tema tratado en el recurso.
[0-20]
Exhaustividad o profundidad: Determina el grado de análisis y detalle del contenido del recurso.
[0-20]
Grado de originalidad: Incluye breve estado de la cuestión, introducción y presentación de nuevos resultados y conclusiones
[0-30]
Grado de parcialidad: Dependerá del número de fuentes utilizadas en el aparato crítico, su diversidad y el reconocimiento de los enfoques en el estado del arte.
[0-10]
Clasificación
Utiliza lenguajes documentales o métodos de clasificación para organizar los contenidos del recurso por género, ontología, tesauro, etc.
[0-10]
Recuperación y consulta
Búsqueda sencilla
Permite la recuperación de palabras y frases
[0-10]
Búsqueda avanzada
Permite además la recuperación cronológica, temática y semántica de los contenidos.
[0-20]
Arquitectura de la información
Mapa global de contenidos
Existe un mapa hipertextual de contenidos basado en sitemaps.xml
La ausencia no se puntúa, la presencia se valora con 20 puntos.
[0-20]
Limpieza
Sin artificios o imágenes que distraigan el propósito informacional y documental del recurso.
[0-10]
Legibilidad
Fuentes de tamaño medio de fácil lectura. Colores suaves y mates de alto contraste con el texto. Modelo ideal [Fondo blanco – Texto negro – Tamaño de fuente 10pt o superior]
[0-5]
Cibermétrico
Visibilidad y posicionamiento
Aparece el recurso entre las 10 primeras posiciones del buscador al consultar las 3 primeras palabras de su título.
[0-30]
Ponderación y relación
PageRank: Relevancia del recurso según el algoritmo de Google.
[0-10]
Related: Nº de recursos similares en la red.
[nº]
Link: Nº de páginas externas que enlazan el recurso.
[nº]
Alexa: Relevancia del recurso según el algoritmo de Amazon.
Posición inferior a 10.000 puntuar con [10]. Decrecer puntuación hasta [0] cada 1.000 más.
Cuantitativo de contenidos
Nº de caracteres código fuente: Permite determinar la extensión del recurso.
[nº]
Nº de palabras: Cuantificación de la extensión textual. Debería de contabilizarse una vez depurado el texto de palabras vacías o stopwords.
[nº]
Nº de metadatos: Posibilita determinar el grado de meta-descripción del recurso. Tipo <meta name='DC.title…
[nº]
Nº de meta-etiquetas: Cantidad de etiquetas de meta-descripción del tipo <meta name='author…
[nº]
Nº de titulares: Cantidad de apartados señalados o destacados tipográficamente en el contenido.
[nº]
Nº de párrafos: Cantidad de bloques de texto definidos como tales. Tipo <p>texto</p>, <blockquote>texto</blockquote> y <div>texto</div>
[nº]
Nº de enlaces: Cantidad de enlaces internos y externos
[nº]
Nº de documentos: Cantidad de documentos enlazados en el recurso.
[nº]
Nº de archivos multimedia: Cantidad de archivos multimedia enlazados en el recurso.
[nº]
Nº de imágenes: Cantidad de imágenes enlazadas en el recurso. Desechando aquellas de tamaño menor a 320x240px
[nº]
Tiempo de ejecución total de la página web o recurso.
[t]
Navegación
Menús contextuales
Opciones del menú con descripción contextual identificativa de los contenidos.
[nº]
No más de 3 niveles jerárquicos.
[nº]
Breadcrumb
Rutas de acceso al contenido del recurso, plenamente visible y navegable de acuerdo con la estructura jerárquica del menú principal.
10 puntos si se detecta la presencia de este sistema. Se sumarán 5 más si el breadcrumb no está elaborado con java o javascript
[0-15]
Cloudtag
Disposición de una nube o mapa de palabras clave. Comprobar la concordancia entre cloudtag y metadatos ó meta-etiquetas.
10 puntos si existe cloudtag y 10 más si existe concordancia.
[0-20]
Tecnología y construcción
Documento bien formado y validado
Validación HTML-XHTML del W3C
[0-10]
Programación del recurso
Recurso estático (Sólo HTML) ó dinámico (Denota PHP).
Estático 5 puntos. Dinámico 10 puntos.
[0-10]
Incompatibilidad y errores
Penalización de errores de ejecución así como de la presencia de Applets de Java, Javascript, Flash y actionScript.
Por cada elemento incompatible se restará hasta 20puntos.
Accesibilidad
Test de accesibilidad TAW Nivel AA
Menos de 5 errores automáticos 5 puntos. Por cada 2 errores automáticos más se deduce 1 punto
[0-5]

Como ha podido comprobarse, existe una alta compenetración de las ideas y tendencias que determinan los criterios de evaluación de los recursos electrónicos/digitales de información. Como bien se indica en todos los casos, el empleo de un método de análisis u otro viene determinado por el ámbito de aplicación del estudio, la comunidad de usuarios y su tipología, abriendo un abanico de posibilidades al investigador que pretenda estudiar fuentes de información.

Bibliografía