11.- Evaluación de recursos electrónicos/digitales de información

La evaluación de recursos electrónicos es una preocupación constatada desde los inicios de internet, prácticamente desde que existen páginas web. Por medio de directorios, buscadores y webcrawlers, se han probado y asentado métodos de clasificación, organización, ordenación, ponderación y evaluación.

Los inicios

El enfoque Documental de la evaluación de recursos electrónicos comienza entre 1995 y 1998 con artículos especializados como el publicado en la American Association of Law Libraries (STUDWELL, B. 1998), en el que se aporta una lista de referentes esenciales, a saber:

• Propósito
• Saber si la información es pertinente a las demandas informativas del usuario. Si el recurso incluye resultados, estadísticas, etc.
• Determinar si la información presentada ha sido contrastada, está basada en el método científico y ha sido consensuada, de acuerdo con la temática o línea conductora texto.

• Comprobar el contenido
• Analizar si el recurso cita las fuentes de información, las obras de terceros autores para basar la argumentación de su contenido.
• Recurre a fuentes primarias y originales o secundarias.

• Autoridad
• El recurso presenta el autor/es del contenido.
• Son autores de reconocido prestigio o del ámbito de su área de conocimiento.
• Dispone de correo electrónico para establecer contacto con el autor.
• Está documentado y cualificado el autor para escribir sobre el tema que se aborda en el recurso.
• El contenido publicado en el recurso tiene derechos de copia. Qué tipo de derechos.

• Precisión
• Es la información oportuna, de acuerdo con el objeto especificado por su título.
• Existen errores tipográficos, de gramática y ortografía que afecten a la legibilidad o comprensión de los contenidos.
• Es la información suficientemente exhaustiva y detallada de acuerdo con los objetivos planteados.
• La información presentada es pobre o irrelevante. Hasta que punto es original.
• El contenido es objetivo o parcial, de tal manera que sólo recoge un único punto de vista o enfoque.
• Las afirmaciones planteadas están basadas en otras fuentes.
• Está la información organizada para proporcionar relaciones de tablas, figuras, ilustraciones, bibliografía, etc. 

• Objetividad
• Está la información sesgada.
• Se reconoce la existencia de otros argumentos y enfoques del tema que se está tratando.
• Hasta que punto se trata de influir al lector o usuario de dicha información.
• Se expresan claramente los contenidos sin hacer publicidad o adorno. Se emplea un lenguaje aséptico.

• Actualidad y cobertura
• Cuándo fue la última actualización del recurso. Especifica las fechas de modificación y actualización del mismo.
• Está en contínuo desarrollo.
• Contiene citas de fuentes actuales.
• Guarda copia de versiones anteriores para su comparación.

Enfoques actuales

Desde entonces ya se establecen las principales ideas que atañen a la evaluación cualitativa de la información, una de las más importantes para llevar a cabo un correcto análisis de los recursos electrónicos. El enfoque cuantitativo se ha venido desarrollando con la aplicación de técnicas de recuperación de información, análisis estadístico de la términos, extensión del texto, procesos de análisis de la similaridad, frecuencia de aparición de términos y los más recientes como la ponderación los recursos a partir de sus enlaces entrates y salientes como el método de pagerank o el índice alexa entre otros.

En España el interés por establecer métodos que permitan evaluar recursos electrónicos ha dado sus frutos en con diversos estudios y materiales prácticos. Un claro ejemplo de estas investigaciones son las llevadas a cabo por (CODINA, L. 2003a) en el que define los aspectos de Organización, Representación, Acceso a la información, Ergonomía y Adecuación al medio para a continuación establecer distintos ámbitos de aplicación de la evaluación (Uso profesional, Compilaciones de recursos, Auditorías e Investigación) para el establecimiento de indicadores (CODINA, L. 2003b), resumidos en una ficha de análisis en la que es posible puntuar y efectuar observaciones sobre los siguientes aspectos:

• Identificación
• Título / URL
• Temática o categorización
• Público objetivo o destinatarios
• Datos de la fuente y filiación del autor/es

• Autoría
• Autores
• Adecuación
• Comunicación

• Contenido
• Concordancia entre tema, público y objetivos del recurso
• Interés para la comunidad científica
• Originalidad y oportunidad de comunicación de la información
• Política editorial
• Cantidad de contenidos
• Rigurosidad
• Edición
• Actualización
• Contenidos multimedia e interactivos
• Archivo y hemeroteca

• Acceso a la información
• Índices, sumarios generales y locales o tablas ordenadas de capítulos o contenidos
• Expresividad de la información que se transmite
• Correcta identificación de los contenidos
• Recorrido secuencial y ordenado / Navegación estructurada
• Jerarquización de los contenidos
• Navegación semántica
• Etiquetas
• Búsqueda simple y avanzada
• Empleo de lenguajes documentales en la clasificación del recurso

• Ergonomía
• Facilidad, Flexibilidad, Claridad, Legibilidad
• Velocidad de carga de los contenidos

• Luminosidad
• Enlaces, Calidad, Actualización, Tratamiento

• Popularidad
• Transparencia, Dublin Core, Meta-información, Nivel de enlazamiento

• Errores
• Deshacer acciones
• Mensajes
• Consecuencias de los errores

• Adaptación
• Redundancia
• Acceso a la información según el tipo de usuario
• Política de información y comunicación

Otro enfoque complementario y derivado del anterior es el que aporta (AYUSO GARCÍA, M.; MARTÍNEZ NAVARRO, V. 2006) con una estructura de parámetros por secciones, más resumida en su extensión y presumiblemente más rápidamente analizable.

• Micronavegación
• Autoría/Fuente: Identificación y solvencia de la fuente.
• Contenido: Calidad y cantidad de información.
• Navegación y recuperación.
• Ergonomía: Comodidad y facilidad de utilización.

• Macronavegación
• Luminosidad.
• Visibilidad.

• Usabilidad
• Procesos.
• Errores.
• Adaptación.

En todo caso las aportaciones mostradas, se limitan a un proceso evaluativo basado o en la medición de la calidad, la presencia o ausencia de ciertos rasgos o características que rozan la descripción de los recursos y fuentes de información propiamente dichas. Esta tendencia queda claramente marcada por el análisis de la profesora (PINTO MOLINA, M. 2011) que vuelve a englobar los fundamentos presentados anteriormente con un modelo de plantilla similar al expuesto a continuación:

• Autoría
• Adscripción del autor 
• Información sobre el autor 
• Medio de contacto (e-mail) 
• Logotipo de la organización 
• Declaración de principios y propósito del sitio web
• Evaluación externa

• Actualización
• Fecha de creación 
• Fecha de actualización 
• Información actual y actualizada 
• Existencia de enlaces obsoletos 
• Existencia de enlaces incorrectos

• Contenido
• Cobertura 
• Exactitud, precisión y rigor 
• Pertinencia 
• Objetividad

• Accesibilidad
• Diseño compatible con diferentes versiones navegador y resoluciones de pantalla 
• Versiones alternativas de visualización 
• Cumplimiento normativa WAI 
• Impresión correcta 
• Ayuda para la navegación y la comprensión contenidos 
• Versiones en otras lenguas

• Funcionalidad
• Estructura lógica: tabla, menú de contenidos 
• Pertinencia y adecuación de los títulos secciones
• Existencia de mapa web con enlaces 
• Sistema de búsqueda de contenidos propios

• Navegabilidad
• Menú de contenidos 
• Botones de navegación

• Diseño
• Elegante, funcional y atractivo 
• Combinación de colores, formas e imágenes
• Tipografía textual adecuada 
• Homogeneidad de estilo y formato

Como ha podido comprobarse, existe una alta compenetración de las ideas y tendencias que determinan los criterios de evaluación de los recursos electrónicos/digitales de información. Como bien se indica en todos los casos, el empleo de un método de análisis u otro viene determinado por el ámbito de aplicación del estudio, la comunidad de usuarios y su tipología, abriendo un abanico de posibilidades al investigador que pretenda estudiar fuentes de información.

Método propuesto

Dicho de otro modo, no se puede determinar que un método es mejor que otro si no se determinan los factores de 1) tiempo de análisis (El tiempo predeterminado para que el documentalista analice el recurso), 2) datos relevantes para la conclusión (Cuáles son los aspectos clave de la evaluación de los recursos, o sobre qué aspectos contados se pretende obtener conclusiones), 3) definición del tipo de estudio evaluativo (determinar si es un estudio cualitativo, cuantitativo, mixto y cuántos criterios de análisis se derivan de cada tipo), 4) definición de la temática y su grado de conocimiento (Si la temática de los recursos es conocida, la objetividad y precisión de la evaluación será superior, por la comprensión que ejerce el documentalista para discernir qué contenidos son relevantes y cuáles no, dicho de otra forma, la competencia del documentalista para emitir juicios de calidad), 5) cantidad de recursos sometidos al análisis evaluativo (La cantidad de recursos afecta junto con el tiempo de análisis en la obtención de resultados más o menos exhaustivos)

Definidos tales factores, se requiere una concrección de los criterios de evaluación, empleando a ser posible un modelo de ficha análogo a los citados anteriormente. Un cuadro de análisis medio y proporcionado, podría ser la siguiente propuesta.

Ficha de evaluación de recursos de información en red Propuesta por el Prof. Manuel Blázquez Ochando
Título
URL
Temática
Público objetivo
Fuente
Fecha de publicación
Fecha de actualización
Fecha de evaluación
Documentalista evaluador
Categoría1	Categoría2		Categoría3	Puntuación
Autor	Identificación de autoridad		Denominación completa de la autoridad: autor/es o entidades responsables del contenido.	[0-5]
			Datos de filiación: localización de la autoridad.	[0-5]
			Datos de contacto: disposición de correo electrónico y perfil social.	3 puntos por cada aspecto. [0-6]
	Referenciación de autoridad		URL oficial de la autoridad.	[0-5]
			Nº de Enlaces externos sobre la autoridad.	[nº]
Contenido	Estructura formal		Título destacado tipográficamente: <h1>título</h1>, <b>título</b> o CSS aplicado.	[0-1]
			Resumen: Detección de resumen analítico, informativo, indicativo y crítico.	[0-10]
			Versión: Detección de las fechas de publicación, modificación y disposición de versiones anteriores o descripción de cambios.	10 puntos por cada aspecto. [0-20]
			Derechos: Declaración de los derechos de uso y explotación.	[0-1]
			Tabla de contenidos  o índices: Relación de epígrafes, capítulos o hitos del recurso. Por otro lado hipertextualidad para la navegación de todos los apartados.	Puntuar la presencia de índices con 10 puntos y su hipertextualidad con otros 10. [0-20]
			Aparato crítico: Incluye bibliografía, fuentes de información, citas bibliográficas	5 puntos por cada aspecto. [0-15]
	Propiedades del contenido		Pertinencia: determina el grado de precisión del contenido con respecto al objeto o tema tratado en el recurso.	[0-20]
			Exhaustividad o profundidad: Determina el grado de análisis y detalle del contenido del recurso.	[0-20]
			Grado de originalidad: Incluye breve estado de la cuestión, introducción y presentación de nuevos resultados y conclusiones	[0-30]
			Grado de parcialidad: Dependerá del número de fuentes utilizadas en el aparato crítico, su diversidad y el reconocimiento de los enfoques en el estado del arte.	[0-10]
	Clasificación		Utiliza lenguajes documentales o métodos de clasificación para organizar los contenidos del recurso por género, ontología, tesauro, etc.	[0-10]
Recuperación y consulta	Búsqueda sencilla		Permite la recuperación de palabras y frases	[0-10]
	Búsqueda avanzada		Permite además la recuperación cronológica, temática y semántica de los contenidos.	[0-20]
Arquitectura de la información	Mapa global de contenidos		Existe un mapa hipertextual de contenidos basado en sitemaps.xml	La ausencia no se puntúa, la presencia se valora con 20 puntos. [0-20]
	Limpieza		Sin artificios o imágenes que distraigan el propósito informacional y documental del recurso.	[0-10]
	Legibilidad		Fuentes de tamaño medio de fácil lectura. Colores suaves y mates de alto contraste con el texto. Modelo ideal [Fondo blanco – Texto negro – Tamaño de fuente 10pt o superior]	[0-5]
Cibermétrico	Visibilidad y posicionamiento		Aparece el recurso entre las 10 primeras posiciones del buscador al consultar las 3 primeras palabras de su título.	[0-30]
	Ponderación y relación		PageRank: Relevancia del recurso según el algoritmo de Google.	[0-10]
			Related: Nº de recursos similares en la red.	[nº]
			Link: Nº de páginas externas que enlazan el recurso.	[nº]
			Alexa: Relevancia del recurso según el algoritmo de Amazon.	Posición inferior a 10.000 puntuar con [10]. Decrecer puntuación hasta [0] cada 1.000 más.
	Cuantitativo de contenidos		Nº de caracteres código fuente: Permite determinar la extensión del recurso.	[nº]
			Nº de palabras: Cuantificación de la extensión textual. Debería de contabilizarse una vez depurado el texto de palabras vacías o stopwords.	[nº]
			Nº de metadatos: Posibilita determinar el grado de meta-descripción del recurso. Tipo <meta name='DC.title…	[nº]
			Nº de meta-etiquetas: Cantidad de etiquetas de meta-descripción del tipo <meta name='author…	[nº]
			Nº de titulares: Cantidad de apartados señalados o destacados tipográficamente en el contenido.	[nº]
			Nº de párrafos: Cantidad de bloques de texto definidos como tales. Tipo <p>texto</p>, <blockquote>texto</blockquote> y <div>texto</div>	[nº]
			Nº de enlaces: Cantidad de enlaces internos y externos	[nº]
			Nº de documentos: Cantidad de documentos enlazados en el recurso.	[nº]
			Nº de archivos multimedia: Cantidad de archivos multimedia enlazados en el recurso.	[nº]
			Nº de imágenes: Cantidad de imágenes enlazadas en el recurso. Desechando aquellas de tamaño menor a 320x240px	[nº]
			Tiempo de ejecución total de la página web o recurso.	[t]
Navegación	Menús contextuales		Opciones del menú con descripción contextual identificativa de los contenidos.	[nº]
			No más de 3 niveles jerárquicos.	[nº]
	Breadcrumb		Rutas de acceso al contenido del recurso, plenamente visible y navegable de acuerdo con la estructura jerárquica del menú principal.	10 puntos si se detecta la presencia de este sistema. Se sumarán 5 más si el breadcrumb no está elaborado con java o javascript [0-15]
	Cloudtag		Disposición de una nube o mapa de palabras clave. Comprobar la concordancia entre cloudtag y metadatos ó meta-etiquetas.	10 puntos si existe cloudtag y 10 más si existe concordancia. [0-20]
Tecnología y construcción	Documento bien formado y validado		Validación HTML-XHTML del W3C	[0-10]
	Programación del recurso		Recurso estático (Sólo HTML) ó dinámico (Denota PHP).	Estático 5 puntos. Dinámico 10 puntos. [0-10]
	Incompatibilidad y errores		Penalización de errores de ejecución así como de la presencia de Applets de Java, Javascript, Flash y actionScript.	Por cada elemento incompatible se restará hasta 20puntos.
Accesibilidad	Test de accesibilidad TAW Nivel AA http://www.tawdis.net/			Menos de 5 errores automáticos 5 puntos. Por cada 2 errores automáticos más se deduce 1 punto [0-5]

Como ha podido comprobarse, existe una alta compenetración de las ideas y tendencias que determinan los criterios de evaluación de los recursos electrónicos/digitales de información. Como bien se indica en todos los casos, el empleo de un método de análisis u otro viene determinado por el ámbito de aplicación del estudio, la comunidad de usuarios y su tipología, abriendo un abanico de posibilidades al investigador que pretenda estudiar fuentes de información.

Bibliografía

• AYUSO GARCÍA, M.; MARTÍNEZ NAVARRO, V. 2006. Evaluación de calidad de fuentes y recursos digitales: guía de buenas prácticas. Anales de Documentación, nº9, pags.17-42. Disponible en: http://digitum.um.es/xmlui/bitstream/10201/3978/3/1841.pdf

• BLÁZQUEZ OCHANDO, M. 2011. Primeras pruebas del mbot webcrawler. Disponible en: http://www.mblazquez.es/documents/articulo-pruebas1-mbot.html

• CODINA, L. 2003a. Metodología de análisis y evaluación de publicaciones digitales. Disponible en: http://www.lluiscodina.com/metodos/metodov6.doc

• CODINA, L. 2003b. Plantillas para analizar y evaluar publicaciones digitales. Disponible en: http://www.lluiscodina.com/metodos/plantillas.doc

• CODINA, L. 2006a. Metodología de análisis y evaluación de recursos digitales - Parte I: Procedimientos y desarrollo de indicadores. Disponible en: http://www.lluiscodina.com/metodos/procedimientos2006.doc

• CODINA, L. 2006b. Metodología de análisis y evaluación de recursos digitales - Parte II: Parámetros e Indicadores. Disponible en: http://www.lluiscodina.com/metodos/metodos2006.doc

• PINTO MOLINA, M. 2011. Calidad y evaluación de los contenidos electrónicos. Disponible en: http://www.mariapinto.es/e-coms/eva_con_elec.htm

• STUDWELL, B. 1998. Evaluating electronic resources. Disponible en: http://heinonline.org/HOL/Page?collection=aallar&handle=hein.aallar/spectrum0002&type=Image&id=393