Índices bibliométricos: tipos y críticas « e-notas de Evaluación - Consejería de Sanidad del Principado de Asturias - Revista digital de divulgación y discusión científica

Editorial

12/04/2018

Gonzalo Solís Sánchez (Pediatra)

Hospital Universitario Central de Asturias HUCA

La publicación de un artículo científico debe ser la culminación de cualquier proceso de investigación. La comunicación de los resultados de nuestro trabajo a la comunidad científica es esencial, sea cual sea el campo o la disciplina. En este texto pretendemos plantear los conocimientos básicos de estos índices bibliométricos y abrir el debate sobre su uso y abuso.

Los índices o indicadores bibliométricos son herramientas cuantitativas y cualitativas que nos permiten en teoría conocer la importancia de la producción científica escrita de un autor, de un grupo o de una institución1,2 (Tabla I).

Tabla I: Indicadores bibliométricos

La mayoría de estos índices son cálculos automáticos que nos aportan empresas del sector. Así, la Web of Science de Clarivate Analitics (hasta 2016 de Thomson-Reuters) y Scopus de Elsevier son los mayores motores de indicadores bibliométricos en la red en estos momentos. Ambas son capaces de realizar informes de autoría y citación, y ambas aportan sus propias herramientas de cuantificación. Junto a ellas, Google Scholar se presenta como una herramienta libre, pero con menor control de calidad en sus resultados.

1.- Indicadores de producción y colaboración

Los primeros indicadores que debemos de conocer son los de producción (número de artículos y distribución temporal) y los de colaboración (tipo de autoría). Es esencial conocer si un autor determinado produce más o menos literatura científica y cómo es su autoría, el orden entre los firmantes o la adscripción a grupos colaborativos multicéntricos.

2.- Indicadores de visibilidad esperada

Hablamos de indicadores de visibilidad esperada cuando nos referimos a lo que esperamos de nuestra publicación por el hecho de publicarse en una determinada revista. Entre los indicadores de visibilidad esperada destaca el Factor de Impacto (FI) de Clarivate Analitics, pero también conviene conocer el SCImago Journal Rank (SJR) de Scopus de Elsevier.

El FI es un simple cociente que resulta de dividir el número de veces que los artículos publicados en una revista durante dos años seguidos son citados en el año inmediatamente posterior a estos dos, entre el número total de artículos publicados en esa revista durante esos dos años3.

El FI indica visibilidad y difusión internacional de la revista pero no valora nuestro artículo, ya que no es un buen indicador del número de citas que va a recibir el mismo. El valor del FI de cada revista sale publicado anualmente en junio, es relativamente estable y presenta importantes limitaciones cada día más criticadas. Por ejemplo, las revistas no anglosajonas están claramente penalizadas, las autocitas pueden hacer mover dicho índice, algunas políticas editoriales pueden inducir su crecimiento y algunas revistas (básicas, generales, con frecuentes revisiones) suelen tener más FI que otras, independientemente de su calidad. Para finalizar esta crítica, el FI valora igual todas las citas, vengan de la revista que vengan.

Junto al FI, Clarivate Analitics aporta otros índices interesantes que conviene tener en cuenta a la hora de valorar una revista: el FI de 5 años, el índice de inmediatez, la vida media de las citas, el Eigenfactor Score y el Article Influence Score. Todos ellos los aporta el Journal Citation Report que se puede consultar en la Web of Science. El Eigenfactor Score analiza cinco años de citas y, sobre todo, pondera las citas por la importancia de las revistas que citan. El Article Influence Score es un derivado normalizado del Eigenfactor Score. Estos dos últimos índices solucionan algunas de las críticas achacables al FI.

Frente a Clarivate, Scopus de Elsevier propone otro indicador algo deferente: el SJR. Este indicador se basa en que no todas las citas valen lo mismo según la revista donde se cite. Para su cálculo, Scopus utiliza un algoritmo complejo de iteraciones, basado en el análisis de 3 años, restringiendo las autocitas. Este SJR, cada día más popular, también se modifica anualmente, y puede ser consultado libremente en la red.

Además del SJR, Scopus aporta también otros indicadores: el Source Normalized Impact per Paper (SNIP) y su intervalo de estabilidad. El SNIP, desarrollado por la Universidad de Leiden,  también analiza las citas de 3 años, pero normalizándolas por áreas de conocimiento, lo que permite comparar revistas de distintos ámbitos.

Utilizando cualquiera de estos índices (FI ó SJR, por ejemplo), las revistas se clasifican en cuartiles o terciles, según se sitúen en el listado de orden de dichos indicadores. Valorar la producción científica de publicaciones según cuartiles o terciles es otra forma de valorar la importancia de un autor, grupo o institución.

3.- Indicadores de impacto observado

Cuando hablamos del impacto observado de un trabajo nos referimos a las veces que dicho trabajo es citado (número de citas) y, en el caso de un autor, a la suma de las citas que produce el total de su producción. Sin embargo, el índice más utilizado en este sentido es el índice h de HIRSCH, que es el número “h” de artículos que tienen “h” o más citas. Si un autor tiene 15 artículos con 15 o más citas, su índice h será 15. Esto vale para un autor, pero también para una revista o para un grupo de autores.

La probabilidad de que un artículo sea citado depende de muchos factores. Las disciplinas generales, con gran número de lectores y autores, generan muchas citas.  También las revisiones y los artículos metodológicos suelen ser muy citados. Además, es conveniente señalar que la autocitación puede modificar estos indicadores.

El índice h tiene ventajas e inconvenientes.  Entre estos últimos está que no discrimina aquellos autores con pocos pero muy buenos artículos de autores con baja citación. Tampoco sirve para comparar autores de distintos campos, ni a autores de distinta edad científica, además de penalizar a autores con estrategias de publicación muy selectivas.

Otro indicador del impacto observado es el Índice de Crown, que normaliza el número de citaciones en referencia a una media y sirve para comparar o para ver la evolución de una institución.

Para terminar, convendría señalar, al menos someramente, los llamados nuevos indicadores bibliométricos o altmetrics. Son instrumentos vinculados a la red, con múltiples fuentes de información, que miden en tiempo real (cambian de un momento a otro) y que, por su naturaleza, son fácilmente manipulables.

Algunos de ellos cuantifican las visitas que recibe un trabajo, las descargas del documento, los lectores en Mendeley, los re- tuits que genera,… Algunas páginas los calculan específicamente (Plum analytics, Impact Story, Almetrics.com,…), pero ya hay muchas revistas que los generan en sus propias páginas web. Tal vez estos nuevos indicadores no sustituyan a los clásicos pero si que pueden complementar su significado.

4.- Crítica a los índices bibliométricos

Una de las mayores críticas al sistema científico general, y al sanitario en particular, es el enorme aumento de las publicaciones científicas, que no se corresponde al avance real de los conocimientos. Este fenómeno de inflación de publicaciones tiene mucho que ver con la necesidad de poseer un buen curriculum a la hora de subir peldaños en la vida profesional4-7.

Desde muchas esferas de la ciencia existe un movimiento contrario a la valoración exclusiva de los científicos y profesionales a través de su cuantificación de publicaciones.  Se dice que los distintos índices comentados solo miden cantidad y no calidad. En este sentido, este movimiento mantiene que las distintas métricas no son las herramientas ideales para valorar un curriculum, ni el valor intrínseco de un candidato. Mantienen que actualmente se da más importancia a la revista donde se publica que al propio mensaje que encierra el artículo y que se busca la publicación rápida con impacto, más que la verdadera calidad en la misma.

La Declaración de San Francisco (San Francisco Declaration on Research Assessment, DORA) sostiene “la necesidad de eliminar el uso de métricas para consideraciones en la financiación y promoción de científicos, y la necesidad de valorar la investigación por sus propios méritos más que por las revistas en las que se publica” 8. El mensaje va dirigido a las agencias de financiación y a las universidades, pero en nuestro medio también podría dirigirse a la administración sanitaria. En DORA se mantiene que el FI se creó para orientar a los bibliotecarios sobre las revistas que se debían comprar por su interés, pero no como una medida de calidad científica de un artículo.

La adaptación a las métricas por parte de los profesionales es una realidad. Las estrategias para aumentar las auto-citas y las citas-amigas no deja de ser un mecanismo de supervivencia en el mercado y su moralidad es, al menos, discutible. Sin embargo, las agencias, las universidades y la administración basan sus decisiones en las métricas y esto hace que el juego no pueda ser muy limpio.

Reducir la calidad de un profesional a unas cifras es imposible y se deberían buscar formas de valoración cualitativas, aunque resulten mucho más complicadas y probablemente caras. En la Tabla II podemos leer los puntos principales del Manifiesto de  Leiden9, una declaración internacional en este sentido.

Tabla II: Manifiesto de Leiden9









Tabla I: Indicadores bibliométricos

1.- De producción y colaboración

Número de artículos

Distribución temporal

Tipo de autoría

2.- De visibilidad esperada

Clarivate Analitics:

Factor de impacto

Factor de impacto a 5 años

Índice de inmediatez

Vida media de citas

Eigenfactor Score

Article Influence Score

Scopus de Elsevier:

SCImago Journal Rank (SJR)

Source Normalized Impact per Paper (SNIP)

Cuartiles o terciles

3.- De impacto observado.

Índice h

Índice de Crown

Nuevos índices o Almetrics

Bibliografía

1.- Torres-Salinas D, Jiménez-Contreras E. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información 2010; 19:201-7.

2.-  Cabezas Clavijo A, Torres-Salinas D.  Políticas científicas e indicadores bibliométricos. EC3metrics Spin Off. Universidad de Granada, 2014.

3.- Garfield E. The history and meaning of the journal impact factor. JAMA 2006; 295:90-3.

4.- Sanchis-Gomar F. How does the journal impact factor affect the CV of PhD students?. EMBO reports 2014; 15:207.

5.- Pulverer B. Impact fact-or fiction?. EMBO J 2013; 32: 1651-2.

6.- Génova G, Astudillo H, Fraga A. The scientometric bubble considered harmful. Sci Eng Ethics 2016; 22: 227-35.

7.- Ioannidis JPA, Boyack KW, Small H, Sorensen AA, Klavans R. Is your most cited work your best?. Nature 2014; 514: 561-2.

8.- San Francisco Declaration on Research Assessment. Pûting science into the assessment of research, DORA . http://www.ascb.org/dora/ (última visita el 20/3/2017).

9.- Hicks D, Wouters P, Waltman L, de Rijke S, Rafols I. The Leiden Manifiesto for research metrics.  Nature 2015; 520: 429-31.