Relación entre el nivel de evidencia y las citas de los artículos en revistas radiológicas

Abstract

Introducción y objetivos Una revista científica debe garantizar la calidad metodológica de los artículos que publica y, para ello debe aplicar los Niveles de Evidencia (NE) a sus publicaciones. Los NE son una clasificación jerárquica de los estudios atendiendo a su diseño. Aunque existen muchas clasificaciones de NE, la mayoría los dividen en cinco, considerando el NE =1 como la mejor evidencia disponible. Sin embargo, la carrera científica de los investigadores no se rige por la calidad metodológica de sus trabajos, sino por los Indicadores Bibliométricos (IB) siendo el más extendido el Factor de Impacto (FI). Hasta ahora no se ha explorado si existe alguna relación entre el NE que tiene un artículo y el número de citas que recibe. Por ejemplo, a un artículo de revisión no se le puede asignar NE y puede recibir muchas citas. Es decir, calidad metodológica y citas pueden comportarse de una manera inversa. Otra forma de medir el interés que genera un trabajo es por su número de descargas. Pero al igual que con las citas, un artículo de revisión o con un bajo NE también puede ser muy descargado y no repercutir directamente en el manejo del paciente.

Por ello, en esta tesis nos hemos planteado los siguientes objetivos: 1.- Valorar cuál de las escalas de NE presenta mayor concordancia interobservador; 2.-Establecer si para asignar un NE es suficiente con leer el resumen del artículo o se debe leer el artículo completo; 3.- Evaluar cuál es el NE de los artículos originales publicados en las revistas radiológicas con mayor FI; 4.- Saber si hay relación entre las citas que recibe un artículo y su NE; 5- Valorar si hay relación entre las citas que reciben los artículos con NE asignado y los artículos sin NE asignado; 6.- Saber si hay relación entre el número de descargas de un artículo y su NE; 7.- Establecer si hay relación entre el número de citas de un artículo y su número de descargas; 8.- Crear un Índice de Evidencia de las revistas como propuesta para cuantificar la evidencia que genera una revista concreta.

Material y métodos Para los dos primeros objetivos se analizaron los veinte artículos más citados en revistas con FI en el año 2020, comparando su NE con dos escalas de NE: Oxford Center of Evidence Based Medicine (OCEBM) y National Health and Medical Research Council (NHMRC). Se calculó la concordancia interobservador con el estadístico kappa tras la lectura de los resúmenes y también la concordancia intraobservador entre la lectura del resumen y del texto completo.

Para objetivos 3-7, se analizaron todos los artículos publicados entre 2018 y 2019 en European Radiology, Radiology, Insights Into Imaging y Radiographics. Se dividieron en originales con NE (que, a su vez, se clasificaron en cinco NE), artículos originales sin NE y artículos de revisión. Las citas se obtuvieron del Journal Citation Report en 2020 y en 2024. El número de descargas se obtuvo en 2024 del sitio web de cada revista. Los datos de 2020 se obtuvieron en las cuatro revistas mientras que los datos de 2024 sólo estaban disponibles para European Radiology e Insights Into Imaging. Se utilizó el programa IBM-SPSS versión 25. Las variables cuantitativas (citas, descargas y NE) se analizaron mediante tablas de frecuencia. Para el contraste de hipótesis se utilizó el test no paramétrico Kruskall-Wallis. La correlación citas-descargas se analizó con el test de Spearman.

Por último, se propone un índice para cuantificar la evidencia (IE) en el que se multiplicaría por cinco los artículos con NE =1, por cuatro los artículos con NE=2, por tres los artículos con NE=3, por dos los artículos con NE=4 y por uno los artículos con NE=5, sumándose posteriormente todos los resultados. Este IE se integraría en tres fórmulas: Índice de Evidencia Medio (IEm): IE/nºde artículos con NE asignado; Ratio de Evidencia (RIE): IE/total de artículos publicados; Ratio de Evidencia (RE): artículos con NE/nº total de artículos publicados.

Resultados La concordancia interobservador del NE de los resúmenes fue buena con la escala OCEBM (K=0,679), siendo algo inferior con la NHMRC (K=0,577 -moderada). Sin embargo, la concordancia intraobservador entre el NE otorgado tras leer el resumen y tras leer el texto completo fue baja en ambas escalas (0,175 con la OCEBM y 0,150 con la NHMRC).

Se analizó un total de 2409 artículos pudiendo asignar NE a 1124 (71 NE=1; 323 NE=2; 267 NE=3; 462 NE=4 y 1 NE=5). En el análisis citas-NE de 2020, la media y la mediana de las citas de los artículos con NE=1 fue superior al resto de grupos. El grupo con NE=4 fue el menos citado. Los originales con NE obtuvieron más citas que los originales sin NE (7,56 citas/artículo vs 5,56 citas/artículos). Al dividir este último grupo en dos (originales sin NE y revisiones), las revisiones obtuvieron un promedio de citas similar a los artículos con NE asignado (7,56 citas/artículo vs 7,29 citas/artículo). En 2024 (n=1508), los originales con NE (n=767) tuvieron una media de citas de 35,01 citas/artículo, mientras que la media de los originales sin NE (n=539) fue de 22,33 citas/artículo y los artículos de revisión (n=202) alcanzó las 49,90 citas/artículo.

En el análisis de las descargas acumuladas en diciembre de 2024 (n=1508), los artículos con NE=1 fueron los más descargados mientras que el grupo con NE = 4 fueron los que menos tuvieron. En el análisis por subgrupos, las revisiones obtuvieron un número de descargas muy superior a los otros grupos. Se encontró una correlación positiva entre el número de descargas de los artículos y su número de citas (rho=0,523), siendo más fuerte dicha correlación en el grupo de los originales con NE (rho=0,646) y menos en los artículos de revisión (rho=0,458). En todos los contrastes de hipótesis, las diferencias observadas fueron estadísticamente muy significativas (p<0,000).

De las revistas analizadas, Radiology tuvo el IEm más alto (3,08), observando un aumento en 2019 respecto a 2018. Los otros dos índices propuestos (RIE y RE) fueron superiores en European Radiology en ambos años respecto a Radiology, siendo ligeramente superiores en 2018.

Conclusiones De las dos escalas analizadas, la que mejor concordancia interobservador presentó fue la OCEBM y para su correcta aplicación debemos leer el texto completo del artículo. El NE=4 fue el asignado de forma más frecuente. Los artículos con NE=1 y NE=2 se citan más que los artículos con NE=4. En el análisis de las citas de 2020, los originales con NE reciben un promedio de citas similar a las revisiones, mientras que los artículos originales sin NE son el grupo menos citado. Sin embargo, en el análisis de las citas de 2024 los artículos de revisión son el grupo más citado. Este grupo fue también el más descargado seguido de los originales con NE=1. Existe una correlación positiva entre descargas-citas, siendo más fuerte en los artículos originales con NE asignado.

De los tres índices de evidencia propuestos, el IEm se podría relacionar positivamente con el FI. No obstante, se necesita un análisis de un mayor número de revistas y años para consolidarlo como un índice fiable.

Scientific journals ensure the methodological quality of their publications by assigning each article a Level of Evidence (LE). LEs are a way to classify studies according to the strength of their design. Although numerous classifications of LE exist, most divide them into five levels, with LE = 1 representing the highest level of available evidence. However, researchers’ scientific careers are not determined by the methodological quality of their work, but rather by bibliometric indicators (BI), the most common of which is the Impact Factor (IF). To date, no studies have examined whether there is a relationship between an article’s LE and the number of citations it receives. For example, a review article cannot be assigned an LE, yet it may receive a high number of citations. In other words, methodological quality and citation count may be inversely related. Another way to assess the level of interest a paper generates is by examining the number of downloads. However, similar to citations, review articles or those with a low LE may attract many downloads, yet have little direct influence on patient management. Accordingly, the following objectives were established for this thesis: 1. - Identify the LE scale with the highest interobserver agreement; 2. - Determine whether the abstract alone suffices to assign an LE or if full-text review is required; 3. - Evaluate the LE of original articles published in radiology journals with the highest IFs; 4. - Examine the association between citation count and LE; 5. - Compare citation counts between articles with an assigned LE and those without; 6. - Assess the association between download count and LE; 7. - Examine the relationship between citation count and download count; 8. - Develop a journal-level ‘Evidence Index’ to quantify the evidence generated by a given journal. Material and Methods For the first two objectives, an analysis was carried out on the 20 most-cited articles from journals with an IF in 2020, and their LEs were compared using two scales: the Oxford Centre for Evidence-Based Medicine (OCEBM) and the National Health and Medical Research Council (NHMRC). Using the kappa statistic, interobserver agreement was calculated from abstract readings. It was also used to calculate intraobserver agreement between abstract and full-text readings. For objectives 3–7, an analysis was performed on all articles published between 2018 and 2019 in European Radiology, Radiology, Insights into Imaging and Radiographics. The articles were classified into three groups: original articles with an assigned LE (further divided into five LE levels), original articles without an assigned LE, and review articles. Citation data were obtained from the Journal Citation Reports for the years 2020 and 2024. Download counts were retrieved in 2024 from the official websites. The 2020 data were available for all four journals, whereas the 2024 data were only available for European Radiology and Insights into Imaging. Data were analysed using IBM SPSS Statistics version 25. The quantitative variables (citations, downloads and LE) were analysed using frequency tables. Hypothesis testing was performed using the non-parametric Kruskal–Wallis test. The correlation between citations and downloads was evaluated using Spearman’s test. To address the final objective, an EI is proposed to quantify the strength of evidence, whereby articles with LE = 1 are multiplied by five, LE = 2 by four, LE = 3 by three, LE = 4 by two, and LE = 5 by one, and the resulting values are then added together. This EI is incorporated into three measures: Mean Evidence Index (MEI): EI / number of articles with an assigned LE; Evidence Ratio (ER): EI / total number of published articles; Evidence Rate (EvR): number of articles with an assigned LE / total number of published articles. Results Interobserver agreement for LE based on abstracts was good with the OCEBM scale (K = 0,679), and slightly lower with the NHMRC scale (K = 0,577; moderate). However, intraobserver agreement between the LE assigned from the abstract and that assigned after reading the full text was low for both scales (0,175 for OCEBM and 0,150 for NHMRC). A total of 2409 articles were analysed, and LE could be assigned to 1124 of them (71 LE = 1; 323 LE = 2; 267 LE = 3; 462 LE = 4; and 1 LE = 5). In the 2020 citation-LE analysis, articles with LE = 1 had higher mean and median citation counts than all other LE groups, whereas articles with LE = 4 had the lowest citation counts. Original articles with an assigned LE received more citations per article than those without an LE (7,56 vs 5,56 citations/article). When the latter group was further divided into original articles without an LE and review articles, the reviews received a similar mean number of citations to articles with an assigned LE (7,56 vs 7,29 citations/article). In 2024 (n = 1508), original articles with an assigned LE (n = 767) had a mean citation count of 35,01 citations/article, compared with 22,33 citations/article for original articles without an LE (n = 539), and 49,90 citations/article for review articles (n = 202). In the analysis of cumulative downloads as of December 2024 (n = 1.508), articles with LE = 1 were the most frequently downloaded, whereas those with LE = 4 were the least downloaded. In the subgroup analysis, the review articles had substantially more downloads than the other groups. A positive correlation was observed between the number of downloads and the number of citations (rho = 0,523), which was stronger among original articles with an LE (rho = 0,646) and weaker among review articles (rho = 0,458). In all hypothesis tests, the observed differences were statistically highly significant (p < 0.000). Among the journals analysed, Radiology had the highest MEI (3,08), with an increase in 2019 compared with 2018. The other two indices, ER and EvR, were higher in European Radiology than in Radiology in both years, with slightly higher values in 2018. Conclusions Of the two scales analysed, OCEBM showed the highest interobserver agreement, and its correct application requires reading the full text of the article. LE = 4 was the most frequently assigned level. Articles with LE = 1 and LE = 2 received more citations than those with LE = 4. In the 2020 citation analysis, original articles with an assigned LE received a similar mean number of citations to review articles, whereas original articles without an LE were the least cited group. In contrast, in the 2024 citation analysis, review articles were the most cited group. This group also had the highest number of downloads, followed by original articles with LE = 1. A positive correlation was observed between downloads and citations, with a stronger correlation among original articles with an assigned LE. Among the three proposed evidence indices, the MEI may be positively associated with the IF. However, analysis of a larger number of journals and publication years is required to establish it as a reliable index.