Background: Bibliometric and Altmetric analyses provide different perspectives regarding research impact. This study aimed to determine whether Altmetric score was associated with citation rate independent of established bibliometrics.
Methods: Citations related to a previous cohort of 100 most cited articles in surgery were collected and a 3-year interval citation gain calculated. Citation count, citation rate index, Altmetric score, 5-year impact factor, and Oxford Centre for Evidence-Based Medicine levels were used to estimate citation rate prospect.
Results: The median interval citation gain was 161 (i.q.r. 83-281); 74 and 62 articles had an increase in citation rate index (median increase 2.8 (i.q.r. -0.1 to 7.7)) and Altmetric score (median increase 3 (0-4)) respectively. Receiver operating characteristic (ROC) curve analysis revealed that citation rate index (area under the curve (AUC) 0.86, 95 per cent c.i. 0.79 to 0.93; P < 0.001) and Altmetric score (AUC 0.65, 0.55 to 0.76; P = 0.008) were associated with higher interval citation gain. An Altmetric score critical threshold of 2 or more was associated with a better interval citation gain when dichotomized at the interval citation gain median (odds ratio (OR) 4.94, 95 per cent c.i. 1.99 to 12.26; P = 0.001) or upper quartile (OR 4.13, 1.60 to 10.66; P = 0.003). Multivariable analysis revealed only citation rate index to be independently associated with interval citation gain when dichotomized at the median (OR 18.22, 6.70 to 49.55; P < 0.001) or upper quartile (OR 19.30, 4.23 to 88.15; P < 0.001).
Conclusion: Citation rate index and Altmetric score appear to be important predictors of interval citation gain, and better at predicting future citations than the historical and established impact factor and Oxford Centre for Evidence-Based Medicine quality descriptors.
Antecedentes: Los análisis bibliométricos clásicos y alternativos (Altmetrics) brindan perspectivas diferentes sobre el impacto de la investigación. Este estudio tuvo como objetivo determinar si la puntuación Altmetric se asoció con la tasa de citación independiente de la bibliométrica estándar.
Métodos: Se recopilaron las citaciones de una cohorte compuesta por los 100 artículos más citados en cirugía y se calculó el incremento de citaciones a intervalos de tres años. Se calcularon el número de citaciones, el índice de la tasa de citas, la puntuación Altmetric, el factor de impacto a los cinco años y los niveles de evidencia del Centro de Medicina basado en la Evidencia de la Universidad de Oxford.
Resultados: La mediana del incremento del número de citaciones fue de 161 (rango intercuartílico, interquartile range, IQR 83-281), con 73 y 62 artículos que tuvieron un aumento del índice de la tasa de citas (mediana de incremento 2,8 (IQR -0,1-7,7)) y de la puntuación Altmetric (mediana de incremento 3 (IQR 0- 4)), respectivamente. El análisis ROC demostró que tanto el índice de tasa de citas (área bajo curva, area under the curve, AUC 0,86 (i.c. del 95%: 0,79-0,93), P < 0,001)) como la puntuación Altmetric (AUC 0,65 (i.c. del 95%: 0,55-0,76), P = 0,008)), se asociaron con el incremento de citas durante el periodo de estudio. Una puntuación Altmetric ≥ 2,0 se asoció con un mayor incremento de citaciones en el periodo analizado al dicotomizar la mediana del incremento de citas (razón de oportunidades, odds ratio, OR = 4,94; i.c. del 95%: 1,99-12,26, P = 0,001) y el cuartil superior (upper quartile, UQ; OR = 4,13, (1,60-10,66), P = 0,003). El análisis multivariable demostró que solo el índice de tasa de citaciones se asociaba de forma independiente con el incremento de citaciones durante el período cuando se dicotomiza en la mediana (OR 18,22, (6,70-49,55), P < 0,001) o en el UQ (OR 19,30, (4,23-88,15), P < 0,001)).
Conclusión: Los índices de citación y la puntuación Altmetric parecen ser factores predictores de peso en el incremento del número de citaciones y son mejores para predecir las citaciones futuras que los factores de impacto histórico y establecido y los descriptores de calidad del CEBM de la Universidad de Oxford.
© The Author(s) 2021. Published by Oxford University Press on behalf of BJS Society Ltd.