James Ravenscroft, Maria Liakata, Amanda Clare, Daniel Duma. Editor Lutz Bornmann. Medición del impacto científico más allá de lo académico: una evaluación de las métricas de impacto existentes y las mejoras propuestas. PLoS One. 2017; 12(3): e0173152. Centre for Scientific Computing, University of Warwick, Coventry, Department of Computer Science, Aberystwyth University and School of Informatics, University of Edinburgh, United Kingdom.
Resumen
¿Cómo afecta la investigación científica al mundo que nos rodea? Ser capaces de responder a esta pregunta es de gran importancia para canalizar adecuadamente los esfuerzos y recursos en ciencia. El impacto de la publicaciones científicas en el mundo académico (Impacto Académico) se mide actualmente mediante métricas basadas en citas como el Journal Impact Factor (JIF), ideado por Garfield (1955), el h-Index ideado por Hirsch (2005) y el recuento de citas. Estas métricas académicas tienen como objetivo representar la difusión del conocimiento entre los científicos y como impactan en la investigación en el mundo. En este trabajo, estamos interesados en medir el impacto científico más allá de lo académico: en la economía, la sociedad, la salud y la legislación que denominaremos Impacto Integral. De hecho, se les pide a los científicos que demuestren evidencia de tal impacto integral al crear estudios de caso en el contexto del Marco de Excelencia en Investigación (REF). Primero investigamos en qué medida las métricas existentes basadas en citas pueden ser indicativas de un impacto integral. Hemos recopilado todos los estudios de caso de impacto REF en 2014 y los hemos vinculado a documentos en redes de citas que construimos y derivamos del CiteSeerX, arXiv y PubMed Central utilizando una serie de técnicas de procesamiento de texto y recuperación de información. Hemos demostrado que las métricas existentes para la medición del impacto no se correlacionan bien con los resultados de impacto de REF. También consideramos las métricas de atención en línea en entorno a trabajos científicos, como los proporcionados por la API Altmetric. Argumentamos que para poder evaluar un impacto no académico más amplio, necesitamos extraer información de un conjunto mucho más amplio de recursos, incluidas publicaciones en redes sociales, comunicados de prensa, reportajes y debates políticos derivados del trabajo académico. También proporcionamos nuestros datos como una colección gratuita y reutilizable para su posterior análisis, incluida la red de citas de PubMed y la correspondencia entre los estudios de casos REF, las solicitudes de subvenciones y la literatura académica.
Introducción
Los consejos de investigación y los inversores ahora esperan que los científicos planifiquen y demuestren el impacto de sus trabajos. Intentar comprender y maximizar el impacto de la investigación debería ser beneficioso para los científicos, no solo como un requisito de financiación, sino también porque ayudaría a aumentar nuestra comprensión en términos de cómo los hallazgos científicos pueden beneficiar a la sociedad humana y al medio ambiente.
Definiciones de impacto
Se considera que el impacto académico es el impacto que tiene la investigación científica dentro del ámbito académico. El impacto académico se mide tradicionalmente mediante el uso de métricas de autor, como el recuento de citas por autor y por revista. Los factores de impacto ligeramente más complejos incluyen el Journal Impact Factor (JIF), ideado por Garfield en 1955 y el autor h-Index ideado por Hirsch en 2005. Estas siguen siendo métricas de éxito para la prevalencia académica en la comunidad científica en el momento de la redacción.
Definimos el término impacto integral como el amplio impacto de la investigación científica sobre la sociedad humana (incluido el impacto cultural y económico) y el medio ambiente natural.
Aunque el impacto académico se entiende relativamente bien a través de las métricas existentes que se analizan más adelante, el impacto integral sigue siendo muy difícil de detectar, comprender y medir.
Métricas de impacto académico
Como se discutió anteriormente, ya hay una serie de métricas bien entendidas y ampliamente utilizadas para medir el impacto académico. Estas métricas se han enfrentado a una serie de críticas de varias fuentes. La estrategia simplista de contar las citas de un trabajo o autor y comparar esta suma con el número total de citas que recibieron sus pares puede parecer atractiva. Sin embargo, no es justo comparar publicaciones de diferentes años o disciplinas científicas, ya que existe una gran diferencia en la velocidad y frecuencia de acumulación de citas en diferentes campos de la ciencia.
La puntuación media de citas normalizadas (MNCS) es una métrica diseñada para abordar estas deficiencias mediante la normalización por año de publicación y por subcampo científico. El número "esperado" de citas para un artículo especifico se determina tomando la media de citas para artículos en el mismo campo publicado en el mismo año. El valor de MNCS es la proporción del número real de citas que recibió un artículo en comparación con el recuento de citas "esperado". La contribución general de un autor podría calcularse tomando el promedio de sus puntajes MNCS para todos sus trabajos. Sin embargo, este enfoque todavía es propenso a sesgarse en documentos que son excepcionalmente populares (con respecto a su campo y año de publicación) y por lo tanto, es muy difícil diferenciar entre autores que tienen muchas publicaciones exitosas y autores que tienen uno o dos obras bien conocidas..........
Leer el articulo completo
Dr. Anibal E. Bagnarelli, Bioquímico-Farmacéutico-UBA. Ciudad de Buenos Aires, Argentina
(*) Una vez que esta en la pagina del articulo, pulsando el botón derecho puede acceder a su traducción al idioma español. Este blog de bioquímica-clínica está destinado a profesionales bioquímicos y médicos; la información que contiene es de actualización y queda a criterio y responsabilidad de los mencionados profesionales, el uso que le den a la misma. Las páginas de este blog se renuevan cada 5 días en forma automática. Cordiales saludos.
