Gemma Conroy-Editor. Los científicos usaron ChatGPT para generar un documento completo desde cero, pero ¿es bueno?. Nature news article 07 July 2023
Utilizando el chatbot en cada paso, los investigadores produjeron un documento fluido y perspicaz. Sin embargo, todavía tienen preocupaciones.
Un par de científicos ha producido un trabajo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta impulsada por inteligencia artificial (IA) que puede comprender y generar texto similar al humano. El artículo fue fluido, perspicaz y se presentó con la estructura esperada de un artículo científico, pero los investigadores dicen que hay muchos obstáculos que superar antes de que la herramienta pueda ser realmente útil.
El objetivo era explorar las capacidades de ChatGPT como 'copiloto' de investigación y provocar un debate sobre sus ventajas y desventajas, dice Roy Kishony, biólogo y científico de datos del Technion, el Instituto de Tecnología de Israel en Haifa. “Necesitamos una discusión sobre cómo podemos obtener los beneficios con menos desventajas”, dice.
Kishony y su alumno Tal Ifargan, un científico de datos que también trabaja en Technion, descargaron un conjunto de datos disponible públicamente del Sistema de Vigilancia de Factores de Riesgo del Comportamiento de los Centros para el Control y la Prevención de Enfermedades de EE. UU., una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información recopilada de más de 250 000 personas sobre su estado de diabetes, consumo de frutas y verduras y actividad física.
Los bloques de construcción en un papel.
Los investigadores le pidieron al ChatGPT que escribiera un código que pudieran usar para descubrir patrones en los datos para pudieran analizarlos más a fondo. En su primer intento, el Chatbot generó un código que estaba plagado de errores y no funcionó. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que corrigiera los errores, finalmente produjo un código que podría usarse para explorar el conjunto de datos.
Con un conjunto de datos más estructurado en la mano, Kishony e Ifargan le pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que exploraran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: comer más frutas y verduras y hacer ejercicio está relacionado con un menor riesgo de diabetes.
Luego se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera la sección de resultados completa. Paso a paso, le pidieron a ChatGPT que escribiera las secciones de Resumen, Introducción, Métodos y Discusión de un manuscrito. Finalmente, le pidieron a ChatGPT que refinara el texto. “Escribimos el documento a partir de la salida de muchas indicaciones”, dice Kishony. “Cada paso se basaba en los productos de los pasos anteriores”.
Aunque ChatGPT generó un manuscrito claramente escrito con un sólido análisis de datos, el documento estuvo lejos de ser perfecto, dice Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como "alucinación". En este caso, generó citas falsas e información inexacta. Por ejemplo, el documento afirma que el estudio "aborda un vacío en la literatura", una frase que es común en los documentos pero inexacta en este caso, dice Tom Hope, científico informático de la Universidad Hebrea de Jerusalén. El hallazgo “no es algo que vaya a sorprender a ningún experto médico”, dice. “No está cerca de ser novedoso”.
Beneficios y preocupaciones
A Kishony también le preocupa que tales herramientas puedan facilitar que los investigadores se involucren en prácticas deshonestas como el P-hacking, para el cual los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.
Otra preocupación, agrega, es que la facilidad de producir artículos con herramientas generativas de IA podría resultar en que las revistas se inunden con artículos de baja calidad. Menciona que su enfoque de datos en papel, con supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y hallazgos.......
(*) Una vez que esta en la pagina del articulo, pulsando el botón derecho puede acceder a su traducción al idioma español Este blog de bioquímica-clínica está destinado a bioquímicos y médicos; la información que contiene es de actualización y queda a criterio y responsabilidad de los mencionados profesionales, el uso que le den a la misma. Nueva presentación el 10 de julio.
Dr. Anibal E. Bagnarelli,
Bioquímico-Farmacéutico,UBA.
Cordiales saludos.
Ciudada de Buenos Aires. R. Argentina
