Nader Rifai. Grandes modelos de lenguaje para publicaciones científicas: por favor, no los conviertan en un enemigo. Oxford Academ- Clinical Chemistry, 2024; 70 (3): 468–470. Department of Laboratory Medicine, Boston Children’s Hospital, Boston, MA, United States.
El nacimiento de ChatGPT en noviembre de 2022 con la promesa de acceso masivo a la escritura generada por inteligencia artificial (IA) fue recibido con entusiasmo. Poco después, sin embargo, científicos, estudiantes y profesores, entre otros, comenzaron a anticipar y descubrir el potencial y las amenazas de la tecnología de IA generativa, en los grandes modelos lingüísticos (LLM).
La capacidad de distinguir entre la escritura generada por máquinas y por humanos adquirió una nueva urgencia. Un informe de Desaire y colegas describió uno de los últimos intentos de crear una herramienta capaz de distinguir entre la escritura científica humana y la de una máquina. Los autores utilizaron artículos de Perspective de Science, con temas que abarcaban desde la biología hasta la física, para generar ejemplos pareados de ChatGPT.
Los artículos de Perspective en Science son escritos por científicos y no por periodistas, y describen el avance de investigación presentado en el que se publican lugar y descripciones de experimentos o hallazgos novedosos, que ChatGPT no puede crear. Se utilizó un conjunto de 64 artículos de Perspective y 128 ejemplos de ChatGPT, así como dos conjuntos de prueba, cada uno compuesto por 30 artículos de Perspective y 60 ejemplos de ChatGPT.
Los autores identificaron manualmente 20 características predictivas relacionadas con la longitud y complejidad de los párrafos, la diversidad en la longitud de las oraciones, el uso de la puntuación y los términos o palabras populares. La herramienta descrita fue eficaz para diferenciar textos escritos por humanos de textos escritos por máquinas con una precisión superior al 99 % en documentos completos. Si bien este estudio fue una prueba de concepto, los hallazgos son, no obstante, notables. Este estudio nos deja la sensación de que podríamos estar entrando en una "carrera armamentística".
En marzo de 2023, se lanzó GPT-4 con una capacidad significativamente mayor que ChatGPT. Las deficiencias de ChatGPT identificadas en este informe podrían haberse solucionado desde entonces, lo que dificulta la detección de diferencias en los estilos de escritura. Además, debemos recordar que los LLM, a diferencia de los humanos, aprenden de sus propios errores y mejoran con el tiempo y un LLM entrenado en el estilo de una revista en particular podría ser prácticamente imposible de detectar.
Sin embargo, es alentador que el mismo grupo de investigadores probara su modelo en las secciones de introducción de 13 revistas de química y las comparara con textos generados por GPT-4; en ese contexto, lograron detectar textos generados por IA con una precisión del 98% al 100%.
Como ex-editor, considero que los desafíos y las oportunidades que ofrecen los LLM en la publicación científica son tan aterradores como emocionantes. La tecnología no puede ignorarse: hacer la vista gorda, ya que este es un problema real, especialmente para editoriales y editores, que debe abordarse con cuidado y una mente abierta en cómo aprovechar el potencial de la tecnología sin caer en sus poderes.
Las respuestas a las numerosas e importantes preguntas legales, logísticas y filosóficas deben encontrarse a medida que avanzamos. Preguntas como: ¿se pueden otorgar derechos de autor para textos o gráficos generados por LLM, especialmente si se basan en el estilo de otra persona? ¿Cuál es el porcentaje aceptable de materiales generados por LLM en un manuscrito? ¿Cómo abordamos la contribución de los LLM al diseño de estudios? ¿Nos sentimos cómodos desafiando las normas establecidas de veracidad? ¿Qué constituye a un autor?
No pretendo saber la respuesta a ninguna de estas preguntas, pero basado en mi experiencia en este campo intentaré resumir el impacto de los LLM en los 3 individuos responsables de la creación de una publicación científica: el Editor, el Revisor y el Autor.
Editor
El principal temor de los editores con respecto a los LLM es el posible aumento en la generación de informes científicos falsos, pero convincentes. Las empresas que se especializan en crear y vender manuscritos o autorías podrían aprovechar esta tecnología y proliferar aún más para aumentar sus ganancias. Los editores pueden encontrarse en la posición poco envidiable de tener que investigar a los autores e instituciones para verificar si dichos investigadores existen o si dicha investigación se ha realizado. Los editores han publicado lo que consideran un uso aceptable de esta tecnología en sus revistas. Estas pautas varían ampliamente desde una prohibición total, como Science, hasta la insistencia en la divulgación y la transparencia, como Nature, JAMA, JACC, Diabetes y muchas otras revistas. En mayo de 2023, un estudio mostró que el 17% de los editores y el 70% de las revistas publicaron dichas pautas. Además, los editores están recurriendo a los reguladores para crear medios que permiten monitorear el uso de IA en la publicación científica, como la inclusión de marcas de agua para LLM que son ilegales o muy difíciles de eliminar.......
(*) Una vez que esta en la pagina del articulo, pulsando el botón derecho puede acceder a su traducción al idioma español. Este blog de bioquímica-clínica está destinado a bioquímicos y médicos; la información que contiene es de actualización y queda a criterio y responsabilidad de los mencionados profesionales, el uso que le den a la misma.
Nueva presentación el 02 de Mayo
Cordiales saludos.
Dr. Anibal E. Bagnarelli,
Bioquímico-Farmacéutico,UBA.
Ciudad de Buenos Aires, R. Argentina
