454 pistas de que una IA escribió parte de un artículo científico
Los científicos saben lo que está ocurriendo, aunque ellos mismos no lo hagan. Algunos de sus colegas se valen de chatbots, como ChatGPT, para escribir la totalidad o parte de sus trabajos....
Los científicos saben lo que está ocurriendo, aunque ellos mismos no lo hagan. Algunos de sus colegas se valen de chatbots, como ChatGPT, para escribir la totalidad o parte de sus trabajos.
En un artículo publicado el miércoles en la revista Science Advances, Dmitry Kobak, de la Universidad de Tubinga, y sus colegas reportan que han encontrado una forma de rastrear la frecuencia con que los investigadores utilizan chatbots de inteligencia artificial para escribir los resúmenes de sus artículos. Las herramientas de IA, dicen, tienden a utilizar ciertas palabras —como “profundiza”, “crucial”, “potencial”, “significativo” e “importante”— con mucha más frecuencia que los autores humanos. (Estas palabras en inglés, el idioma del estudio, son, respectivamente, delves, crucial, potential, significant e important).
El grupo analizó el uso de las palabras en más de 15 millones de resúmenes (o abstracts) biomédicos publicados entre 2010 y 2024, lo que les permitió detectar el aumento de la frecuencia de ciertas palabras en los resúmenes.
Los hallazgos se enmarcan en un debate en las ciencias sobre cuándo y cuándo no es apropiado utilizar ayudantes de IA para escribir artículos.
Cuando se introdujo ChatGPT en noviembre de 2022, un grupo de palabras empezó a aparecer con una frecuencia inusual. Era un vocabulario, informan los investigadores, que no se utilizaba con tanta frecuencia antes del lanzamiento de ChatGPT. Deducen que el cambio en el empleo de palabras es un signo que delata el uso de IA.
454 palabras claveEn 2024, hubo un total de 454 palabras utilizadas excesivamente por los chatbots, informan los investigadores. Basándose en la frecuencia de las palabras preferidas por la IA, Kobak y su equipo calculan que al menos el 13,5 por ciento de todos los resúmenes o abstracts biomédicos parecían haber sido escritos con la ayuda de chatbots. Y hasta el 40 por ciento de los abstracts de autores de algunos países que escribían en algunas revistas menos estrictas estaban generados por IA.
Estas cifras, dijo Adam Rodman, director de programas de IA del Centro Médico Beth Israel Deaconess de Boston, “son casi con toda seguridad un límite inferior”, pues no tienen en cuenta la edición humana que se haya hecho a partir de lo generado por el chatbot ni la edición del chatbot de lo que escribieron los humanos. Rodman no participó en el estudio.
En una entrevista, Kobak dijo que estaba “algo sorprendido” de ver tanto uso de la IA en los abstracts, las síntesis de los resultados y las conclusiones de los artículos, que a menudo son lo único que lee la gente.
“Yo pensaría que para algo tan importante como escribir un abstract de tu artículo, no lo harías”, dijo. (Kobak y sus colegas dijeron que no utilizaron IA en la redacción de su estudio).
En las ciencias académicas, algunos investigadores se han vuelto recelosos ante el más mínimo indicio de ayuda de la IA en sus publicaciones.
Los científicos de la computación son conscientes de que la IA favorece determinadas palabras, aunque no está claro por qué, dijo Subbarao Kambhampati, profesor de ciencias de la computación de la Universidad Estatal de Arizona y expresidente de la Asociación para el Avance de la Inteligencia Artificial. Algunos científicos, dijo, se han abstenido deliberadamente de utilizar palabras como “profundizar” por miedo a ser sospechosos de utilizar la IA como herramienta de escritura.
Otros científicos parecen indiferentes al riesgo de ser descubiertos utilizando chatbots.
Kambhampati ofreció algunos ejemplos, como un informe de un caso en una revista de radiología que incluye la frase: “Lo siento mucho, pero no tengo acceso a información en tiempo real ni a datos específicos del paciente, ya que soy un modelo lingüístico de IA”.
ChatGPT is a fine ghostwriter when you are publishing in the write-only journals--those that you can safely assume no one ever reads anyways.. 😅 (h/t @hardmaru @Saboo_Shubham_ )#AIAphorisms pic.twitter.com/UiUbB2RvEV
— Subbarao Kambhampati (కంభంపాటి సుబ్బారావు) (@rao2z) March 17, 2024La revista Nature encuestó recientemente a más de 5000 investigadores y les preguntó cuándo es adecuado, si es que está bien, utilizar la IA para escribir un artículo.
No hubo consenso.
Las opiniones variaban, dependiendo de si la IA se utilizaba para redactar un abstract o todo el artículo, y de si se utilizaba para editar o resumir.
Para la situación analizada en el nuevo artículo —redactar el abstract—, solo el 23 por ciento de los encuestados por Nature dijeron que era aceptable utilizar la IA sin dar a conocer que se había empleado la ayuda. Un 45 por ciento dijo que solo era aceptable si el investigador reportaba el uso de la IA, y un 33 por ciento dijo que nunca era aceptable.
“Ahora mismo todo es muy ambiguo”, dijo Jonathan H. Chen, director de formación médica en inteligencia artificial de Stanford. “Estamos en esta zona gris. Es el salvaje oeste”.
A veces es difícil ver la mano de la IA, una cuestión que suscita dudas sobre si un texto generado por IA y enviado a una revista debe rechazarse simplemente porque no hay un autor humano.
Cartas de lectores (robot)Keith Humphreys, profesor de psiquiatría y ciencias del comportamiento en Stanford, dice que una vez lo engañaron con una carta al director de la revista Addiction.
Humphreys, quien es subdirector de la revista, dijo que pensaba que la carta sobre un artículo publicado recientemente planteaba puntos razonables. Como es costumbre en la revista, envió la carta a los autores del artículo para darles la oportunidad de responder.
Ellos le dijeron que nunca habían oído hablar de los autores de la carta, que supuestamente eran de China, y que “nuestro campo no es tan grande y nadie ha oído hablar de estas personas”, dijo.
Los autores del artículo original también hicieron una búsqueda para ver qué habían publicado los autores de la carta. Encontraron montones de publicaciones a su nombre, todas ellas cartas y comentarios en diversas revistas de distintas especialidades, como cardiología, medicina de urgencias, endocrinología, gastroenterología, hepatología, inmunología, medicina intensiva, psiquiatría, cirugía y urología.
“Y todo ello en el plazo de seis meses”, dijo Humphreys. “Habían llegado a dominar todos los campos”.
Parecía bastante probable que el grupo hubiera pasado artículos de revistas por un chatbot y le hubiera pedido que generara cartas para los directores de las revistas. Humphreys especuló con la posibilidad de que los autores tuvieran cargos académicos en los que su salario dependiera de aparecer en una lista de publicaciones.
Así que escribió a los autores de la carta diciéndoles que, si habían utilizado IA, tenían que darlo a conocer.
Los autores no respondieron.
“No la publicamos”, dijo Humphreys.
“Pero el problema es que no era una mala carta. Y no es un fraude en el sentido tradicional de perjudicar a la ciencia”, añadió. “¿Debemos negarle a todo el mundo la posibilidad de leerla?”.
El peso moralUn colega dijo que, puesto que hoy en día todo el mundo tiene chatbots, ¿para qué publicar algo escrito por ellos? Quien quiera ver un análisis de este tipo puede generarlo por sí mismo.
¿Y si un chatbot escribiera un editorial haciendo sugerencias sobre lo que se necesita para seguir avanzando en un campo del conocimiento?
Un editorial generado por IA podría resultar esclarecedor, dijo Humphreys. Pero, añadió, un colega había hecho una observación que resonó en él.
“La razón por la que me interesa un editorial es el nombre de quien lo firma. Un investigador destacado está dispuesto a asumir los riesgos para su carrera”, dijo, y a decir cosas que pueden ser duras o impopulares.
“La IA no tiene propósito ni reputación. No confío en ella”, dijo Humphreys. “No tiene peso moral”.
