¿Cómo la porcelana triturada añadida a la leche materna puede ayudar al sistema digestivo infantil? Es la base, sin interrogantes, de un consejo ‘científico’ escrito por ChatGPT, el conocido modelo de generación de contenido automatizado en boca de todos. El titular refleja uno de los problemas que esta herramienta supone en general, y en particular para la ciencia.

Si este artículo lo hubiera escrito ChatGPT, habría dicho obviedades como que “como cualquier tecnología, ChatGPT tiene el potencial de tener impactos tanto positivos como negativos en el ámbito científico”. Habría citado, entre los negativos, la difusión de información falsa; la generación de respuestas sesgadas; la disminución del pensamiento crítico y la investigación independiente.

ChatGPT también habría aludido a sus limitaciones frente a la experiencia humana, lo cual restringe su capacidad de contribuir al avance científico. Sin embargo, a esta herramienta se le habría olvidado de mencionar (precisamente debido a sus limitaciones) uno de los retos más importantes que su existencia plantea para la investigación: la afrenta al funcionamiento al completo del sistema de publicación científica.

Puede parecer un problema muy de nicho, pero sus consecuencias van mucho más allá de la ciencia. Conlleva, como subraya la revista Nature en su artículo ChatGPT: five priorities for research, una degradación de la calidad y la transparencia de la investigación, y una alteración fundamental de la autonomía de los investigadores humanos. Ello deriva en la distorsión de los hechos científicos y, por tanto, de lo que se da por probado.

Imaginen lo peligroso que es esto: construir todo nuestro mundo -las infraestructuras, los tratamientos de salud, las estrategias económicas, las decisiones políticas, ¡todo!- sobre un castillo de naipes. Un castillo en el aire. El ejemplo del consejo inicial sobre cómo la porcelana triturada puede mejorar la digestión de los niños es uno de muchos.

En noviembre, el premio Turing Yann LeCun presumía de una herramienta generada por META bajo su dirección: Galactica. Es un modelo similar a ChatGPT pero pensado específicamente para generar artículos científicos. La investigadora Abeba Birhane no tardó en poner en evidencia al sistema, mostrando uno de sus resultados: “Un artículo de investigación sobre los beneficios de comer vidrio machacado”.

Ambos ejemplos son irrisorios y nadie los tomaría en serio, pero otros muchos pueden sonar verosímiles y pasar desapercibidos. De hecho, ya lo han hecho. Los revisores humanos implicados en un estudio de la Universidad Northwestern y la Universidad de Chicago concluyeron que es “sorprendentemente difícil” diferenciar entre los resúmenes científicos (los llamados ‘abstract’) generados artificialmente y los escritos por investigadores.

Tanto es así que dieron por correctos un 32% de los textos generados por ChatGPT, cuyo contenido era completamente falso. Eran creíbles, y sin embargo contenían datos completamente inventados. A los sistemas de detección de plagio también se les pasaron por alto, aunque no a los detectores específicos de contenido automatizado generado por modelos de inteligencia artificial o IA (como ChatGPT).

Sin embargo, otros detectores han etiquetado incorrectamente textos escritos por humanos como producidos por una IA. La revista Nature revela que una herramienta de la propia OpenAI (la empresa creadora de ChatGPT) comete este tipo de error en un 9% de los textos, y no es capaz de identificar correctamente la mayoría (casi un 75%) de los textos escritos por una IA.

Todo esto ha llevado a la revista Science a actualizar su licencia y sus políticas editoriales para prohibir el uso de contenido generado por ChatGPT (o cualquier otra herramienta similar) en los trabajos que pretendan ser publicados en ella. Ni texto, ni imágenes, ni figuras o gráficos producidos por modelos generativos de IA pueden aparecer en sus artículos.

Acelerar la innovación

Más benevolente es el enfoque del artículo en Nature. “Creemos que el uso de esta tecnología es inevitable, por lo tanto, prohibirla no funcionará”, aseguran los autores. Estos subrayan no solo los retos y riesgos que ChatGPT y herramientas similares suponen para la ciencia, sino también sus oportunidades: “Acelerar el proceso de innovación, acortar el tiempo de publicación y, al ayudar a las personas a escribir con fluidez, hacer que la ciencia sea más equitativa y aumentar la diversidad de perspectivas científicas”.

Como ejemplos ponen el uso de estas herramientas para acelerar y complementar (no reemplazar) el trabajo humano en tareas como revisiones de literatura científica, o de análisis de texto. “Si los chatbots de IA pueden ayudar con estas tareas, los resultados se pueden publicar más rápido, liberando a los académicos para que se centren en nuevos diseños experimentales. Esto podría acelerar significativamente la innovación y conducir potencialmente a avances en muchas disciplinas”.

Ahora bien, subrayan que, para que esto sea posible, se ha de examinar y avanzar en la validez y confiabilidad de estos modelos “para que los investigadores sepan cómo usar la tecnología con criterio para prácticas de investigación específicas”. Y no solo para eso, sino para evitar denuncias por violación de propiedad intelectual por parte de modelos de IA, como las que ya se están produciendo.

Los investigadores sostienen que la IA también podría ayudar a reequilibrar el conjunto de habilidades académicas, optimizando ciertas habilidades, eliminando algunas e introduciendo otras. Por ejemplo, proporcionando retroalimentación para mejorar las habilidades de escritura y razonamiento de los estudiantes; reduciendo la necesidad de competencias en la búsqueda bibliográfica, o sumando a la lista de capacidades la ingeniería rápida (el proceso de diseño y elaboración del texto que se utiliza para generar modelos conversacionales de IA).

De nuevo, para llegar hasta ahí no solo han de mejorarse los sistemas de IA existentes sino que es necesario un proceso de examen humano. En este caso, para la selección de qué habilidades y características académicas siguen siendo esenciales para los investigadores. “Si solo nos preocupamos por el rendimiento, las contribuciones de las personas podrían volverse más limitadas y oscuras a medida que avanza la tecnología de IA”, señala el artículo.

Frente a esto, Science se planta: “Las máquinas juegan un papel importante, pero como herramientas para las personas que plantean las hipótesis, diseñan los experimentos y dan sentido a los resultados”. “Es imperativo que los académicos, incluidos los especialistas en ética, debatan el equilibrio entre el uso de la IA, que crea una posible aceleración en la generación de conocimiento, y la pérdida del potencial humano y la autonomía en el proceso de investigación”, dicen en Nature.

Gobernanza del cambio

Ambas posiciones son una llamada la gobernanza del cambio, en un momento de ajuste de cuentas en los valores, prácticas y estándares más queridos de la ciencia. ¿Cómo hacerlo? En Nature sugieren por dónde empezar:

En una fase inicial, cada grupo de investigación debería reunirse de inmediato para discutir y probar ChatGPT por sí mismos. Los educadores deberían hablar sobre su uso y ética con los estudiantes de pregrado: determinar cómo integrarlo con honestidad, integridad y transparencia, acordando unas reglas de participación.

Se debe recordar que cada autor es responsable de su trabajo, ya sea generado con ChatGPT o no, por lo que necesitan verificar cuidadosamente su texto, resultados, datos, y referencias.

En segundo lugar, dada la naturaleza disruptiva de la tecnología -que los investigadores comparan con otras como la edición genética- solicitan un foro internacional inmediato para la propuesta conjunta de políticas públicas asociadas. Proponen que esto parta de una cumbre sobre el desarrollo y el uso responsable de la IA en la investigación.

Esta cumbre tendría que contar con representación de todas las partes interesadas: científicos de diferentes disciplinas, empresas de tecnología, grandes financiadores de investigación, academias de ciencias, editores, ONG y especialistas en privacidad y legales. Los debates deberían incluir a personas de grupos subrepresentados en la investigación y a comunidades afectadas por la investigación, a fin de evitar que se sigan aumentando las desigualdades en la investigación y la brecha de diversidad.

Los autores concluyen: “La atención debe centrarse en aprovechar la oportunidad y gestionar los riesgos. Confiamos en que la ciencia encontrará la manera de beneficiarse de la IA conversacional sin perder los muchos aspectos importantes que hacen del trabajo científico una de las empresas más profundas y gratificantes: la curiosidad, la imaginación y el descubrimiento”.

La adaptación no será rápida, y requerirá de un replanteamiento fundamental de algunas leyes (como la ley de patentes) y normas internacionales; de la creación de nuevos procesos institucionales y flujos de trabajo; del aprendizaje de nuevas habilidades, de la redefinición de conceptos, entre otros. La ciencia, y no solo la ciencia, necesita un plan para ChatGPT, un marco para su adopción beneficiosa. Es tan urgente como importante. Nos jugamos nuestro futuro en ello.