La inteligencia artificial está transformando la economía y la sociedad.
La inteligencia artificial generativa, ¿cada vez menos fiable o es que esperamos demasiado de ella?
- Investigadores de la UPV y Cambridge han demostrado que ChatGPT se está volviendo muy hábil a la hora de resolver problemas complejos, pero cada vez menos fiable en tareas sencillas y obvias.
- Más información: El fin de los LLM como ChatGPT está cerca
En los últimos tiempos, son muchas las voces que alertan de un final de era en la inteligencia artificial generativa. Pese a su relativa juventud, tanto el mercado como los expertos se han dado cuenta de los problemas de escalabilidad de los actuales LLM (Large Language Models) y, también, de un desafío creciente en los grandes modelos de lenguaje de inteligencia artificial (IA): la disminución de su fiabilidad.
Así lo ha constatado un estudio liderado por la Universitat Politècnica de València (UPV), ValgrAI y la Universidad de Cambridge, publicado en Nature. Esta investigación, en concreto, revela que, a medida que estos modelos -como GPT-4- se vuelven más sofisticados, aumentan las expectativas de su precisión, especialmente en tareas que los humanos consideran simples. Sin embargo, los modelos actuales tienden a resolver sin esfuerzo problemas de alta complejidad, pero fallan en otros más sencillos.
Según José Hernández-Orallo, investigador de la UPV, esta disonancia agrava la discrepancia entre el rendimiento esperado y el real. No en vano, este fenómeno genera una falta de “zona segura” de precisión, añade Yael Moros Daval, investigadora también de la UPV, sin la que los usuarios no pueden confiar plenamente en estos sistemas ni siquiera para tareas simples. Además, los modelos actuales son más propensos a proporcionar respuestas incorrectas en lugar de abstenerse cuando la tarea excede sus capacidades. Este comportamiento aumenta la posibilidad de que los usuarios, inicialmente confiados en los modelos, terminen decepcionados.
Otro hallazgo crucial es la "sensibilidad al enunciado del problema". Según Cèsar Ferri, investigador en VRAIN, los usuarios pueden dejarse influir por prompts o formulaciones que generan buenos resultados en contextos complejos, pero que fallan en escenarios más simples. Estos problemas no se resuelven con supervisión humana, ya que, incluso con verificación, los usuarios tienden a sobrevalorar la fiabilidad de los modelos en tareas difíciles.
Por si fuera poco, los hallazgos de estos investigadores son aplicables a varias familias de modelos de IA, incluidos GPT de OpenAI, LLaMA de Meta y BLOOM de la comunidad científica. En otras palabras: las inconsistencias no se limitan a un tipo particular de modelo, sino que estos problemas son inherentes a la forma en que se diseñan los grandes modelos de lenguaje. “Nuestros resultados muestran que los problemas de fiabilidad no son exclusivos de un modelo; más bien, son un reflejo de los enfoques actuales de diseño en el campo de la IA”, destaca Hernández-Orallo.
Supervisión humana: ¿la solución?
A pesar de los esfuerzos por mejorar la fiabilidad de estos modelos, los investigadores concluyen que la supervisión humana tampoco es una solución perfecta. Aunque los usuarios pueden detectar algunos errores, tienden a confiar en exceso en la IA, especialmente en tareas de alta dificultad, donde la posibilidad de error es más alta. Esto significa que la presencia de una “supervisión humana” no elimina los problemas de fondo; al contrario, puede ocultarlos si los usuarios no son conscientes de la frecuencia de errores en la IA. “No podemos depender completamente de la supervisión humana para corregir estos fallos. Al final, los usuarios confían demasiado y no reconocen los errores en ciertos niveles de dificultad”, añade Wout Schellaert, coautor del estudio.
![](["https:\/\/s1.elespanol.com\/2024\/09\/10\/invertia\/disruptores\/grandes-actores\/tecnologicas\/884921621_249058607_320x180.jpg"])
El equipo de investigación sugiere que, ante estos problemas de fiabilidad, el diseño de la IA debería repensarse para aplicaciones de alto riesgo, como la medicina, la justicia o las finanzas. A su vez, el diseño de IA de propósito general debe centrarse en permitir que los modelos reconozcan cuándo están fuera de su zona de competencia, en lugar de asumir que todas las respuestas serán precisas.
Además, los investigadores advierten que el rápido desarrollo de modelos cada vez más potentes no debería opacar la importancia de garantizar que estos sean fiables en un sentido práctico. “Los grandes modelos de lenguaje son cada vez menos fiables desde el punto de vista humano”, concluye Schellaert, “y la supervisión del usuario no basta para corregir estos errores. Necesitamos un cambio fundamental en el diseño y desarrollo de IA”.
