OpenAI, la desarrolladora detrás de ChatGPT, ha sido la protagonista de un convulso 2024 repleto de novedades en inteligencia artificial. El culebrón de su CEO Sam Altman o las constantes controversias en torno a la seguridad de sus modelos son solo unos ejemplos. Ahora, la firma no solo está lista para desarrollar su próximo modelo de IA, sino que quiere que este sea bastante más seguro gracias a una nueva medida de seguridad.

En un escueto comunicado en el blog de OpenAI, la empresa ha confirmado que recientemente han comenzado a entrenar al que será el sucesor de GPT-4, el actual modelo de IA que da vida tanto a ChatGPT como a otros muchos servicios. En dicho contexto, OpenAI ha anunciado la creación de un comité de seguridad específico para la toma de decisiones de alto calado dentro de la empresa.

Este Comité de Seguridad, que tendrá al mismísimo Sam Altman al frente, será responsable "de hacer recomendaciones a toda la Junta de sobre decisiones críticas de seguridad para proyectos y operaciones de OpenAI". Además, será la encargada de evaluar y desarrollar mecanismos de seguridad en los procesos internos de OpenAI durante los próximos 90 días.

OpenAI avanza con su nuevo modelo

Como era de esperar, OpenAI no ha entrado en demasiados detalles en el aspecto técnico de este nuevo modelo, que se espera que se acabe llamando GPT-5. Se limitan a explicar que los sistemas resultantes del entrenamiento de este nuevo modelo les llevarán "al siguiente nivel de capacidades en nuestro camino hacia la AGI (inteligencia artificial general)".

El centro del anuncio, por otro lado, se ha realizado sobre este nuevo Comité de Seguridad. Además de a Altman, dicho comité contará con Bret Taylor como presidente y a otros colaboradores, como Adam D'Angelo o Nicole Seligman. Durante los siguientes 90 días, este comité evaluará y desarrollará "aún más los procesos y salvaguardas de OpenAI".

¿Qué ocurrirá cuando acaben estos 90 días? Lo cierto es que tras este período, el Comité compartirá las recomendaciones resultantes de estas evaluaciones con la Junta de OpenAI. Dicha junta revisará por completo estas recomendaciones y compartirá públicamente una actualización sobre las recomendaciones adoptadas en consecuencia. Siempre, en palabras de OpenAI, "adoptadas de una manera que sea consistente con la seguridad".

Por supuesto, este Comité contará con algunos de los expertos técnicos y políticos de más alto rango de OpenAI. En total integrará a 5 miembros dedicados a este respecto, entre los que se encuentran Aleksander Madry (jefe de preparación), Lilian Weng (jefa de sistemas de seguridad) o John Schulman, este último como jefe de ciencia de alineación. Le seguirán Matt Knight como jefe de seguridad y Jakub Pachocki como científico jefe.

[OpenAI descubrió un avance que amenazaba a la Humanidad antes de despedir a Sam Altman]

No serán los únicos; para garantizar que las cuestiones más técnicas y políticas estén abordadas en este Comité, OpenAI se valdrá de la ayuda de expertos técnicos y de seguridad externos, que contratará o consultará. OpenAI cita nombres como John Carlin o Job Royce, actual asesor de la firma en materia de seguridad. De hecho, ambos fueron antiguos funcionarios de ciberseguridad, según OpenAI.

El objetivo último tanto de OpenAI como de prácticamente la industria de la IA al completo es la AGI, o la llamada inteligencia artificial general. A grandes rasgos, es la idea de un sistema de inteligencia artificial automático que pueda replicar de forma solvente cualquier tarea intelectual que los humanos puedan llevar a cabo y que impliquen aspectos abstractos como el razonamiento o el aprendizaje.

También se ha hablado de cómo esta AGI se podría definir como un sistema autónomo que supere la capacidad humana de desempeñar ciertas labores que impliquen un valor económico. Estos hipotéticos sistemas AGI aprenderían y se comunicarían con lenguaje natural, como lo haría un humano normal, pero siendo más solvente que los humanos en este sentido (y bastante más peligrosa para la raza humana).

Este anuncio llega en plena polémica con OpenAI y el reciente lanzamiento de la versión mejorada de GPT-4, GPT-4o, que fue empañado con el caso del aparente uso de la voz de la actriz Scarlett Johansson. La superestrella hollywoodiense relató cómo Sam Altman habría intentado obtener los derechos para usar la voz de la actriz en su producto. Posteriormente, GPT-4o resultó tener una voz aparentemente similar.