OpenAI, compañía creadora de ChatGPT y empresa que actualmente lidera el sector de la inteligencia artificial (IA), tiene varios proyectos en desarrollo. Si recientemente se dio a conocer que está trabajando para avanzar hacia la IA general, ahora se ha conocido el deseo de la empresa de Sam Altman de hacer que la inteligencia artificial ayude a los humanos a entrenar a esta tecnología.

Según señalan desde el medio Wired, la compañía liderada por Sam Altman quiere que la inteligencia artificial se utilice para ayudar al ser humano a entrenar a la IA, ya que considera que esto haría que esta tecnología sea aún más confiable e inteligente.

Una de las claves del éxito de ChatGPT fue que una gran cantidad de personaos orientaron al modelo de IA que había detrás del chatbot sobre lo que constituía una buena y una mala respuesta; lo que se denomina como aprendizaje por refuerzo con retroalimentación humana o RLHF. Una técnica que se usa para que un modelo de IA sea más coherente, más preciso y menos desagradable.

Esta técnica ha demostrado ser crucial tanto para hacer que los chatbots sean más fiables y útiles como para evitar que se porten mal. Ahora, OpenAI afirma que añadir aún más inteligencia artificial a esta mezcla podría contribuir a que los asistentes de IA fueran más inteligentes."RLHF funciona muy bien, pero tiene algunas limitaciones importantes", señala al mismo medio Nat McAleese, investigador de OpenAI que participa en el nuevo trabajo.

El investigador señala que la respuesta humana puede ser incoherente y hasta puede ser incluso difícil evaluar resultados extremadamente complejos, como puede ser un sofisticado código de software. Con GPT-4 OpenAI desarrolló un nuevo modelo ajustando su oferta más potente y descubrió que este, bautizado como CriticGPT, podía detectar errores que los humanos pasaban por alto. 

"Estamos empezando a trabajar para integrar esta técnica en nuestra pila de chat RLHF", explica McAleese. El investigador también asegura que el enfoque es imperfecto, ya que CriticGPT también puede cometer errores al alucinar, pero añade que la técnica podría ayudar a que los modelos de OpenAI, así como herramientas como ChatGPT, fueran más precisos al reducir los errores en el entrenamiento humano.

Incluso asegura que podría resultar crucial para ayudar a que los modelos de inteligencia artificial sean mucho más inteligentes, porque podría permitir a los humanos ayudar a entrenar una IA que supere sus propias capacidades: "Y a medida que los modelos sigan mejorando, sospechamos que la gente necesitará más ayuda", indica el investigador de OpenAI.

Esta nueva técnica forma parte de un esfuerzo de la empresa por garantizar que la inteligencia artificial se comporte de forma aceptable a medida que aumenta su capacidad y hasta podría ayudar a OpenAI a entrenar modelos de IA cada vez más potentes; al tiempo que garantizan resultados fiables y acordes con los valores humanos.