Imágenes de Luigi, de la franquicia de Super Mario Bros, con un rifle.

Imágenes de Luigi, de la franquicia de Super Mario Bros, con un rifle. @Pioldes en X Omicrono

Software

Los stickers de Meta generados por IA provocan un escándalo con desnudos e imágenes truculentas

Los usuarios han conseguido 'hackear' el sistema de comandos de los stickers de IA de Meta para crear todo tipo de atrocidades.

4 octubre, 2023 19:06

Hace relativamente poco, supimos en España de la implementación de Meta de herramientas de inteligencia artificial en muchas de sus aplicaciones. La llegada de un nuevo asistente, Meta AI, a WhatsApp o la posibilidad de generar stickers e imágenes vía IA son solo algunos ejemplos. Esta última novedad está provocando que los usuarios creen todo tipo de 'pegatinas' de carácter cuestionable abusando del sistema.

Niños soldados, imágenes con contenidos problemáticos e incluso pornografía. Pese a las duras pautas que Meta incluye en sus apps para prohibir este tipo de contenido, los usuarios han sabido explotar el sistema para generar todo tipo de stickers de mal gusto, que no han dudado en compartir en redes sociales.

¿Esto significa que es posible introducir palabras malsonantes en el creador de stickers? Nada más lejos de la realidad. Meta impide a los usuarios usar palabras malsonantes o que incluyan contenidos prohibidos, pero los usuarios han sabido saltarse estas prohibiciones para generar esos stickers.

Meta la lía con sus 'stickers'

Los primeros usuarios que han tenido acceso a la función de crear stickers basados en inteligencia artificial en Facebook Messenger han aprovechado la novedad para intentar abusar del sistema. Este hace uso del modelo LLM (Large Language Model Llama 2 de Meta para generar stickers "de alta calidad" en unos pocos segundos, introduciendo unos comandos.

Esta función está disponible para unos pocos usuarios en inglés en las Historias de Facebook, de Instagram y en los servicios de mensajería de estas dos aplicaciones, junto a WhatsApp. No se ha desvelado cuantos usuarios tienen acceso a la característica, aunque se sabe que solo será por este mes, hasta que esta se lance oficialmente.

Numerosos internautas han publicado cómo han sido capaces de crear stickers tremendamente problemáticos. No solo desnudos, sino imágenes de mal gusto, como personas convertidas en genitales o niños con armas. The Verge, sin ir más lejos, expone cómo se han llegado a generar stickers de desnudos con personas reales, incluyendo a personalidades como el primer ministro de Canadá, Justin Trudeau.

¿Dónde está el truco? De nuevo, no es posible introducir palabras que Meta considere como problemáticas. Usarlas implica la advertencia de Meta sobre la violación de las pautas de la comunidad de la plataforma, por lo que a efectos prácticos, no se pueden usar estos comandos.

La clave está en provocar que el sistema falle con comandos muy concretos. Por ejemplo, si en vez de usar una palabra prohibida se usa la descripción de dicho objeto, es posible generarlo. Por otro lado, el sistema es capaz de reconocer ciertas palabras incluso con errores tipográficos; escribiendo estos comandos mal, es posible evitar los sistemas de detección de Meta y que el software reconozca el significado de los mismos sin problemas.

Está claro que esto no pasará desapercibido para Meta, y buscarán ajustar el sistema para que no sea posible abusar de él de cara a su lanzamiento en los próximos meses. Esta sería la explicación de que por el momento, la función esté limitada a unos pocos usuarios. Sin embargo, es un recordatorio de los problemas que aún entrañan estas herramientas basadas en inteligencia artificial.

También te puede interesar...