Así es Doly, la app para crear vídeos en 3D de lo que quieras vender usando la cámara del iPhone

La inteligencia artificial ha conseguido numerosos detractores y adalides en estos últimos meses en España. Lejos de sus potenciales peligros, los usuarios destacan sus potenciales beneficios, que aspiran a hacer nuestra vida algo más sencillo. Un ejemplo de esta idea está en la app francesa Doly, que permite capturar objetos para crear modelos 3D y así facilitar su venta.

Seguro que más de una vez ha querido vender un producto pero sus dotes fotográficos no son los más profundos. Para muchos es muy difícil conseguir vídeos o fotos para vender un objeto que realmente parezcan profesionales. Doly pretende que usando nuestro iPhone podamos crear vídeos en 3D increíblemente detallados, para que el futuro comprador pueda verlos con todo lujo de detalles.

La aplicación funciona mediante un proceso de reconstrucción patentado que se vale de un modelo de IA previamente entrenado para generar estos modelados. El proceso es tremendamente sencillo; solo hay que apuntar al objeto con la cámara del iPhone y realizar ciertos movimientos para capturarlo en 3D. La app de AniML se encarga de todo.

La app para crear objetos en 3D

Así lo muestra la propia compañía al medio TechCrunch, poniendo de ejemplo unas zapatillas para vender online. El usuario apunta a las zapatillas con la cámara de su smartphone, para luego recorrerlo y así capturarlo en 3D. La aplicación extrae imágenes estáticas del producto y las envía a la nube de AniML.

La metodología llevada a cabo por AniML se conoce como el gaussian splatting o salpicaduras gausianas, y data de los años 90. Es un nuevo tipo de renderización de contenidos en 3D desarrollado en conjunto a los últimos avances en este campo. AniML aprovecha las últimas versiones de este método para hacer funcionar a Doly.

A partir de un tipo de estimación calculada con un conjunto de imágenes en dos dimensiones, esta técnica genera una nube de puntos 3D a los que se aplican ciertos parámetros como la posición o el color, entre otros. Usando un modelo de aprendizaje profundo o un algoritmo de IA se calculan estos parámetros para crear estas construcciones en 3D.

Básicamente, este proceso de renderizado estima una nube de puntos 3D a partir de un conjunto de imágenes 2D, usando un modelo de inteligencia artificial ya previamente entrenado. Aprovechando esta metodología, AniML ha desarrollado una app específica para conseguir estos modelos en 3D con tan solo unos pasos. La inspiración para AniML vino de la mano de Google, que escribió un paper sobre la renderización con NeRF.

Capturas de pantalla de la app. AniML Omicrono

Una vez capturado el objeto, Doly ofrece al usuario un conjunto de plantillas para elegir una escena 3D en la que acoplar el objeto. Un fondo liso, un fondo estático... hasta se pueden elegir movimientos de cámara que naveguen por este entorno en 3D, con el objeto en cuestión siempre presente. Eso sí, requiere como mínimo un iPhone 11 para realizar estas plantillas.

El objetivo de Doly y la startup detrás de esta app es que los usuarios puedan crear proyectos en 3D de grado profesional sin pasar por todo el laborioso proceso que se exige previamente. Así y a priori el usuario podrá ver con todo grado de esplendor el objeto que se intenta promocionar, pero en un entorno cuidado y detallado en 3 dimensiones.