Demostración de interfaz espacial Omicrono
Controlar el portátil como en Minority Report: la tecnología para desafiar a las Apple Vision Pro
Desde tu ordenador y sin necesidad de mandos o guantes hápticos, así se están creando herramientas para controlar el dispositivo desde el aire.
18 junio, 2023 09:04Fusionar la tecnología con el mundo real y liberar los movimientos de ratones, teclados o mandos parece ser el futuro de la industria. Con la presentación de las Apple Visión Pro este mes de junio, vista en directo desde España, la realidad aumentada vuelve a estar en boca de todos. Pero este producto y otras gafas de AR son aparatosas y caras, por lo que los desarrolladores exploran formas de llevar esa computación espacial o control con las manos en el aire a los productos que todos tienen en casa, los ordenadores portátiles.
El usuario de Twitter @xhfloz ha presentado con un sencillo vídeo una nueva función de diseño en la que está trabajando y que permite controlar los objetos de la pantalla con sencillos movimientos de la mano, como los Jedi de Star Wars controlaban la mente de los demás. Se ha inspirado en otro desarrollador que también trabaja en programas para usar sus manos sin guantes ni mandos.
Como se puede ver en el siguiente vídeo, basta con cerrar la mano para seleccionar algún objeto en el sistema y moverlo por la pantalla dibujando un ligero movimiento de brazo. Desde su web mmm.page ofrece sistemas para diseñar y decorar páginas web y el mismo se describe como "Your internet Canvas", en referencia a la popular herramienta de diseño que ofrece plantillas hasta para crear cv.
Playing around with different input ideas to make moving blocks feel natural. Existing https://t.co/Ludq1a7c4l sounds for haptics.
— xh (@xhfloz) June 12, 2023
(It’s a quick and rough prototype. I just slapped in a hand track lib.) pic.twitter.com/Hxtu6qJzPo
El mismo afirma en el mensaje publicado en la red social que se trata solo de un prototipo inicial. La tecnología está inspirada en la creación de Xabier (@KMkota0), un sistema de seguimiento en tiempo real que detecta los gestos de las manos para utilizarlas como control del escritorio.
De esta forma, se pueden agarrar archivos o carpetas dentro del ordenador y moverlas por la pantalla como ya se hace con el ratón, solo que con gestos manuales frente a la cámara del dispositivo. Una propuesta similar al control por gestos que utilizan las nuevas gafas de realidad aumentada presentadas por Apple y que se pondrán a la venta el año que viene por 3.599 dólares.
Seems like this week is all about spatial UIs
— Xavier (Jack) (@KMkota0) June 8, 2023
So I finished this old prototype of a 3d desktop using my usual tech stack: @threejs + MediaPipe + my unreleased wiggle bones library pic.twitter.com/ASrCNKFnC9
Para quién quiera probar este reconocimiento con sus manos, puede acceder a esta herramienta en desarrollo a través de esta web. Solo con conectar la cámara del ordenador ya se muestran las manos en la pantalla y sigue los gestos con facilidad en tiempo real aunque con algo de retardo.
Su creador explica en Twitter que ha usado la solución MediaPipe, un paquete de soluciones de aprendizaje automático creado por Google para facilitar a los desarrolladores el trabajo con herramientas para diferentes sistemas informáticos, desde Android Web hasta el escritorio del ordenador.
Apple Vision Pro Reuters
Son aún proyectos en sus fases iniciales, pero entre la comunidad de desarrolladores es un paso para llevar a los portátiles actuales la experiencia de computación espacial que Apple pretende poner de moda entre los trabajadores y usuarios con sus nuevas gafas. Eso sí, sin la necesidad de comprar nuevos equipos.
