META Actualización y mejoras en seguimiento de manos para VR, AR y XR

Imaginamos un futuro en el que sus manos puedan moverse de forma tan natural e intuitiva en el metaverso como lo hacen en la vida real. En los últimos años, hemos logrado grandes avances para convertirlo en una realidad (virtual), comenzando con la introducción del seguimiento manual en Quest en 2019. Desde entonces, hemos visto a muchos desarrolladores incorporar mecánicas manuales en sus experiencias inmersivas.

Hoy, estamos desbloqueando mejoras importantes en nuestra API de seguimiento de manos, la capacidad de seguimiento de manos de la plataforma de presencia, incluidas mejoras de cambio gradual en la continuidad del seguimiento, soporte de gestos, movimiento y rendimiento. Esta actualización también permite movimientos de manos rápidos y superpuestos, permite aplaudir y otras interacciones mano sobre mano, y abre posibilidades de manipulación de objetos casi infinitas.

Si ya incorporó el seguimiento manual en sus aplicaciones, no necesita cambiar ninguna llamada a la API. Para Native, puede participar agregando el siguiente elemento en el archivo de manifiesto de Android: <meta-data android:name=»com.oculus.handtracking.version» android:value=»V2.0″/>. Si está desarrollando con Unity o Unreal Engine, consulte nuestra próxima documentación para obtener detalles de configuración. Si recién está comenzando con el seguimiento de manos, vea cómo configurar el seguimiento de manos para su aplicación desde Unity , Unreal y Native 

Rediseñada con un nuevo enfoque de aprendizaje automático y visión por computadora, nuestra tecnología actualizada de seguimiento de manos lo acerca a la construcción de interacciones inmersivas y naturales en VR, sin controladores, y ofrece mejoras clave en Quest 2 y dispositivos futuros, que incluyen:

Mejora de la función escalonada para seguir la continuidad

Sabemos que puede ser frustrante cuando el sistema pierde el rastro de tus manos, y mejorar esto era nuestra prioridad número uno. Con esta actualización, traemos una mejora de la función de pasos en el seguimiento de la continuidad para una mayor inmersión y una experiencia de manos consistente en el uso diario. Esto significa que puede dedicar menos tiempo a preocuparse por la confiabilidad y dedicar más tiempo a las interacciones únicas en su aplicación.https://www.youtube.com/embed/_qA5O-CTp-Y

Oclusión robusta, movimiento más rápido y nuevas interacciones mano sobre mano

Hemos desarrollado un nuevo método para aplicar el aprendizaje profundo para comprender mejor las posturas de las manos cuando las cámaras del dispositivo no pueden ver la mano completa o cuando la mano se mueve rápidamente. Esto abre el uso de las manos en aplicaciones que requieren un seguimiento sólido y gestos más complejos, que incluyen:

• Seguimiento de nuevas interacciones mano sobre mano, como cruzar las manos, aplaudir o chocar los cinco.
• Representación más precisa de un gesto de pulgar hacia arriba cuando el resto de los dedos están bloqueados por la palma de la mano.

Mejor reconocimiento de gestos

Nuestra tecnología actualizada de seguimiento de manos ahora puede reconocer constantemente los gestos más importantes que desea usar. Con el reconocimiento mejorado de pellizcar, agarrar y empujar, puede esperar menos gestos accidentales o perdidos que resten valor al contenido que ha creado. También verá mejoras en las aplicaciones que implementaron cualquiera de los gestos de nuestro SDK de interacción , y cualquier gesto personalizado que haya integrado en sus aplicaciones. Ya sea que su interacción sea recoger una pieza de un juego virtual, golpear un saco de boxeo o tocar un instrumento, esta actualización lo acerca a la replicación perfecta de los movimientos naturales de la mano en la realidad virtual.

Lo que dicen los desarrolladores

Algunos desarrolladores experimentaron estas mejoras en una vista previa temprana de la actualización. Notaron la mejora en la continuidad del seguimiento, el soporte de gestos, el movimiento rápido y el rendimiento, y una experiencia en la aplicación que se siente aún más natural e inmersiva.

“Esta actualización del seguimiento de manos es un gran paso adelante en la calidad del seguimiento y hace que jugar al cubismo con las manos se sienta mucho más estable y consistente. Anteriormente, el seguimiento manual de Cubism se basaba en suavizar la entrada de datos de la mano para producir un método de entrada estable. Además, era necesario enseñar a los jugadores a no cruzar las manos, ya que esto afectaba negativamente al seguimiento. Todo esto se ha mejorado con el último seguimiento de manos, que es lo suficientemente consistente como para desactivar el suavizado de manos de forma predeterminada”. – Cubismo

“La actualización del seguimiento manual es muy importante para nosotros. Unplugged es un juego que utiliza de forma intensiva el seguimiento manual para lograr una auténtica sensación de juego de guitarras aéreas. Hay muchos movimientos rápidos de manos y cambios rápidos de acordes, entre otros. Desde el principio, queríamos que los músicos se sintieran como si estuvieran tocando una guitarra de aire real. Aunque logramos lograr una jugabilidad muy sólida y precisa usando la versión anterior de seguimiento de manos, tuvimos que poner algunas limitaciones en nuestra jugabilidad. Esto debía hacerse para brindar una experiencia fluida que no se vea interrumpida por ningún problema que una tecnología nueva como esta pueda tener de vez en cuando. Con la última actualización, el seguimiento de la mano es tan preciso y receptivo que podríamos incluir todas las ventajas que antes no podíamos: cambios rápidos en las posiciones de los dedos, además de un mayor y más realista número de notas que hace que las canciones se sientan mucho más auténticas”. –Desenchufado: guitarra de aire

«Esta actualización del seguimiento de manos es un gran paso adelante para las interacciones naturales e intuitivas con las manos. Uno de los mayores desafíos al crear una aplicación de manos primero es la confiabilidad y precisión del seguimiento de manos proporcionado por el sistema. Hand Physics Lab fue diseñado para resaltar lo que era posible en ese momento y desafiar al usuario a jugar con las limitaciones de la tecnología. Con esta gran mejora, esperamos que más personas descubran lo que el seguimiento manual tiene para ofrecer a las experiencias inmersivas». – Laboratorio de física de la mano

«La actualización del seguimiento de manos definitivamente ha mejorado nuestra capacidad de ofrecer una experiencia de entrenamiento impecable para los usuarios de Liteboxer. Nuestros entrenamientos requieren muchos golpes rápidos para ser lanzados, y es imperativo que el seguimiento de manos siga el ritmo riguroso. Estoy muy contento con esta última actualización y entusiasmado con la dirección general en la que se dirige el seguimiento manual en la plataforma Quest». – Liteboxer

Más capacidades de la plataforma de presencia próximamente

Estamos emocionados de ver las experiencias de seguimiento de manos que construyes con Presence Platform. Con esta actualización de seguimiento de manos e incluso más capacidades próximamente, podemos comenzar a explorar cómo se vería el metaverso. Y estamos comprometidos a ayudarlo a crear los mundos conectados e interoperables que se avecinan.