MetaNeuroPlanet

Cargando...

MetaNeuroPlanet

Registro

Tecnología - 25 de octubre de 2022

La API de ‘Seguimiento del cuerpo’ de Quest es solo una estimación sin piernas


La API de ‘Seguimiento del cuerpo’ de Quest no es lo que parece ni suena.

Body Tracking API se lanzó el jueves como parte de Movement SDK, que también incluye Eye Tracking API y Face Tracking API para Quest Pro.

La cuenta oficial de Twitter de Oculus Developers anunció el lanzamiento con una ilustración de la documentación que muestra la pose de cuerpo completo de un usuario que se está rastreando. Esto se compartió ampliamente, lo que llevó a muchos a creer que Quest acaba de obtener soporte para el seguimiento del cuerpo, pero tanto el nombre de la API como la ilustración son engañosos.

La API de seguimiento de manos de Meta proporciona la posición real de sus manos y dedos, rastreada por las cámaras orientadas hacia el exterior. Su API de seguimiento ocular y la API de seguimiento facial brindan la dirección real de su mirada y los movimientos de los músculos faciales, rastreados por las cámaras internas de Quest Pro. Pero la API de “Seguimiento del cuerpo” solo proporciona un “esqueleto de la parte superior del cuerpo simulado” en función de las posiciones de la cabeza y las manos, confirmó un portavoz de Meta a UploadVR. No es un seguimiento real y no incluye tus piernas.

Un mejor nombre para la API sería Estimación de la postura del cuerpo. El portavoz describió la tecnología como una combinación de cinemática inversa (IK) y aprendizaje automático (ML). IK se refiere a una clase de ecuaciones para estimar las posiciones desconocidas de partes de un esqueleto (o robot) en función de las posiciones conocidas. Estas ecuaciones impulsan todos los avatares de realidad virtual de cuerpo completo en las aplicaciones actuales. Los desarrolladores no necesitan implementar (ni siquiera comprender) las matemáticas detrás de IK, ya que los motores de juegos como Unity y Unreal tienen IK incorporado, y los paquetes como el popular Final IK ofrecen implementaciones completas por menos de $100.

Sin embargo, a menos que esté utilizando hardware de seguimiento corporal como Vive Trackers de HTC, IK para VR tiende a ser inexacto: solo hay muchas soluciones potenciales para cada conjunto dado de posiciones de cabeza y manos. El argumento de Meta aquí es que su modelo de aprendizaje automático puede producir una pose corporal más precisa de forma gratuita. El video de demostración parece respaldar esa afirmación, aunque sin la mitad inferior del cuerpo, y con soporte limitado a los auriculares Quest, la mayoría de los desarrolladores probablemente no aceptarán esta oferta.

Sin embargo, las pistas dadas en el evento Meta’s Connect 2022 y la investigación de la compañía sugieren que se agregarán piernas en el futuro.

En una charla para desarrolladores, el gerente de productos de seguimiento corporal, Vibhor Saxena, dijo:

“Las nuevas mejoras en el seguimiento del cuerpo en los próximos años estarán disponibles a través de la misma API, por lo que puede estar seguro de que seguirá obteniendo la mejor tecnología de seguimiento del cuerpo de Meta sin tener que cambiar a una interfaz diferente.

Estamos entusiasmados de brindarle estas capacidades y trabajar arduamente para que el seguimiento del cuerpo sea mucho mejor en los años venideros”.

Durante el discurso de apertura principal, Mark Zuckerberg anunció que los metaavatares están ganando terreno con una demostración que también fue engañosa. Legs llegará a Horizon a finales de este año y luego al SDK para otras aplicaciones el próximo año. Saxena confirmó que la API de seguimiento del cuerpo aprovecha la misma tecnología subyacente que impulsa a los Meta Avatares, lo que parece sugerir que la API también tendrá ventajas.

Quizás se esté preguntando: si Body Tracking API es solo una estimación basada en las posiciones de la cabeza y las manos, ¿cómo es posible que incorpore piernas? El mes pasado, Meta mostró una investigación sobre exactamente esto, aprovechando los avances recientes en el aprendizaje automático. Sin embargo, el sistema que se muestra no es del todo exacto y tiene Latencia de 160 ms: más de 11 fotogramas a 72 Hz. Ese tiempo es demasiado lento y la salida es imperfecta, por lo que no puede esperar mirar hacia abajo y ver sus propias piernas en las posiciones en las que espera que estén. Los comentarios del CTO de Meta sugieren que la compañía podría usar tecnología como esta para mostrar sus piernas de otras personas avatares en su lugar:

“Tener piernas en tu propio avatar que no coincidan con tus piernas reales es muy desconcertante para la gente. Pero claro le podemos poner patas a otra gente, eso lo ves, y no te molesta en absoluto.

Así que estamos trabajando en piernas que parezcan naturales para alguien que es un espectador, porque no saben cómo están colocadas realmente tus piernas, pero probablemente, cuando mires tus propias piernas, seguirás sin ver nada. Esa es nuestra estrategia actual”.

Sin embargo, como notamos en ese momento, la próxima solución podría no ser de la misma calidad que esta investigación. Los documentos de aprendizaje automático a menudo se ejecutan en potentes GPU de PC a una velocidad de fotogramas relativamente baja, y el documento no menciona el rendimiento del tiempo de ejecución del sistema descrito.





Source link