MetaNeuroPlanet

Cargando...

MetaNeuroPlanet

Registro

Tecnología - 20 de noviembre de 2022

La demostración técnica muestra el verdadero poder del seguimiento facial de Quest Pro



Las capacidades de seguimiento facial de Quest Pro se utilizarán rápidamente para hacer que los avatares de Meta sean más expresivos, pero los avatares de próxima generación se beneficiarán mucho más de la nueva tecnología.

Una de las grandes funciones nuevas de Quest Pro es un sistema de seguimiento facial que utiliza cámaras internas para detectar el movimiento de los ojos y algunas partes de la cara. Combinado con un modelo de aprendizaje automático sin calibración, el auricular toma lo que ve y lo convierte en entradas que pueden impulsar la animación de cualquier avatar.

Actualización (18 de noviembre de 2022): Meta ha lanzado la muestra de seguimiento facial de Aura para que los desarrolladores experimenten, junto con otras tres muestras de desarrolladores relacionadas con el ‘SDK de movimiento’ que brinda a los desarrolladores una base para crear avatares expresivos con seguimiento de ojos, cara y cuerpo.

En el corto plazo, esto se pondrá en uso con los avatares existentes de Meta. Y aunque ciertamente los hace más expresivos, todavía se ven algo tontos.

Este es probablemente el resultado de que el actual sistema Meta avatar no se haya construido con este nivel de seguimiento facial en mente. El ‘rigging’, el marco de animación subyacente del modelo, no parece muy adecuado para la tarea. Injertar las entradas de seguimiento facial de Quest Pro en el sistema actual realmente no está haciendo justicia a lo que realmente es capaz de hacer.

Cobertura de Key Quest Pro:

Quest Pro revelado: especificaciones completas, precio y fecha de lanzamiento

Revisión de Quest Pro: hardware impresionante con una propuesta de valor que es un desastre

Análisis técnico de Quest Pro: qué es prometedor y qué no

Controladores Touch Pro revelados: también compatibles con Quest 2

Afortunadamente, Meta ha creado una demostración técnica que muestra lo que es posible cuando se diseña un avatar teniendo en cuenta el seguimiento facial de Quest Pro (y cuando casi toda la potencia de procesamiento de los auriculares se dedica a renderizarlo).

Sí, todavía es un poco inestable, pero cada movimiento que ves aquí está siendo impulsado por el usuario haciendo los mismos movimientos, incluyendo cosas como hinchar las mejillas o mover la boca de un lado a otro. En general, es una representación mucho más completa de una cara que, según yo, logra evitar entrar en el valle inquietante.

Pude probar esta demostración por mí mismo en mi reciente práctica con Quest Pro, donde me miré en el espejo y aparecí como este personaje (al que Meta llama Aura). Salí realmente impresionado de que, incluso sin una calibración especial, la cara que veía en el espejo parecía imitar cualquier movimiento que se me ocurriera hacer con mi cara.

Me atrajo especialmente el detalle de la piel. Si entrecerraba los ojos y arrugaba la nariz, podía ver que la piel a su alrededor se hinchaba de manera realista, y lo mismo cuando levantaba la ceja. Estos detalles sutiles, como el pliegue en las mejillas que se mueve con la boca, realmente agregan mucho a la impresión de que no es solo un objeto frente a mí, sino algo que tiene un ser vivo detrás.

Ya sea que las expresiones realmente se vean o no yo cuando yo soy el que está detrás de la máscara es otra cuestión. Dado que la cara de este avatar no coincide con la mía, en realidad es difícil de decir. Pero que los movimientos sean al menos plausiblemente realista es un primer paso importante hacia los avatares virtuales que se sienten naturales y creíbles.

Meta dice que lanzará la demostración de Aura como un proyecto de código abierto para que los desarrolladores puedan ver cómo adjuntaron las entradas de seguimiento facial al avatar. La compañía también dice que los desarrolladores podrán usar un solo conjunto de herramientas para conducir avatares humanoides o avatares no humanos como animales o monstruos sin necesidad de modificar cada avatar individualmente.

Meta dice que los desarrolladores podrán aprovechar una API de seguimiento facial que utiliza valores correspondientes a FACS, un sistema bien reconocido para describir el movimiento de diferentes músculos en el rostro humano.

Este es un sistema efectivo no solo para representar caras, sino que también forma una barrera de privacidad útil para los usuarios. Según Meta, los desarrolladores no pueden acceder a las imágenes sin procesar de la cara del usuario. En cambio, obtienen una “serie de valores de cero a uno que se corresponden con un conjunto de movimientos faciales genéricos, como cuando arrugas la nariz o frunces el ceño”, dice Meta. “Estas señales facilitan que un desarrollador conserve el significado semántico del movimiento original del jugador cuando asigna señales de la API de seguimiento de rostros a su propio equipo de personajes, ya sea que su personaje sea humanoide o incluso algo más fantástico”.

Meta afirma que ni siquiera la propia empresa puede ver las imágenes capturadas por las cámaras de los auriculares, ya sean internas o externas. Se procesan en los auriculares y luego se eliminan de inmediato, según la empresa, sin enviarlos nunca a la nube ni a los desarrolladores.



Source link