Audio2Face incluye SDK, plugins para Maya y Unreal Engine 5, así como modelos de IA listos para usar. Estos transforman el habla en movimientos naturales de labios y rostro, incluyendo emociones en tiempo real. La nueva versión 3.0 se basa en métodos de difusión, lo que garantiza una reproducción más precisa y un mejor reconocimiento de las emociones.
La tecnología ya se está utilizando en proyectos de grandes empresas, entre ellas Codemasters, NetEase y Reallusion. Según Wojciech Pazdur de The Farm 51, gracias a Audio2Face, al trabajar en Chernobylite 2: Exclusion Zone se ahorraron cientos de horas de animación manual.
El mercado de los avatares digitales está creciendo rápidamente. En 2024, su volumen se estimó en 29,06 mil millones de dólares, y para 2032 debería alcanzar los 652,29 mil millones de dólares. Los juegos representan alrededor del 30% del segmento, y el crecimiento en este ámbito es del 49,24% anual.
La esencia de Audio2Face reside en el análisis de la voz: el sistema determina los fonemas y la entonación, tras lo cual genera automáticamente la mímica adecuada. Esto evita el largo trabajo manual y hace que las emociones en los juegos y el cine sean aún más creíbles.