Audio2Face включает SDK, плагины для Maya и Unreal Engine 5, а также готовые модели ИИ. Они преобразуют речь в естественные движения губ и лица, включая эмоции в реальном времени. Новая версия 3.0 построена на методах диффузии, что обеспечивает более точное воспроизведение и лучшее распознавание эмоций.
Технология уже используется в проектах крупных компаний, среди которых Codemasters, NetEase и Reallusion. По словам Войцеха Паздура из The Farm 51, благодаря Audio2Face при работе над Chernobylite 2: Exclusion Zone удалось сэкономить сотни часов ручной анимации.
Рынок цифровых аватаров стремительно растёт. В 2024 году его объём оценивался в $29,06 млрд, а к 2032 должен достичь $652,29 млрд. На игры приходится около 30% сегмента, а рост в этой сфере составляет 49,24% в год.
Суть Audio2Face — в анализе голоса: система определяет фонемы и интонацию, после чего автоматически генерирует подходящую мимику. Это избавляет от долгой ручной работы и делает эмоции в играх и кино ещё более правдоподобными.