Компания Nvidia объявила о том, что выкладывает открытый исходный код своей технологии анимации Audio2Face. Теоретически это должно значительно упростить создание ИИ-персонажей с убедительной мимикой, в том числе для общения с игроками в реальном времени.
Как говорит сама Nvidia, «используя обширные языковые и речевые модели, генеративный ИИ создаёт интеллектуальные 3D-аватары, способные вовлекать пользователей в естественный диалог, от видеоигр до обслуживания клиентов. Чтобы сделать этих персонажей по-настоящему реалистичными, им необходимы человеческие выражения».
Именно здесь в игру вступает Audio2Face, который ускоряет создание реалистичных цифровых персонажей, обеспечивая анимацию лица в реальном времени и синхронизацию губ. ИИ создаёт анимацию на основе аудиовхода, анализируя акустические характеристики, такие как фонемы и интонации, чтобы создать поток мимических данных. Этот контент можно не только визуализировать в офлайн-режиме, но и транслировать в реального времени.
Короче говоря, открывая исходный код Audio2Face, Nvidia надеется «ускорить внедрение аватаров на базе ИИ в играх и 3D-приложениях». Компания заявляет, что среди разработчиков игр, уже использующих Audio2Face, такие студии как Codemasters, GSC Games World, NetEase и Perfect World Games. Одна из причин такого хода также может заключаться в том, чтобы подтолкнуть геймеров к переходу на видеокарты Nvidia.