Компания Google представила технологию для преобразования текста в видео

За последний год искусственный интеллект прошёл длинный путь, однако по большей части все инновации касались текстовых инструментов. Поэтому новая программа от Google произвела настоящий фурор во время демонстрации: нейросеть под названием Lumiere способна преобразовывать текст не просто в картинку, а в полноценное видео.

ИИ может создавать реалистичные или сюрреалистичные — в зависимости от задачи — видеоролики, правда, продолжительность ограничена пятью секундами. Для этого достаточно ввести текстовое описание в интерфейс, а потом загрузить неподвижное изображение, чтобы инструмент преобразовал эти подсказки в анимацию. Нейросеть клонирует стиль любой картинки, а также может превратить исходное видео в оригами или цветочный узор.

Однако по-настоящему возможности Lumiere раскрываются в опциях редактирования видео. ИИ может закрасить часть видеоролика, либо же автоматически заполнить эту область, причём выглядеть это будет совершенно естественно. Если выделить на изображении отдельный объект, нейросеть способна анимировать его, как это показано в демонстрации выше, — например, можно заставить дым клубиться.

Исследовательская группа утверждает, что пространственная архитектура Lumiere строит весь видеоряд за один проход, чем инструмент отличается от предыдущих моделей, которые обычно генерировали начальный и конечный кадр. Тем не менее, на данный момент это лишь недоработанный проект, поскольку компании Google придётся разбираться с такими проблемами, как авторские права, создание фейков и распространение дезинформации, которые неизбежно последуют за новым ИИ.