Яндекс объявляет о запуске бета-версии нейросети YandexART (Vi), способной создавать пятисекундные видеоролики.
Модель научилась воспроизводить плавное движение объектов на видео, например, бегущей собаки, падающих с дерева листьев или брызг воды.
Нейронные сети пригодятся обычным пользователям для создания уникальных анимированных заставок для своих телефонов, а также блоггерам, аниматорам, креаторам и другим специалистам. YandexART (Vi) уже доступен в приложении Masterpiece.
В прошлом году компания выпустила предыдущую версию модели, предназначенную для создания видеороликов на основе текстовых описаний. Движение в анимации, созданной этим решением, похоже, происходит из-за движения камеры, а не самого объекта. Кроме того, объекты существенно меняются между кадрами, что влияет на целостность изображения.
YandexART (Vi) теперь может воспроизводить реалистичное движение и поддерживать связи между кадрами, в результате чего видео становится более плавным и цельным. Для этого нейронная сеть обучается на видео движущихся объектов, таких как проезжающие машины или подкрадывающиеся кошки.
Алгоритм нейронной сети генерирует серию последовательных кадров, которые плавно переходят друг в друга, позволяя создавать непрерывные видеоролики.
Сначала пользователь задает модели текстовый запрос, в котором указано, что должно произойти на экране (например: «Милая собачка гуляет по осеннему парку»). Исходя из этого требования, нейронная сеть сначала создает изображение для запуска анимации, а затем постепенно создает последовательные кадры из цифрового шума, ориентируясь на это изображение и текстовое описание.
Ранее в Masterpiece добавили возможность создавать клипы и добавлять музыку.
