Alibaba открыла публичное бета-тестирование Wan3.0 — новой версии ИИ-модели для генерации видео. Она создаёт ролики длительностью до 30 секунд за один запуск и может использовать в качестве референсов текст, изображения, аудио, видео, документы и веб-страницы.
Wan3.0 уже доступна для тестирования через Alibaba Cloud Model Studio и Qwen Cloud. Чтобы получить доступ к бете, нужно подать заявку. Кроме того, модель уже появилась на платформе Wan.video. Детали в материале Postium.
Что умеет нейросеть Wan3.0
Одно из главных изменений — длительность генерации. Wan3.0 может создать ролик продолжительностью до 30 секунд за один запуск. Предыдущая версия, Wan2.7, генерировала видео длиной до 15 секунд. Alibaba также добавила автоматический подбор длительности по запросу и возможность продолжать уже созданное видео.
Модель работает сразу с несколькими типами референсов. Помимо текста, изображений, видео и аудио, ей можно передавать документы и веб-страницы: DOC, XLS, PPT, PDF, TXT, Keynote, Pages, Numbers, Markdown, а также URL. Например, пользователь может загрузить презентацию или документ вместе с изображениями и попросить модель сделать по ним видео.
Alibaba заявляет, что Wan3.0 лучше сохраняет внешность персонажей, детали объектов, расположение элементов и голос между кадрами. Компания также доработала генерацию лиц, мимики, интерфейсов и моушн-графики.
Сколько стоит генерация через API?
Qwen Cloud тарифицирует Wan3.0 API по длительности готового видео. Генерация в 480p стоит $0,05 за секунду, в 720p — $0,10 за секунду. Таким образом, 30-секундный ролик обойдётся в $1,50 или $3 соответственно.
Почему это важно?
Лимит в 30 секунд сокращает количество генераций отдельных клипов, которые после создания нужно соединять при работе над длинной сценой. В Wan2.7 максимальная продолжительность составляла 15 секунд, поэтому Wan3.0 вдвое увеличивает длину одного сгенерированного ролика.
Поддержка документов на вход расширяет набор исходных материалов для генерации. Теперь модели можно передать PDF, презентацию или веб-страницу вместе с промтом и визуальными референсами. Например, это позволяет превратить презентацию или другой текстовый материал в видеоролик без ручного переноса всего содержимого в промт.
Итог: Wan3.0 увеличивает максимальную длительность одной генерации до 30 секунд и принимает документы и веб-страницы в качестве референсов наряду с текстом, изображениями, аудио и видео.
