AI

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Decart представила LSD v2 — второе поколение модели, которая перерисовывает видео прямо во время стрима или видеозвонка.

В отличие от обычных фильтров в стримерских приложениях, здесь работает нейросеть: она понимает сцену, движение, объекты и создаёт стилизованный кадр без заметных задержек. Модель уже доступна для пользователей. Postium разобрал детали.

Читайте также: 9 нейросетей для оживления фото

Что умеет нейросеть LSD v2 и как она работает

LSD v2 превращает входящий видеопоток в стилизованное «живое» видео. сеть анализирует кадры в реальном времени и перерисовывает их под выбранный стиль — от аниме до мультсериалов вроде «Симпсонов». Картинка обновляется на лету, а лицо и движение остаются узнаваемыми.

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Во втором поколении улучшили стабильность: меньше рывков, меньше «плавающих» контуров и артефактов. Модель лучше держит мимику и позу, точнее понимает, что происходит в кадре, и не ломает пространство вокруг. За счёт этого эффект выглядит как цельный поток, а не как набор обработанных кадров.

Статья в тему: Промты для обработки фото в

Как пользоваться нейросетью LSD v2

Достаточно запустить стрим, подключить LSD v2 в разделе «Mirage LSD» и выбрать стиль под трансляцией. Модель будет обрабатывать видео сразу, без рендера и долгой подготовки. То же работает и для видеозвонков. За 1 секунду расходуется 2 кредита, при регистрации дают 1000.

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Вышла нейросеть LSD v2 — стилизует видео в режиме реального времени

Почему это важно? Генеративное видео долго оставалось офлайновой технологией: красиво, но непригодно для прямых эфиров. LSD v2 переносит стилизацию в реальное время — это даёт стримерам, ведущим и создателям контента новый инструмент, который раньше был возможен только в постпродакшене.

Первая версия LSD показала, что живую стилизацию можно сделать технически. Теперь Decart усиливает направление realtime-видео, доводя технологию до более стабильного продакшен-уровня.

Итог: стилизованные стримы больше не требуют монтажа — достаточно включить LSD v2, и эфир можно провести в стиле аниме, «Симпсонов» или любого другого визуального стиля.

Ранее вышла обновлённая ИИ-модель ImagineArt 1.5, которая делает акцент на фотореализм.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

2 × 3 =

Кнопка «Наверх»