Runway запустил Act-One, новый инструмент искусственного интеллекта, который позволяет создавать анимированных персонажей на основе видео, мимики и жестов пользователя.
Это значительно упрощает процесс анимации, так как первая сцена не требует дорогостоящего оборудования для захвата движения. Принцип работы напоминает MIMO от Alibaba, который позволяет анимировать персонажей на основе видеороликов.
Читайте также: 5 нейронных сетей для создания цифровых аватаров
Как работает Act-One от Runway и как её использовать
Главным преимуществом первого акта является его способность передавать эмоции и жесты реальных людей цифровым персонажам, сохраняя все нюансы их мимики. То есть сначала нужно загрузить видео в AI-модель, которая будет служить источником.
При этом вам не понадобится дорогостоящее специальное оборудование, достаточно просто записать видео на свой смартфон. Этого источника достаточно, чтобы анимировать тысячи разных персонажей в разных стилях.
Модель способна создавать кинематографические, реалистичные эффекты под любым углом и фокусным расстоянием. Он позволяет выразить глубокие эмоции и открывает новые возможности для творчества.
Создатели подчеркивают, что одна запись может генерировать несколько персонажей разных стилей, что открывает возможности для мультфильмов и фильмов.
Используя технологию отслеживания взгляда, Act-One может точно передавать микровыражения, ритмы и выражения лица.
Особое внимание уделено безопасности: внедрены механизмы предотвращения дипфейков и несанкционированного использования изображений публичных деятелей.
Runway начала предоставлять доступ к Act One, и вскоре эта функция станет доступна всем пользователям.
Ранее RhymesAI запустила модель Allegro AI, которая может генерировать видео на основе текстовых описаний.
