Китайская компания Alibaba Group запустила новую модель искусственного интеллекта под названием MIMO для визуализации персонажей в движении на основе двухмерных изображений (фотографий или картинок).
Нейронные сети способны превратить любую картинку и видео в анимированного персонажа. Короче говоря, вы можете сделать свои собственные фотографии и видео голов Роналду, а затем объединить их с помощью MIMO, чтобы создать видео своего гола в финале Лиги чемпионов.
Чтобы создать анимированных персонажей, вы добавляете необработанные изображения и видео, а затем нейронная сеть объединяет их.
В качестве источников можно использовать фотографии реальных людей или изображения персонажей. Исходное видео должно содержать действие, которое вы хотите, чтобы персонаж выполнил. Например, танцевальные движения.
MIMO прост и эффективен в использовании. Нет необходимости делать несколько ракурсов или индивидуальную подготовку для каждого персонажа. Вместо этого он объединяет 2D-видеоинформацию и 3D-пространственное моделирование, чтобы сделать создание персонажей более эффективным.
Технология MIMO может использоваться в самых разных областях: от анимации до спецэффектов в фильмах и дизайна игровых персонажей. Она может управлять движениями персонажа и применять сложные движения из реальных видеороликов. Это позволяет персонажам взаимодействовать с объектами в реальных сценах и создавать более реалистичную анимацию.
Пользователи могут комбинировать различные элементы, такие как изображения персонажей, последовательности действий или видеосцены, для достижения различных анимационных эффектов. MIMO упрощает создание анимированных персонажей.
ссылка на проект: https://menyifang.github.io/projects/MIMO/index.html.
Ранее нейронная сеть Kling AI выпустила версию 1.5 и функцию Motion Brush.
