Яндекс предлагает новое поколение визуальной нейронной сети — YandexART 2.0. Модель учится:
- Создавайте надписи прямо на изображениях,
- Придерживайтесь нескольких стилей в одном изображении,
- Размещайте объекты в пространстве и естественнее относитесь друг к другу,
- Учитывайте более подробную информацию о текстовых запросах при формировании.
Пользователи могут использовать новые функции для развития своего бизнеса, такие как: создание логотипов для брендов, этикеток продуктов, публикаций на веб-сайтах и в социальных сетях, а также компаний для повышения эффективности рекламных и маркетинговых кампаний.
О технологии YandexART 2.0
В основе YandexART 2.0 лежит собственная разработка компании — новая гибридная модельная архитектура, сочетающая в себе рабочие качества сверточных нейронных сетей и нейросетей-трансформеров. Сверточные модели работают в соответствии с принципами человеческого глаза, определяя важные особенности изображений — края, текстуры и формы. В то же время нейросеть с такой архитектурой не может учитывать длинный контекст (поэтому с трудом справляется с большим количеством деталей в индустриальных текстах), а вот Transformer это умеет.
Объединение этих двух моделей в ЯндексАРТ 2.0 позволяет точнее отслеживать текстовые запросы. Так что теперь она может использовать несколько стилей в одном изображении и, например, создать реалистичную банку лимонада с персонажами аниме на этикетке.
ЯндексАРТ обучался на сотнях миллионов изображений и текстовых описаний.
Чтобы улучшить качество этих текстов и сделать их более точными, Яндекс использует собственную модель VLM. Она проанализировала изображения и подробно описала их содержание. ЯндексАРТ 2.0 обучен на улучшенных данных, что помогает нейросети более детально учитывать запросы пользователей.
Визуальные нейронные сети умеют генерировать отдельные буквы, но для того, чтобы они начали формировать из них слова, требуется дополнительное обучение на большом количестве примеров.
Яндекс расширил набор обучающих данных YandexART 2.0, включив в него сотни тысяч изображений с текстом. Так нейросеть учится создавать на картинке надпись латинскими буквами.
Для измерения качества нейронных сетей Яндекс разработал новую систему оценки. Он включает в себя четыре основных параметра: актуальность, красота, дефекты и сложность, то есть сложность и детализация рисунка. Например, YandexART 2.0 превосходит Midjourney v6.1 по сложности в 66% случаев, по эстетике в 58% случаев и практически равен по доле выигрыша, связанной с запросами пользователей.
YandexART для бизнеса
YandexART 2.0 доступен на облачной платформе Yandex. Вы можете использовать его через API для интеграции генерации изображений в ваше приложение, а также протестировать его в демонстрационном режиме, чтобы выбрать лучший. Нейронные сети смогут лучше понимать запросы пользователей, поэтому компании смогут быстрее и качественнее создавать фотореалистичные изображения для маркетинговых и рекламных кампаний. Предприниматели смогут создавать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендинга одежды.
С YandexART 2.0 вы уже можете создавать рекламу в Яндекс Директ. На данный момент 11% рекламодателей используют в своих сервисах изображения, сгенерированные ЯндексАРТом. По результатам экспериментов, использование нейронной рекламы в сочетании с собственным креативом позволяет повысить эффективность рекламных кампаний на 10-15%.
YandexART для пользователей
При активации опции Pro пользователи могут общаться с Алисой с помощью ЯндексАРТ.
Алиса может не только генерировать картинки, но и дополнять и изменять их по желанию пользователя. Подсказки можно уточнить прямо в режиме разговора. Например, сначала скажите: «Алиса, нарисуйте свечу ручной работы», а после получения результата добавьте: «В окружении еловых веток».
Алиса поможет вам создать аватарки для социальных сетей, иконки для приложений, логотипы или принты для футболок, забавные открытки для друзей или иллюстрации для постов.
Пользователи, активировавшие опцию Alice Pro, могут создавать неограниченное количество изображений в разных форматах как в мобильных, так и в настольных версиях, а создание изображений занимает всего несколько секунд.
Мы помним, что в начале сентября Яндекс запустил улучшенную версию YandexART для создания коротких видеороликов. В июле в Masterpiece благодаря ЯндексАРТу появилась возможность создавать клипы из видео, изображений и Filterroom.
