Компания «Яндекс» представила диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию в ответ на текстовые запросы пользователей. Она понимает российский культурный код – знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Нейросеть уже интегрирована в приложение «Шедеврум» и помогает иллюстрировать рекламные объявления в «Яндекс Бизнесе», а вскоре появится в «Яндекс Клавиатуре» и других сервисах компании.
YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. По сравнению с предыдущим поколением диффузионной модели, которая использовалась в «Шедевруме», YandexART создаёт более реалистичную и детализированную графику. По итогам внутренней оценки асессоров «Яндекса» её результаты лучше в 60% случаев.
Для улучшения качества работы нейросети разработчики увеличили размер обучающего набора данных в 1,5 раза – до 330 млн картинок с текстовым описанием. Для обучения YandexART используются самые эстетичные картинки – они отбираются при помощи трёх режимов фильтрации. Новый алгоритм распознавания текстов помогает нейросети лучше понимать пожелания пользователей. Кроме того, нейросеть качественнее прорабатывает особенности лиц, глаз и рук, что позволяет ей делать фотореалистичные портреты.
Для улучшения качества генерации используется дообучение с подкреплением. Специалисты компании отсматривают, например, сразу несколько сотен или тысяч созданных с помощью YandexART капибар и отмечают удачные и неудачные изображения. Это позволяет нейросети понять, как именно лучше и правильнее изображать животных, персонажей, объекты, явления и не только.
Где работает YandexART:
В «Шедевруме» YandexART помогает пользователям генерировать изображения и видео. С момента запуска приложения они создали более 100 млн генераций.
При создании рекламных объявлений в «Яндекс Бизнесе» можно выбрать подходящую иллюстрацию из числа уже сгенерированных нейросетью YandexART. В нейростоке «Яндекс Бизнеса» представлено около 3 000 картинок для 650 видов деятельности. Они доступны для 82% рекламных кампаний и уже сейчас используются почти в каждом пятом размещении.
Скоро в «Яндекс Клавиатуре» с помощью YandexART можно будет сгенерировать картинку по текстовому описанию и установить её в качестве фона.
Узнать больше можно на сайте YandexART. Примеры изображений, сгенерированных нейросетью, – на «Яндекс Диске».
«Шедеврум» – это мобильное приложение «Яндекса», в котором пользователи могут создавать видео, изображения и тексты с помощью нейросетей. YandexART генерирует картинки и анимацию, а YandexGPT позволяет получать содержательные посты с заголовком и подходящей по смыслу иллюстрацией. Сразу после запуска в апреле 2023 года «Шедеврум» попал на первые строчки российских топов App Store и Google Play. C тех пор его установили более 6,5 млн пользователей.
Напомним, ООО «Яндекс» является членом-партнёром саморегулируемой организации «Ассоциация маркетинговой индустрии «Рекламный Совет».
(По информации пресс-службы компании «Яндекс»)
