Компания Nvidia анонсировала последнюю версию системы Nvidia Research GauGAN2. Эта модель основана на глубоком обучении с использованием искусственного интеллекта и позволяет преобразовывать текстовое описание пейзажа в изображение. Этим инструментом (в демо-режиме) могут пользоваться концепт-художники, создатели раскадровок и дизайнеры.
В исходной версии системы была возможность создать детализированное изображение из грубого наброска. Теперь алгоритмы Nvidia обучились генерировать изображение из фраз, например «закат на пляже». При этом можно дополнительно описать объект прилагательным (например, «каменистый пляж»).
Вот такое изображение было сгенерировано системой:
«Одним нажатием кнопки пользователи могут создать карту сегментации, высокоуровневую схему, которая показывает расположение объектов в сцене. Оттуда они могут переключаться на рисование, настраивая сцену с помощью грубых набросков, используя такие ярлыки, как небо, дерево, скала и река, позволяя умной кисточке преобразовывать наброски в потрясающие изображения», — заявляет компания Nvidia.
Демонстрация системы GauGAN2 и работа с ней доступны всем желающим.
Благодаря добавлению возможностей преобразования текста в изображение новая версия системы GauGAN более настраиваема, работать с ней стало намного быстрее.
Последняя версия GauGAN является одной из первых моделей искусственного интеллекта, которая включает в себя несколько модальностей, текст, семантическую сегментацию, эскиз и стиль в одной сети GAN. Начальную точку на основе текста, такую как «заснеженный горный хребет», можно дополнительно настроить с помощью эскизов. Вы можете добавлять деревья, изменять высоту и размер объектов, добавлять облака к небу и многое другое. Затем GauGAN2 генерирует новое измененное изображение.
Вот такая картинка получилась из текста «low forest with ttwo big suns»:
Сфера применения системы Nvidia достаточно широка. GauGAN2 может оказаться полезным для концепт-художников, поскольку вы можете создавать миры с двумя солнцами и другими объектами.
В начале этого года Nvidia выпустила инструмент, основанный на GauGAN, NVIDIA Canvas, который можно использовать на любом графическом процессоре Nvidia RTX. На данный момент GauGAN2 обучен работе с 10 миллионами пейзажных изображений с помощью суперкомпьютера Nvidia Selene, который входит в десятку самых мощных суперкомпьютеров в мире.
