NVIDIA разработала инструмент, который работает по принципу заполнения с учётом содержимого (Content-Aware Fill) из Photoshop, однако, результат работы алгоритма NVIDIA намного лучше. Новый метод заполнения использует искусственный интеллект, чтобы реалистично восстановить фотографии.
Отличие алгоритма NVIDIA отличатся от «Content-Aware Fill» в Photoshop тем, что инструмент от NVIDIA не просто собирает информацию с окружающих пикселей, чтобы выяснить, чем заполнить пробелы. Система понимает как субъект должен выглядеть.
Например, если вы используете Content-Aware Fill на пустом пространстве, где должен быть глаз, система просто заполнит пробелы пикселями из соседних областей, текстурой кожи, бровями или носом. NVIDIA использует искусственный интеллект, что позволяет алгоритму знать, что на пустом пространстве должен быть глаз, поэтому добавляется сгенерированный компьютером глаз.
Например, используем этот портрет с огромным количеством затёртых участков:
Вот что делает Photoshop при помощи инструмента Content-Aware Fill:
А вот что создает NVIDIA:
Хотя это не выглядит как идеальное заполнение, всё же это значительно больше похоже на то, как должен выглядеть портрет.
Оригинальное фото:
Функция может быть использована как для заполнения пробелов в фотографиях, так и для удаления существующих объектов на фотографиях.
Исследователи обучили свой искусственный интеллект с помощью 55116 случайных масок отверстий и полос, которые были применены к огромному количеству фотографий. Рассматривая обе версии с отсутствующими областями и оригинальные фотографии, нейронная сеть научилась реконструировать недостающие пиксели.
Еще 25000 масок использовались для этапа тестирования для проверки точности.
Вот некоторые дополнительные До и После реконструированных системой NVIDIA фотографий:
Сейчас не сообщается, будет ли реализована данная технология в пользовательском продукте.
Следите за новостями: Facebook, Вконтакте и Telegram
