Исследователи из университета Radboud в Голландии сделали кое-что очень интересное. Используя сотни тысяч фотографий, они обучили нейронную сеть использовать ручные наброски и превращать их в фотореалистичные изображения.
Компьютеры уже давно могут делать из снимка скетчи. Подобные фильтры есть практически в каждом графическом редакторе, но обратный процесс ранее был невозможен. Ни одна система не могла взять эскиз, созданный вручную и превратить его в портрет. Учёные использовали 200000 изображений для обучения системы, которая теперь может это.
Команда Radboud начала собирать изображения в интернете и накопила 200 тыс. фотографий лиц и преобразовала их в наброски. Использовались эскизы в оттенках серого и цветные эскизы. Собранные данные были загружены в нейронную сеть. Затем нашлось обучение того, как превратить эскиз в реалистичный рисунок.
После обучения команда перевела компьютер в режим тестирования. Вот пример того, на что способна система. Слева располагается изображение, взятое из сети. Справа уже восстановленное изображение из наброска:
Но это был только первый раунд. Далее прошло тестирование восстановления эскизов, нарисованных от руки. Но опять же, система выполнила свою работу превосходно. Она даже смогла угадать цвет волос и этническую принадлежность на основе черно-белых эскизов. Были созданы точные портреты без какой-либо информации о цвете.
И, наконец, в последнем раунде системе были даны автопортреты Ван Гога и Рембрандта. Вы можете увидеть результаты ниже:
Непосредственное применение этой технологии очевидно: превращение эскизов полиции в фотореалистичные изображения подозреваемого. Эта система в будущем может использоваться и в графических редакторах.
