Канадские ученые разработали ИИ-инструментарий, который позволяет физически точно изменять освещение на любой фотографии, предоставляя контроль, ранее доступный лишь в профессиональных 3D-редакторах.
При значительном прогрессе ИИ в освоении физического мира, одной из самых сложных задач остается моделирование ключевого аспекта нашей зрительной системы: восприятия света.
Однако ученые из лаборатории вычислительной фотографии при Университете Саймона Фрейзера в Канаде разработали новый инструмент. Он позволяет точно изменять освещение на любой фотографии, имитируя физические законы света.
Подобный контроль над светом обычно доступен в программах для создания компьютерной графики, таких как Blender или Unreal Engine.
Этот проект, описанный в новой работе «Физически управляемое переосвещение фотографий», выводит точный контроль над светом на новый уровень в редактировании изображений.
Существующие ИИ-инструменты для переосвещения часто полагаются на нейронные сети, которые пытаются «угадать», как свет взаимодействует со сценой, исходя из ранее обученных на похожих изображениях данных.
Специфика работы инструмента
Хотя в новой разработке тоже применяется нейронная сеть, она используется не на всех этапах. Инструмент сначала создает трехмерную модель двухмерного изображения. Это позволяет сформировать уникальную, настраиваемую световую карту, предназначенную специально для данного снимка.
При загрузке фотографии программа сначала строит ее трехмерную модель без освещения. Этот этап основывается на предыдущих исследованиях Университета Саймона Фрейзера, которые проводил Крис Кареага, аспирант и главный автор новой работы.
В прошлом году Кареага с командой уже разработали ИИ, способный анализировать свет на фотографиях. К слову, в 2021 году ученые университета обучили ИИ-камеры точнее определять глубину сцены. Эти работы продолжают служить основой для текущих разработок.
Крис Кареага пояснил, что после создания трехмерной сцены пользователи могут размещать в ней виртуальные источники света, как в настоящей фотостудии или программе для 3D-моделирования. Он добавил, что затем команда интерактивно симулирует эти источники, используя проверенные методы компьютерной графики.
На данном этапе пользователь видит черновое превью сцены с новым освещением. Это дает необходимую информацию для выбора желаемого результата, при этом рендеринг является физически точным. Затем специально разработанный нейронный движок дорабатывает изображение, делая его полностью фотореалистичным.
Хотя данная разработка, представленная на прошлой неделе на конференции SIGGRAPH в Ванкувере, пока работает только со статичными изображениями, команда планирует применить ее и к видео. Это позволит кинематографистам и специалистам по визуальным эффектам избежать дорогостоящих, а порой и невозможных пересъемок.
Доктор Ягиз Аксой, руководитель Лаборатории вычислительной фотографии Университета Саймона Фрейзера, отметил, что по мере развития эта технология может значительно сэкономить время и деньги независимым кинематографистам и создателям контента.
Он пояснил, что вместо покупки дорогостоящего осветительного оборудования или повторной съемки сцен, они смогут вносить реалистичные изменения в освещение уже постфактум, при этом не придется подстраивать свое творческое видение под возможности генеративных ИИ-моделей.
Пока некоторые компании пытаются задействовать возможности ИИ для улучшения и облегчения пост обработки снятого материала, другие ведут ожесточенные споры о целесообразности применения ИИ в нынешнем и защите своих авторских прав при использовании в качестве обучения уже имеющиеся ресурсы.
