Революция в шумоподавлении

При съемке фотографий в условиях низкой освещенности при высокой скорости затвора требуется поднимать ISO, чтобы фото получилось чётким и передавало детализацию в тёмных участках. Но при высоких значениях ISO очень сильно снижается качество фото, появляется большое количество шума. Новый алгоритм работы искусственного интеллекта научился улучшать качество снимков, содержащих большое количество шума.

Группа исследователей из Университета Иллинойса в Урбана-Шампань и Intel опубликовали новую статью под названием научившись видеть в темноте. Она объясняет, как они тренировали ИИ редактировать фото, сделанные при слабой освещённости и получать результаты, которые похожи по качеству на фото, сделанные на длинной выдержке, но без размытия.

Команда собрала набор фото, где каждая пара содержала RAW-фото с короткой экспозицией, но высоким уровнем шума и версию с длинной экспозицией и почти без шума.

Реклама

Нейронная сеть была обучена на парах изображений, чтобы узнать, чем отличаются снимки и научиться улучшать их.

Результаты поразительны: RAW-фотографии, обработанные с помощью обученного ИИ, сохраняли ту же детализацию, но теряли весь видимый шум.

Пример 1

Фото, сделанное камерой на ISO 8000.
Та же сцена, полученная с помощью камеры на ISO 409600.
В результате обработки фото получилось чистым и контрастным.

 

Пример 2

Fuji X-Т2, ISO 640, F/8, 1/30сек.
Тот же снимок, обработанный ИИ.

Пример 3

Sony A7S II, ISO 2000, F/9, 1/10сек.
Тот же снимок, обработанный ИИ.

Пример 4

Sony A7S II, ISO 2000, F/9, 1/10сек.
Тот же снимок, обработанный ИИ.

Пример 5

Sony A7S II, ISO 640, F/13, 1/10сек.
Тот же снимок, обработанный ИИ.

Пример 6

Sony A7S II, ISO 6400, F/5,6, 1/25сек.
Тот же снимок, обработанный ИИ.

Вы можете найти больше примеров сравнения на сайте исследовательского проекта и прочитать статью, если вы хотите узнать технические детали, лежащие в основе эксперимента.

«Эксперименты показывают обнадеживающие результаты, выполняя успешное подавление шума и правильное преобразование цвета», пишут исследователи, но они отмечают, что это только верхушка айсберга. Эксперимент закладывает основу для гораздо более важных изменений в фотографии. То, что сейчас называется «Auto ISO» может измениться. Вместо выбора оптимального значения ISO для конкретной системы камера могла бы подавлять шум полностью.

Следите за новостями: FacebookВконтакте и Telegram

ИСТОЧНИКpetapixel