Как устроена технология Super Res на смартфоне Google Pixel 3

В своем блоге (Google AI) инженер-программист Google Бартломей Вронский и ведущий специалист по визуализации Пейман Миланфар изложили суть создания технологии масштабирования «Super Res» внутри своих смартфонов  Pixel 3 и Pixel 3 XL.

В последнее время производители пошли по пути добавления нескольких  зум-объективов в смартфон с 2-х, 3-х кратным оптическим зумом. Google же остается на позиции одного объектива камеры и предлагает встроить в смартфон новую функцию с названием Super Res Zoom.

Особенностью этой функции является смещение отдельных кадров во время съемки с дальнейшим их объединением в одно изображение с более высоким разрешением.По утверждению Google результат схож с уровнем изображения снятым  зум-объективом 2-х кратного увеличения других производителей.

На рисунке показано каким образом пробелы могут быть заполнены путем сдвига нескольких изображений на 1 пиксель по горизонтали и вертикали.

Инженеры Google предлагают использовать естественное дрожание руки фотографа -в своих интересах. Иначе говоря, после удаления макро-движения вследствие естественного дрожания рук, происходит сдвиг изображения всего на несколько пикселей, что локализует детали снимаемого объекта с высокой точностью и создает при этом разрешение высокого качества. 

В случае установки на штатив — происходит имитация движения руки фотографа  за  счет внутренней стабилизации смартфона.

На Pixel 3  в серии до 15 кадров происходит выравнивание кадров по одному базовому кадру ,что и приводит к более высокому разрешению, уменьшая при этом шум. В случаях движения объектов в кадре программное обеспечение сравнивает изображение на других кадрах в серии и выравнивает конечное изображение.

Слева: 7х увеличенное изображения на Pixel 2 (цифровой зум). Справа: кадрированное изображение Super Res Zoom сделанное на Pixel 3. Обратите внимание не только на увеличение детализации, но и на уменьшение шума.

Встроенный алгоритм также учитывает края изображения объединяя пиксели в направлении краев, а не по ним, что позволяет избежать артефактов.

По утверждению Google, Super Res Zoom технология позволит использовать любой смартфон, в том числе и 2-мя и 3мя- камерами. При этом разрешение и качество изображения может повыситься в несколько раз.

comments powered by HyperComments