В своем блоге (Google AI) инженер-программист Google Бартломей Вронский и ведущий специалист по визуализации Пейман Миланфар изложили суть создания технологии масштабирования «Super Res» внутри своих смартфонов Pixel 3 и Pixel 3 XL.
В последнее время производители пошли по пути добавления нескольких зум-объективов в смартфон с 2-х, 3-х кратным оптическим зумом. Google же остается на позиции одного объектива камеры и предлагает встроить в смартфон новую функцию с названием Super Res Zoom.
Особенностью этой функции является смещение отдельных кадров во время съемки с дальнейшим их объединением в одно изображение с более высоким разрешением.По утверждению Google результат схож с уровнем изображения снятым зум-объективом 2-х кратного увеличения других производителей.
На рисунке показано каким образом пробелы могут быть заполнены путем сдвига нескольких изображений на 1 пиксель по горизонтали и вертикали.
Инженеры Google предлагают использовать естественное дрожание руки фотографа -в своих интересах. Иначе говоря, после удаления макро-движения вследствие естественного дрожания рук, происходит сдвиг изображения всего на несколько пикселей, что локализует детали снимаемого объекта с высокой точностью и создает при этом разрешение высокого качества.
В случае установки на штатив — происходит имитация движения руки фотографа за счет внутренней стабилизации смартфона.
На Pixel 3 в серии до 15 кадров происходит выравнивание кадров по одному базовому кадру ,что и приводит к более высокому разрешению, уменьшая при этом шум. В случаях движения объектов в кадре программное обеспечение сравнивает изображение на других кадрах в серии и выравнивает конечное изображение.
Слева: 7х увеличенное изображения на Pixel 2 (цифровой зум). Справа: кадрированное изображение Super Res Zoom сделанное на Pixel 3. Обратите внимание не только на увеличение детализации, но и на уменьшение шума.
Встроенный алгоритм также учитывает края изображения объединяя пиксели в направлении краев, а не по ним, что позволяет избежать артефактов.
По утверждению Google, Super Res Zoom технология позволит использовать любой смартфон, в том числе и 2-мя и 3мя- камерами. При этом разрешение и качество изображения может повыситься в несколько раз.
