Компании SpecialGuestX и 1stAveMachine разработали концепт генеративной камеры CMR M-1, которая задействует алгоритмы искусственного интеллекта для получения изображения. Система идет вразрез с традиционным и актуальным подходом к работе камер, поэтому разработка, по всей видимости, носит экспериментальный характер. Камера пишет в разрешении 1368×768 с частотой 12 кадров в секунду и может в режиме реального времени генерировать дополнительное изображение, которое аккуратно накладывается на основное.
Новая генеративная ИИ-кинокамера CMR M-1 получила минималистичный, но довольно громоздкий внешний корпус. Внутри расположена достаточно сложная конструкция, которая включает в себя датчик FLIR (Front Looking Infra Red). Его оптический формат не раскрывается, однако источник уточняет, что это может быть M4/3. В целом, камера CMR M-1 напоминает винтажные 16-мм пленочные камеры.
ИИ-кинокамера основывается на алгоритмах известной нейросети Stable Diffusion. При этом система поддерживает метод тонкой настройки контрольных точек (Low-Ranking Adaptation). Он напоминает использование LUT в цифровых камерах. В корпусе камеры имеется специальный слот, куда можно загрузить эти LoRA и применять во время съемки.
Любопытно, что при таких габаритах корпуса, сравнимых с современными настольными ПК, кинокамера выполняет процессы генерации через внешние сервера. Каким образом осуществляется подключение к сети — пока не уточняется.
Возможности новой генеративной камеры — пока скудные. Максимальное разрешение составляет 1368×768 с частотой 12 кадров в секунду. Информации о возможностях динамического диапазона, и другие характеристики получаемого изображения — пока не раскрываются.
На правой боковой части корпуса камеры имеется большое колесо с 10-ю позициями. Оно отвечает за усиление или ослабление функций генеративного искусственного интеллекта в получаемое изображение.
Как работает первая ИИ-кинокамера?
На задней части камеры имеется довольно крупный дисплей. На нем отображается кадр, уровень заряда, и часть другой технической информации.
В режиме без дополнительного применения генеративного искусственного интеллекта — изображение выглядит как на картинке выше.
Затем в корпус камеры требуется вставить специальную карту, напоминающую банковскую (см. изображение ниже), и вероятно, содержит встроенную сим-карту. По всей видимости, различные карты позволяют добавлять совершенно разные генеративные эффекты в изображение.
После карты камера показывает статус соединения на маленьком дисплее, который находится под основным экраном на задней части (см. изображение ниже):
Эффект работы ИИ-кинокамеры заключается в следующем. На основной дисплей выводится изображение, получаемое при прямой, традиционной съемке. Однако если покрутить колесо, расположенное в правой боковой части, нейросеть дополняет кадр в реальном времени:
Колесо позволяет установить уровень применения генеративного ИИ. На максимальной настройке от исходного кадра остаются только очертания. Чтобы вы понимали: на исходной съемке, показанной ниже, скейтбордист едет по дороге:
В официальном промо-ролике компания показывает варианты карточек, которые устанавливаются в ИИ-кинокамеру CMR M-1. Доступны следующие варианты:
- Pixel Art
- Cosmic Coma
- И другие
Также показано, как отрабатывает эффект ИИ-генерации Cosmic Coma (девушка со скейтбордом идет по улице).
Кинокамера CMR M-1 получила поддержку установки сменной оптики. В ролике показана работа с различными объективами и компендиумом. Однако сам концепт камеры достаточно спорный.
Накладываемый эффект генерации можно было бы вручную повторить на этапе пост-продакшена, при особом желании задействовав ту же нейросеть Stable Diffusion, и имея в руках стандартную цифровую камеру, поддерживающую более качественные режимы съемки.
При этом, конечно же, новая генеративная кинокамера целиком зависит от качества интернет-соединения. В случае отсутствия связи, ее функционал снижается фактически до нуля.
Есть и другие компромиссы, которые вызывают вопросы и подозрение, что перед нами концепт, который и не планируется для выхода на массовый рынок. Громоздкость камеры при ее слабом функционале. Корпус действительно получился массивным — без боковых ручек и видимых портов для подключения какого-либо дополнительного оборудования.
Концепт ИИ-камеры. Что ждет в будущем?
Несмотря на видимую бесполезность системы — подобный концепт может получить свое развитие в будущем. Искусственный интеллект уже плотно вшит в работу современных цифровых камер. Он дополняет систему автофокусировки, улучшает автоматическую экспозицию и другие показатели. Генеративный ИИ уверенно «прописался» в профессиональном софте: Adobe анонсировали Firefly и улучшения Photoshop, другая нейросеть- Aiarty Image Enhancer повышает качество изображений и их разрешение до 32K.
Однако генеративные системы непосредственно в камерах крупнейших производителей пока не применяются.
Однако постепенно энтузиасты начинают пытаться объединить концепцию камеры и генеративных нейросетей. Ранее был представлен прототип камеры Paragraphica, которая генерирует снимки с помощью ИИ. Выглядел он, мягко говоря, странно:
В шаблоне запроса для нейросети Stable Diffusion указываются данные: о ракурсе, предметах, геолокации и даже температуре.
Работает необычная «камера» на базе компьютера Raspberry Pi 4. Информация о сделанном кадре выводится на дисплей, при этом на каждый «кадр» уходит от 1 до 2 минут. За счет возможностей ИИ можно получить снимок в любом разрешении.
В дальнейшем система генеративного ИИ может появиться на смартфонах. Технологически для этого практически все есть. Некоторые флагманы оснащаются достаточно мощными процессорами, которые могут без подключения к серверам выполнять ряд операций по обработке изображения на основе искусственного интеллекта.
Станут ли крупнейшие производители камер перенимать подобный опыт? Пока подобной тенденции не наблюдается. Напротив, компания Leica разработала способ шифрования, показывающий, что снимок оригинальный и вмешательств в него не было.
