Synthetic Video Detector от Nvidia способен отличить реальное видео от ИИ-генерации. Сервис анализирует ролик покадрово и извлекает статистические закономерности в частотной области, указывающие на генерацию на основе диффузии, заявляет компания Nvidia. Что ж, этот инструментарий необходим сейчас как никогда.
На самом деле в подобном инструментарии пользователи нуждаются уже давно.
ИИ-контент не только заполонил соцсети, но и в некоторых случаях оказался искусно подмешен к реальным кадрам. В таких случаях, различить — реально ли происходящее, довольно проблематично.
Причем, любопытно и то, что Nvidia — один из главных бенефициаров ИИ-бума, ведь именно ее оборудование используется в дата-центрах: графические ускорители (GPU), центральные процессоры (CPU), специализированные процессоры (DPU) и сетевые коммутаторы.
Более того, разработчики ИИ продолжают вкладывать миллиарды долларов в то, чтобы нейросети генерировали как можно более реалистичнее и незаметнее для человека.
Но теперь Nvidia представила собственный продвинутый инструмент детекции ИИ-генерации: Synthetic Video Detector.
Он покадрово анализирует видео. Встроенный классификатор анализирует, содержит ли видео синтетический контент или нет. Затем эти данные используются для определения приоритетности фрагментов для проверки. Все данные могут передаваться на более глубокий анализ.
«Сервис анализирует видеокадры и извлекает статистические закономерности в частотной области, указывающие на генерацию на основе диффузии. Он разработан таким образом, чтобы быть устойчивым к распространенным артефактам сжатия видео, обеспечивая надежную работу с реальными видеоданными», — заявляет компания Nvidia.
Эффективен ли Synthetic Video Detector?
Эта система обнаруживает поддельные видео, обрезая кадры до размера 504×504 пикселей.
Затем кадры передаются двум Vision Transformer, которые анализируют их и присваивают им рейтинг от 0 до 1 — 0 означает настоящий кадр, а 1 — поддельный. Затем оценки всех кадров усредняются, чтобы получить процентную оценку по 100-балльной шкале.
По данным Nvidia, при обработке видео высокого разрешения 1080p алгоритм синтетического видеодетектирования (SVD) может достичь точности в 92%.
Он также способен обрабатывать несжатое видео всего за 22 миллисекунды на системах Nvidia RTX, специализированных видеокартах для визуальных вычислений и графики.
Но есть проблема: большинство видеороликов в интернете сжаты. Это значит, что кадры теряют артефакты, которые SVD использует для определения того, являются ли они реальными или сгенерированными ИИ. Поэтому для видео, сжатых на 15%, точность обнаружения падает до 87%, а при сжатии на 50% — до 82%.
Nvidia позиционирует SVD как микросервис, предназначенный для использования редакциями в редакционных и медиа-процессах.
«Вместо того чтобы заменять устоявшиеся методы проверки, микросервис предоставляет еще один сигнал для принятия решений, требующих оперативного реагирования, — помогая командам действовать быстро, одновременно защищая редакционные стандарты и обеспечивая доверие общественности», — заявляет Nvidia .
SVD является частью программы Nvidia AI for Media Private Access, а это значит, что она пока недоступна для широкой публики. Однако в интернете есть демо-версия , которую можно попробовать.
Ранее компания Nvidia выпустила революционный чип для ноутбуков. Nvidia RTX Spark позволяет получить высочайшую производительность в очень компактных лэптопах, фактически в ультрабуках.
Nvidia и Adobe скординировались, чтобы совместить новый супер-процессор Nvidia RTX Spark и программы Adobe Premiere и Adobe Photoshop. Адаптация удалась: скорость обработки эффектов, цвета, а также ИИ-функций должна стать до двух раз быстрее. В дальнейшем аппаратное ускорение появится и в программах Substance 3D Painter и Stager для работы с 3D-сценами. Таким образом, процессор Nvidia для ноутбуков ускоренным темпом идет по пути чипов Apple M.
