Runway создала технологию генерации в режиме реального времени (GWM). Она создает HD-видео с задержкой всего в 100 миллисекунд. Для сравнения, текущим моделям от Google или OpenAI требуются секунды или даже минуты для создание ролика.
Для использования интерактивных возможностей General World Models в Runway сейчас доступны три основных направления. Каждое из них работает по принципу «получи результат мгновенно»:
- GWM Worlds: создание исследуемых 3D-окружений в реальном времени.
- GWM Avatars: интерактивные персонажи для общения.
- GWM Robotics: симуляция физических взаимодействий для робототехники.
Как это работает?
По данным технического издания, система функционирует подобно игровому движку, непрерывно отрисовывая кадры. Она построена на новой архитектуре NVIDIA Vera Rubin.
Возможные применения и риски:
- Интерактивный контент: в перспективе технология позволит создавать прямые эфиры или стримы с ИИ-персонажами, которые реагируют на происходящее уже в реальном времени.
- Развитие игр: она может стать основой для инструментов создания виртуальных миров, подобных анонсированному Google Project Genie, где окружение строится из фото или текстового описания.
- Угроза мошенничества: эксперты предупреждают, что эта технология может усугубить проблему дезинформации. ИИ-аватары, взаимодействующие с людьми в реальном времени, могут стать мощным инструментом для обмана.
Однако, у технологии все еще имеются слабые места. Например, ИИ сложно сохранять постоянный облик персонажа — он может меняться и сбоить в процессе генерации.
Несмотря на существующие трудности, инвестиции таких гигантов, как Nvidia, указывают на то, что развитие в этой области будет явно приоритетных позициях, а ее влияние — значительно расширяться.
Доступность
В начале года компания уже обновила свою модель с версии 4 Turbo до Runway Gen-4.5, которая теперь умеет создавать видео из любого статичного изображения. Обе доступны по бесплатным кредитам (потребуется VPN-сервис). Однако использование Real-Time Video Model в виде GWM пока что недоступно в России.
Обновляются не только генеративные модели. В современном мире пытаются вовсю использовать возможности ИИ в техническом плане — нейронных процессорах. Знаменитая компания GoPro показала возможности нового процессора — GP3. И они впечатляют.
Были опубликованы две серии примеров кадров, сделанных на новые камеры GoPro с этим чипом, и они сильно отличаются друг от друга. Некоторые снимки, схожи с теми, что позволяют получать экшен-камеры: широкий угол, большая глубина резкости.
Но другие — явно сделаны на камеру иного рода. Источник сообщает, что GoPro готовится представить свою первую полноценную камеру для съемки видео. Все подробности собрали в этом материале.
