Runway представила новую ИИ-модель Runway Gen-4.5, которая умеет создавать видео из любого статичного изображения. Это может быть фотография или же рисунок, а также скетч или даже цифровая иллюстрация. Но остались ли вопросы по качеству?
Заявленные возможности Runway Gen-4.5
По представленным изображениям видно, что огрехи нейросеть все еще имеет. Особенно в области генерации пальцев и кистей рук.
Обновленная модель умеет:
- Анимировать персонажей, делая их реалистичными и последовательными в движении
- Создавать масштабные общие планы и динамичные сцены погони
- Генерировать сложные визуальные эффекты, как в большом кино, диалоги
- Делать рекламные ролики и презентационные видео для продуктов
По данным разработчиков, Runway Gen-4.5 демонстрирует серьезный прогресс в эффективности обучения и методах постобработки.
Модель стремится задать новые стандарты в плане динамики, контроля над действиями, плавности видео и управляемости в разных режимах. А вся разработка, обучение и работа модели построены на графических процессорах Nvidia (Hopper и Blackwell).
Сейчас, согласно рейтингу Artificial Analysis Text to Video, Gen-4.5 занимает первое место среди моделей для генерации видео по текстовому описанию.
Достаточно громогласное заявление. Интересен критерий оценки — допустим, точность соответствия описанию, реализм или же лучшая творческая реализация?
Однако как и у других подобных моделей, у Gen-4.5 имеются определенные ограничения и характерные недостатки:
- Нарушение логики причинности: иногда следствие опережает причину (например, дверь открывается до того, как нажата ручка).
- Проблемы с постоянством объектов: предметы могут неожиданно исчезать или появляться в кадре (например, чашка пропадает, если её чем-то заслонили).
- Смещение в сторону успеха: действия часто завершаются успешно, даже если это выглядит неестественно (например, плохо нацеленный удар всё равно забивает гол).
Доступность Runway Gen-4.5
Runway доступна в России (используя впн-сервисы), поначалу пользователю дается 125 кредитов. Для генерации видео сначала просит обновиться на оплачиваемый план, доступна только одна бесплатная модель, однако это версия Gen-4 Turbo.
Также указано какое время каждой видео-генерации дают кредиты. Помимо прочих функций доступен апскейл видео до 4K (за 10 кредитов).
Что по итогу?
Два года назад Runway выпустила Gen-1 — одну из первых публично доступных моделей для генерации видео. С тех пор компания остаётся одним из лидеров в развитии этой технологии, постоянно улучшая мощность и управляемость своих моделей. Gen-4.5 — следующий шаг в этом направлении.
Интересно наблюдать конкуренцию между моделями генеративного ИИ в сфере видео-производства. Стоит отметить недавнее обновление более специализированной Veo 3.1, которая теперь также получила схожие функции. Google представила крупное обновление своей флагманской генеративной модели для создания видео — Google Veo 3.1.
Теперь можно создавать ролики не только по текстовым описаниям, но и с помощью картинок-референсов, генерируя из них динамичные сцены. Кроме того, появилась функция повышения разрешения до 4K. Главными конкурентами остаются Open AI Sora 2 и KlingAI.
