Конкуренция среди китайских нейросетей, предназначенных для работы с изображениями, усиливается. На сцену выходит шанхайский разработчик систем искусственного интеллекта — MiniMax. Компания имеет солидное финансирование и готова конкурировать с китайскими технологическими гигантами: ByteDance и Kuaishou. Она представила генератор видео H3, способный в качестве запросов обрабатывать текст, изображения, видео и аудио. Примеры изображений — в этой новости.
Нейронка H3 может генерировать видео продолжительностью до 15 секунд в разрешении 2K. Нейронка сама добавляет стереозвук в ролики. А что по качеству видео?
В приведенных примерах приводятся высокодетализированные короткие ролики без выраженного нейрослопа:
Компания также приводит пример сгенерированных открывающих титров. Они выглядят стильно и сделаны «под анимацию»:
А вот такой результат можно получить заставив нейросеть имитировать фэшн-съемку:
Но есть, впрочем, и кадры, гораздо более напоминающие нейрослоп, который сейчас заполонил соцсети:
Компания MiniMax заявляет, что нейронка HP3 поддерживает:
- Преобразование текста в изображение
- Преобразование текста в видео
- Встроенное многокадровое моделирование
- Преобразование текста в аудио
- Отсутствует разделение между голосом, звуковыми эффектами и музыкой — все моделируется совместно
- Перенос движения из одного видео в другое
- Редактирование изображения
- Редактирование видео
- Аудио-аудио эталонное редактирование и корректура
К нейросети можно подключить инструкции и справки в различных форматах.
«Мы видим, как создатели контента описывают свои намерения непосредственно на естественном языке, а не просто вводят визуальную подсказку. По мере совершенствования мультимодального понимания, следования инструкциям и выполнения сложных задач, видеомодели смогут лучше понимать творческие замыслы, обрабатывать более сложные контентные потребности и постепенно перейти от «создания клипа» к подлинному участию во всем процессе создания контента«, — заявила компания-разработчик.
Новая нейросеть H3 ориентирована на коммерческие направления: рекламу, дизайн, игры и электронная коммерция.
У нее есть конкурентное преимущество: себестоимость ее обслуживания, утверждает разработчик, втрое дешевле основных конкурирующих продуктов. MiniMax H3 может запускаться на нескольких китайских ИИ-ускорителях.
В ближайшие дни MiniMax намерена открыть веса модели, что позволит всем желающим скачивать её и проводить дополнительную настройку.
На официальном сайте компания раскрыла свои приоритеты для будущих версий нейросети H3. Планируется добиться гораздо лучшего понимания смысла промта, изображения и происходящих событий.
Этот подход позволит сделать генерации более логичными и последовательными.
Текущий размер нейросети H3 оставляет место для улучшения по ряду параметров. Масштабирование — очевидный путь вперед, и мы считаем, что более широкая обобщаемость задач позволит нам в полной мере раскрыть его потенциал.
В некоторых сценариях детализацию изображения еще можно улучшить. Мы продолжим стремиться к более высокому разрешению и большей визуальной точности.
Эта модель будет конкурировать на быстрорастущем рынке Китая, где сейчас лидируют ByteDance и Kuaishou.
Компания MiniMax основана в 2022 году. У нее имеется хорошее финансирование и она нацелена на конкуренцию с ведущими нейросетями в отрасли.
В январе MiniMax стала второй в группе вышедших на Гонконгскую биржу — первой была Z.ai. MiniMax также разрабатывает языковую модель размером 2.7 трлн параметров, утверждает источник Reuters.
Одна из продвинутый нейросетей для видео — Seedance 2.0 ранее сгенерировала видео драки Тома Круза и Бреда Питта. Видео мгновенно стало вирусным. В сети также распространились ролики с героями «Человека-паука», «Титаника», «Звёздных войн» и других популярных франшиз.
Ранние генераторы ИИ-видео часто выдавали ролики с артефактами, неестественным движением и ограниченным практическим применением. Seedance 2.0 работает на уровне передовых генераторов. Ее результат достаточно реалистичен, и успел стать вирусным, что и объясняет столь бурную реакцию индустрии.
