Black Forest Labs выпускает открытую версию FLUX.1 Krea [dev] с нативной поддержкой ComfyUI
31.07.2025
Kuaishou запускает технологию ReCamMaster для перекадрирования моноскопического видео
Kuaishou Technology недавно выпустила новую технологию обработки видео под названием ReCamMaster. Эта технология позволяет пользователям “переснимать” существующий видеоматериал, контролируя перспективу камеры и путь движения, генерируя полностью новые динамические перспективные эффекты без необходимости в дополнительном съемочном оборудовании или сложном постпродакшене.
Технические особенности
ReCamMaster позволяет пользователям:
- Пересоздавать видео с новыми траекториями камеры из одного видеоисточника
- Предоставлять различные предустановленные режимы движения камеры, включая панорамирование, наклон, масштабирование и дуговые движения
- Поддерживать согласованность содержания сцены и действий в видео
- Применяться в различных сценариях, таких как стабилизация видео, 4D реконструкция и увеличение данных
Сценарии применения
Согласно странице проекта, ReCamMaster может применяться в нескольких областях:
- Стабилизация видео: Способна конвертировать дрожащие кадры, снятые с рук, в плавные и стабильные визуальные эффекты
- Автономное вождение: Предоставление увеличения данных для систем автономного вождения, создание данных наблюдения с нескольких углов
- Роботизированное зрение: Предоставление данных наблюдения с нескольких углов для ИИ-роботов
- Создание видео: Предоставление создателям новых инструментов редактирования и создания видео
Технические принципы
ReCamMaster основан на предварительно обученной диффузионной модели текст-в-видео. Разработав сложный механизм кондиционирования видео, она может генерировать видео в соответствии с указанными пользователем новыми траекториями камеры, сохраняя при этом оригинальное содержание видео. Техническая команда также использовала Unreal Engine 5 для построения крупномасштабного набора данных синхронизированного видео с несколькими камерами для обучения, позволяя модели лучше адаптироваться к характеристикам реальной съемки.
Пользовательский опыт
Kuaishou Technology приглашает пользователей испытать технологию ReCamMaster. Пользователи могут загружать свои видео и выбирать из следующих десяти базовых траекторий камеры:
- Панорамирование вправо
- Панорамирование влево
- Наклон вверх
- Наклон вниз
- Масштабирование внутрь (толчок)
- Масштабирование наружу (тяга)
- Движение вверх (с вращением)
- Движение вниз (с вращением)
- Дуга влево (с вращением)
- Дуга вправо (с вращением)
Связанные ссылки
Эта технология похожа на недавно популярные технологии генерации и редактирования видео, такие как TrajectoryCrafter, но основываясь на демонстрационных результатах, ReCamMaster, похоже, предоставляет более высококачественные результаты. В настоящее время эта технология не полностью открыта, но команда предлагает пробные каналы.