Kuaishou запускает технологию ReCamMaster для перекадрирования моноскопического видео
Kuaishou Technology недавно выпустила новую технологию обработки видео под названием ReCamMaster. Эта технология позволяет пользователям “переснимать” существующий видеоматериал, контролируя перспективу камеры и путь движения, генерируя полностью новые динамические перспективные эффекты без необходимости в дополнительном съемочном оборудовании или сложном постпродакшене.
Технические особенности
ReCamMaster позволяет пользователям:
- Пересоздавать видео с новыми траекториями камеры из одного видеоисточника
- Предоставлять различные предустановленные режимы движения камеры, включая панорамирование, наклон, масштабирование и дуговые движения
- Поддерживать согласованность содержания сцены и действий в видео
- Применяться в различных сценариях, таких как стабилизация видео, 4D реконструкция и увеличение данных
Сценарии применения
Согласно странице проекта, ReCamMaster может применяться в нескольких областях:
- Стабилизация видео: Способна конвертировать дрожащие кадры, снятые с рук, в плавные и стабильные визуальные эффекты
- Автономное вождение: Предоставление увеличения данных для систем автономного вождения, создание данных наблюдения с нескольких углов
- Роботизированное зрение: Предоставление данных наблюдения с нескольких углов для ИИ-роботов
- Создание видео: Предоставление создателям новых инструментов редактирования и создания видео
Технические принципы
ReCamMaster основан на предварительно обученной диффузионной модели текст-в-видео. Разработав сложный механизм кондиционирования видео, она может генерировать видео в соответствии с указанными пользователем новыми траекториями камеры, сохраняя при этом оригинальное содержание видео. Техническая команда также использовала Unreal Engine 5 для построения крупномасштабного набора данных синхронизированного видео с несколькими камерами для обучения, позволяя модели лучше адаптироваться к характеристикам реальной съемки.
Пользовательский опыт
Kuaishou Technology приглашает пользователей испытать технологию ReCamMaster. Пользователи могут загружать свои видео и выбирать из следующих десяти базовых траекторий камеры:
- Панорамирование вправо
- Панорамирование влево
- Наклон вверх
- Наклон вниз
- Масштабирование внутрь (толчок)
- Масштабирование наружу (тяга)
- Движение вверх (с вращением)
- Движение вниз (с вращением)
- Дуга влево (с вращением)
- Дуга вправо (с вращением)
Связанные ссылки
Эта технология похожа на недавно популярные технологии генерации и редактирования видео, такие как TrajectoryCrafter, но основываясь на демонстрационных результатах, ReCamMaster, похоже, предоставляет более высококачественные результаты. В настоящее время эта технология не полностью открыта, но команда предлагает пробные каналы.