JoyAI-Video-Edit: JD 오픈소스의 실시간 비디오 편집 모델

**JD 오픈소스(JD Open Source)**가 개방형(open-ended) 비디오 스트림을 위한 실시간 명령 기반 비디오 편집 시스템 JoyAI-Video-Edit을 공개했습니다. 라이브 카메라 스트림이나 업로드된 비디오에 자연어 편집 명령을 주면, 전체 비디오를 기다리거나 사전 정의된 길이를 요구하거나 미래 프레임을 다시 참조하는 일 없이 프레임이 도착하는 대로 인과적으로 편집합니다. 배포 벤치마크에서 전체 엔드투엔드 pipeline은 720×1280에서 30.19 FPS를 달성하여, 비디오 편집을 오프라인 배치 처리에서 인터랙티브 스트리밍 생성으로 전환합니다.

사례 1: 공식 예제 세트의 편집 결과물

실시간 개방형 편집

이 시스템은 MLLM 기반 조건 인코더, 인과적 비디오 VAE, 16B 파라미터 멀티모달 diffusion 트랜스포머를 결합합니다. 오토리그레시브 diffusion 편집기로 학습 및 배포되며, 정렬된 오토리그레시브 분포 매칭 증류, 장기 최적화, 제한된 KV 상태 추론, 배포 지향 스케줄링을 통해 가속화되어, 학습-추론 불일치와 누적되는 시간적 드리프트를 줄이면서 고처리량 720p 편집을 유지합니다.

사례 2: 공식 예제 세트의 편집 결과물

작동 방식

JoyAI-Video-Edit는 비디오를 **인과적 스트림(causal stream)**으로 처리합니다. 각 프레임 청크는 과거 컨텍스트만 사용하여 인코딩 및 편집되므로, 비디오 길이와 관계없이 생성 지연 시간이 제한된 범위 내로 유지됩니다. 오토리그레시브 diffusion 설계는 긴 스트림에서도 일관성을 유지할 수 있게 하며, 제한된 KV 상태 추론은 배포 중 메모리와 청크별 연산량을 안정적으로 유지합니다. 증류(정렬된 오토리그레시브 분포 매칭)와 장기 최적화는 학습 시 동작과 추론 시 동작 간의 차이를 줄여, 여러 프레임을 편집하면서 일반적으로 누적되는 드리프트를 감소시킵니다.

사례 3: 공식 예제 세트의 편집 결과물

사용 가능 여부

JoyAI-Video-Edit는 아직 ComfyUI를 기본 지원하지 않으며, 공식 Python 배포 pipeline을 통해 실행됩니다. 프로젝트 저장소에서 전체 설정 방법을 제공합니다.

1. Python 3.10+ 환경에서 의존성을 설치하고 pip install -r requirements.txt를 실행합니다.
2. Hugging Face에서 공개된 가중치를 deploy/deps/checkpoints/JoyAI-Video-Edit/ 폴더에 다운로드합니다(DIT checkpoint와 VAE). MiMo-VL과 ONNX 디텍터 파일은 외부 런타임 의존성입니다. 자세한 내용은 DEPLOYMENT.md를 참조하세요.
3. cd deploy && bash run_server.sh를 실행하여 서버를 시작한 다음 http://localhost:8080에 접속합니다.

원격 머신에서는 서버를 0.0.0.0에 바인딩하고 선택된 포트를 개방하거나 SSH 포트 포워딩을 사용하세요. 커스텀 배포 시 deploy/run_server.sh를 편집하여 checkpoint 경로, CUDA 디바이스 배치, 호스트, 포트를 설정할 수 있습니다.

기술 보고서에서 아키텍처, 증류, 배포 기법에 대한 자세한 내용을 확인할 수 있습니다.