Qwen-Video-Edit: Wan 잠재 데이터를 위한 지시 기반 비디오 편집

변형

위에서 변형을 선택하면 엄선된 가중치 다운로드, 튜토리얼 및 관련 정보를 확인할 수 있습니다.

Qwen-Video-Edit 정보

Qwen-Video-Edit은 비디오로 사전 학습된 편집 모델과는 다른 경로를 택합니다. 비디오 diffusion transformer를 편집 지시에 따르도록 적응시키는 대신, 강력한 지시 기반 이미지 편집기가 비디오 잠재 데이터를 편집하도록 가르칩니다. Qwen-Image-Edit의 DiT가 Wan 2.1 비디오 VAE 잠재 데이터를 직접 처리하며, 편집기 자체의 patchify 및 unpatchify 레이어에서 웜 스타트된 한 쌍의 경량 입력 및 출력 프로젝션으로 연결됩니다. 초기화 시점에 정적 비디오는 편집기가 이미 이해하고 있는 이미지와 똑같이 임베딩되므로, 파인튜닝은 분포 변화만 학습하면 됩니다.

세 가지 설계 선택이 이 방법을 뒷받침합니다. 잠재 프레임은 하나의 가상 대형 이미지 타일로 배열되므로, 편집기의 이미지 위치 인코딩이 모든 타일에 그대로 적용됩니다. Qwen2.5-VL 브랜치가 지시문과 소스 프레임의 미리보기 그리드를 함께 인코딩합니다. 동결된 Wan 2.1 VAE가 양쪽 끝에서 인코딩과 디코딩을 담당하고, Ditto에서 가져온 선택적 Wan 2.2 디노이징 강화 단계가 편집된 잠재 데이터를 정리합니다. 이 보고서는 Yunpeng Bai, Yossi Gandelsman, Michaël Gharbi, Qixing Huang이 작성했으며, 코드와 논문, 360P 체크포인트는 2026-08-14에 공개되었고, ComfyUI 지원과 480P, 720P 체크포인트는 2026-08-20에 이어졌습니다.

체크포인트

파인튜닝된 체크포인트는 360P부터 720P까지 공개되어 있습니다. 디렉터리 이름에는 Ditto-1M 학습 서브셋(global, local, sim2real)과 지원되는 청크 길이(45 또는 81 프레임)가 담겨 있으며, 360P에서 global 및 local 서브셋으로 학습된 체크포인트가 권장 기본값입니다. 추론 시 프레임 수와 최대 픽셀 예산이 체크포인트와 일치해야 하며, 모든 체크포인트는 latent_mode wan_compressed와 pe_mode grid를 사용합니다.

ComfyUI

이 저장소는 단일 청크 의미론을 갖춘 ComfyUI 커스텀 노드 팩 역할도 합니다. 샘플러 호출 한 번이 하나의 num_frames 창을 편집하며, 긴 비디오는 청크 단위로 편집됩니다. QwenVideoEdit 카테고리 아래에 세 개의 노드가 등록되어 있고, 이 팩은 비디오 로딩과 결합을 위해 ComfyUI-VideoHelperSuite에 의존합니다. 기본 Qwen-Image-Edit 및 Wan 2.1 가중치는 첫 실행 시 자동으로 가져오며 총 약 55 GB이고, 강화 단계에는 추가로 Wan 2.2 T2V-A14B가 필요합니다. 권장 체크포인트는 ModelScope에도 미러링되어 있습니다.