Qwen-Video-Edit: редактирование видео по инструкциям для латентов Wan

Варианты

Выберите вариант выше, чтобы получить подборку загрузок весов, учебники и связанную информацию.

О программе Qwen-Video-Edit

Qwen-Video-Edit идёт иным путём, чем модели редактирования, предварительно обученные на видео. Вместо адаптации видео-диффузионного трансформера к следованию инструкциям по редактированию он учит сильный редактор изображений, работающий по инструкциям, редактировать латентные представления видео: DiT модели Qwen-Image-Edit работает напрямую с латентами video-VAE Wan 2.1, а связующим звеном служит пара лёгких входных и выходных проекций, инициализированных слоями patchify и unpatchify самого редактора. При инициализации статичное видео встраивается точно так же, как изображение, которое редактор уже понимает, поэтому дообучению остаётся выучить лишь сдвиг распределения.

Метод держится на трёх проектных решениях. Латентные кадры раскладываются как тайлы одного виртуального большого изображения, поэтому позиционное кодирование изображения редактора применяется к каждому тайлу без изменений. Ветвь Qwen2.5-VL кодирует инструкцию вместе с сеткой предпросмотра исходных кадров. Замороженный VAE Wan 2.1 выполняет кодирование и декодирование на обоих концах, а необязательный этап шумоподавляющего улучшения Wan 2.2, взятый из Ditto, очищает отредактированные латентные представления. Отчёт подготовили Yunpeng Bai, Yossi Gandelsman, Michaël Gharbi и Qixing Huang; код, статья и чекпойнт 360P появились 2026-08-14, а поддержка ComfyUI и чекпойнты 480P и 720P последовали 2026-08-20.

Чекпойнты

Дообученные чекпойнты публикуются в диапазоне от 360P до 720P. Имена каталогов кодируют подмножество обучающих данных Ditto-1M (global, local, sim2real) и поддерживаемую длину чанка (45 или 81 кадр), а чекпойнт, обученный на подмножествах global и local при 360P, рекомендуется как вариант по умолчанию. При выводе число кадров и максимальный бюджет пикселей должны соответствовать чекпойнту, и каждый чекпойнт использует latent_mode wan_compressed с pe_mode grid.

ComfyUI

Репозиторий также представляет собой пакет пользовательских нод ComfyUI с семантикой одного чанка: один вызов сэмплера редактирует одно окно num_frames, а длинные видео редактируются чанк за чанком. Три ноды регистрируются в категории QwenVideoEdit, а пакет зависит от ComfyUI-VideoHelperSuite для загрузки и объединения видео. Базовые веса Qwen-Image-Edit и Wan 2.1 автоматически скачиваются при первом запуске, всего примерно 55 ГБ, а для этапа улучшения дополнительно нужен Wan 2.2 T2V-A14B. Рекомендуемые чекпойнты также зеркалированы на ModelScope.