Qwen-Video-Edit : édition vidéo par instruction pour les latents Wan

Variantes

Sélectionnez une variante ci-dessus pour obtenir des téléchargements de poids sélectionnés, des tutoriels et des informations associées.

À propos de Qwen-Video-Edit

Qwen-Video-Edit emprunte une voie différente de celle des modèles d'édition pré-entraînés sur vidéo. Au lieu d'adapter un transformer de diffusion vidéo pour suivre des instructions d'édition, il apprend à un puissant éditeur d'images par instruction à éditer des latents vidéo : le DiT de Qwen-Image-Edit opère directement sur les latents vidéo-VAE de Wan 2.1, relié par une paire de projections d'entrée et de sortie légères, initialisées à partir des propres calques patchify et unpatchify de l'éditeur. À l'initialisation, une vidéo statique est encodée exactement comme une image que l'éditeur comprend déjà, de sorte que le fine-tuning n'a plus qu'à apprendre le décalage de distribution.

Trois choix de conception portent la méthode. Les frames latentes sont disposées en tuiles d'une seule grande image virtuelle, de sorte que l'encodage positionnel d'image de l'éditeur s'applique à chaque tuile sans modification. Une branche Qwen2.5-VL encode l'instruction ainsi qu'une grille d'aperçu des frames sources. Le VAE Wan 2.1 gelé gère l'encodage et le décodage aux deux extrémités, et une étape facultative d'amélioration du débruitage Wan 2.2 issue de Ditto nettoie les latents édités. Le rapport est signé Yunpeng Bai, Yossi Gandelsman, Michaël Gharbi et Qixing Huang ; le code, l'article et le checkpoint 360P sont sortis le 2026-08-14, suivis de la prise en charge ComfyUI et des checkpoints 480P et 720P le 2026-08-20.

Checkpoints

Les checkpoints fine-tunés sont publiés de 360P à 720P. Les noms de répertoires encodent le sous-ensemble d'entraînement Ditto-1M (global, local, sim2real) ainsi que la longueur de chunk prise en charge (45 ou 81 frames), et le checkpoint entraîné sur les sous-ensembles global et local en 360P est celui recommandé par défaut. En inférence, le nombre de frames et le budget maximal de pixels doivent correspondre au checkpoint, et chaque checkpoint utilise latent_mode wan_compressed avec pe_mode grid.

ComfyUI

Le référentiel fait aussi office de pack de nœuds personnalisés ComfyUI avec une sémantique mono-chunk : un appel d'échantillonneur édite une fenêtre de num_frames, et les vidéos longues sont éditées chunk par chunk. Trois nœuds sont enregistrés sous la catégorie QwenVideoEdit, et le pack dépend de ComfyUI-VideoHelperSuite pour le chargement et la combinaison des vidéos. Les poids de base Qwen-Image-Edit et Wan 2.1 sont récupérés automatiquement au premier lancement, soit environ 55 GB au total, et l'étape d'amélioration nécessite en plus Wan 2.2 T2V-A14B. Les checkpoints recommandés sont également mis en miroir sur ModelScope.