LanPaint 2.0.0 : inpainting vidéo et audio MiniMax H3

LanPaint a publié la version 2.0.0 le 9 août, ajoutant un pipeline dédié à l'inpainting vidéo et audio MiniMax H3. LanPaint est l'implémentation ComfyUI de l'échantillonneur d'inpainting sans entraînement issu de l'article TMLR LanPaint: Training-Free Diffusion Inpainting with Asymptotically Exact and Fast Conditional Sampling, et cette version majeure vous permet de réparer la vidéo H3 et son flux audio associé en une seule passe.

Comment fonctionne le pipeline AV

Le nouveau pipeline peint les masques vidéo et les intervalles audio en une seule session d'éditeur, encode les deux flux dans un seul latent imbriqué, puis exécute une seule passe de l'échantillonneur :

1. LanPaint_VideoMaskEditor : sélectionnez la vidéo, peignez des masques image par image sur les images clés (interpolés par SDF entre celles-ci) et faites glisser les intervalles audio sur la forme d'onde. Masque = 1 régénère, 0 conserve.
2. LanPaint_AVEncode : encode les images vidéo et la piste audio dans un seul latent imbriqué avec les masques attachés.
3. Échantillonneur : exécutez comme d'habitude ; le flux audio est débruité selon sa propre planification de sigmas décalée.
4. LanPaint_AVDecode : fusionne la vidéo inpaintée avec l'originale selon une limite mélangée par le masque, et l'audio inpainté à l'intérieur des intervalles masqués avec un court fondu enchaîné, en préservant la fréquence d'images et la profondeur de bits de la source.

Vous pouvez aussi exporter les masques directement dans la vidéo : le bouton Export mask video de l'éditeur remuxe une copie <name>_masked.mp4 avec les masques intégrés dans les métadonnées du fichier, de sorte qu'un clip masqué puisse être réouvert plus tard ou partagé sans perdre la peinture.

Comment l'utiliser dans ComfyUI

Installez LanPaint comme un nœud personnalisé classique (via ComfyUI Manager ou git clone https://github.com/scraed/LanPaint dans ComfyUI/custom_nodes/), puis téléchargez les fichiers du modèle MiniMax H3 et chargez l'exemple officiel d'inpainting AV :

Télécharger le flux de travail d'inpainting AV MiniMax H3 de LanPaint

Le flux de travail utilise le nœud LanPaint Sampler Custom (Advanced). Pour référence, le tableau des ressources du README indique environ 38 à 43 Go de VRAM pour un inpainting de 40 à 81 images en 480p à 880p avec 20 étapes : une carte de 24 Go gère donc les clips plus courts, tandis que les configurations à haute VRAM peuvent aller plus loin.

Disponibilité

LanPaint 2.0.0 est une extension ComfyUI gratuite et open source (GitHub, Registre ComfyUI). Cette mise à jour inclut également des correctifs de compatibilité avec la dernière version de ComfyUI. Outre MiniMax H3, l'échantillonneur continue de prendre en charge les flux de travail d'inpainting SDXL, Flux, Hunyuan, Qwen-Image, Krea 2, Z-Image, Ideogram 4 et Wan 2.2.