LanPaint 2.0.0: Relleno inteligente de vídeo y audio con MiniMax H3

LanPaint publicó la versión 2.0.0 el 9 de agosto, añadiendo un pipeline dedicado de relleno inteligente de vídeo y audio con MiniMax H3. LanPaint es la implementación para ComfyUI del muestreador de relleno inteligente sin entrenamiento del artículo de TMLR LanPaint: Training-Free Diffusion Inpainting with Asymptotically Exact and Fast Conditional Sampling, y esta versión principal te permite reparar el vídeo H3 y su flujo de audio conjunto en una sola pasada.

Cómo funciona el pipeline de AV

El nuevo pipeline pinta máscaras de vídeo e intervalos de audio en una sola sesión de edición, codifica ambos flujos en un único latente anidado y ejecuta una sola pasada del muestreador:

1. LanPaint_VideoMaskEditor: selecciona el vídeo, pinta máscaras por fotograma en los fotogramas clave (interpoladas con SDF entre ellos) y arrastra intervalos de audio sobre la forma de onda. Máscara = 1 regenera, 0 conserva.
2. LanPaint_AVEncode: codifica los fotogramas de vídeo y la pista de audio en un único latente anidado con las máscaras adjuntas.
3. Sampler: ejecútalo como siempre; el flujo de audio elimina el ruido con su propia programación de sigma desplazada.
4. LanPaint_AVDecode: fusiona el vídeo rellenado con el original en un borde fundido mediante máscara y el audio rellenado dentro de los intervalos enmascarados con un breve fundido cruzado, conservando los fps y la profundidad de bits de la fuente.

También puedes exportar las máscaras dentro del propio vídeo: el botón Export mask video del editor remuxea una copia <name>_masked.mp4 con las máscaras incrustadas en los metadatos del archivo, de modo que un clip enmascarado pueda reabrirse más tarde o compartirse sin perder la pintura.

Cómo usarlo en ComfyUI

Instala LanPaint como un nodo personalizado normal (ComfyUI Manager o git clone https://github.com/scraed/LanPaint en ComfyUI/custom_nodes/); a continuación, descarga los archivos del modelo MiniMax H3 y carga el ejemplo oficial de relleno inteligente de AV:

Descargar el flujo de trabajo de relleno inteligente de AV MiniMax H3 de LanPaint

El flujo de trabajo utiliza el nodo LanPaint Sampler Custom (Advanced). Como referencia, la tabla de recursos del README indica aproximadamente 38–43 GB de VRAM para el relleno inteligente de 40–81 fotogramas a 480p–880p con 20 pasos, así que una tarjeta de 24 GB maneja clips más cortos, mientras que los equipos con mucha VRAM pueden procesar secuencias más largas.

Disponibilidad

LanPaint 2.0.0 es una extensión gratuita y de código abierto para ComfyUI (GitHub, ComfyUI Registry). La actualización también incluye correcciones de compatibilidad con la última versión de ComfyUI. Además de MiniMax H3, el muestreador sigue siendo compatible con los flujos de trabajo de relleno inteligente de SDXL, Flux, Hunyuan, Qwen-Image, Krea 2, Z-Image, Ideogram 4 y Wan 2.2.