MiniMax H3 RefMods: Adaptadores de referencia sin entrenamiento

Un proyecto de la comunidad llamado RefMods (Reference Latent Adapters) aporta una nueva forma de mantener la coherencia de los personajes en los vídeos de MiniMax H3: en lugar de proporcionar una imagen o un vídeo de referencia en cada generación, codificas la referencia una sola vez en un pequeño archivo .safetensors (de aproximadamente 1 MB a 1.6 MB) y lo cargas como un LoRA siempre que lo necesites. El proyecto proviene del usuario de Reddit malcolmrey, que publicó la biblioteca completa de pesos de RefMods en Hugging Face junto con una guía de instalación y uso.

El lado de ComfyUI lo gestiona el paquete de nodos de código abierto ComfyUI-MiniMaxH3Mod (MIT, 99 estrellas), que extrae, carga y aplica los RefMods a través de la vía de acondicionamiento.

Qué son realmente los RefMods

Los RefMods son adaptadores de nivel de acondicionamiento precodificados: una imagen, un vídeo o un GIF de referencia se codifica una vez con VAE, se destila hasta su información de identidad y se guarda como archivo independiente. En el momento de la generación, el adaptador se inyecta directamente en el flujo de acondicionamiento de H3, por lo que:

No hay codificación VAE en vivo de la referencia en cada ejecución.
No hay etiquetas de imagen posicionales como <Picture 1> en los prompts.
No hay "fugas" del aspecto de la referencia hacia partes no relacionadas de la escena.
No hay bucle de entrenamiento: la extracción se realiza en una sola pasada, a diferencia del entrenamiento de LoRA.

El paquete de nodos: extraer, cargar y aplicar

ComfyUI-MiniMaxH3Mod incluye cinco nodos (v0.1.0):

Nodo	Función
Extract H3 RefMod	Convierte una imagen, vídeo o GIF en un único mod `.safetensors`, con modos `training` (miniaturas agrupadas de concepto/identidad) y `encode` (VAE a resolución completa).
Load H3 RefMods	Filas de cargador de estilo LoRA, hasta 8 ranuras, cada una con una intensidad y un multiplicador de repetición de tokens `copies`.
Load H3 RefMod Axis	Deslizador A/B con signo: los valores negativos seleccionan el mod A y los positivos, el mod B.
Load H3 RefMod Folder	Cada imagen o vídeo de una carpeta como lista de referencias ordenada.
Apply H3 RefMod	Inyecta los mods en el acondicionamiento, con controles de retención y de curva por paso.

Un nodo adicional, H3 RefMod Step Curve, controla en qué momento del denoising la referencia es más intensa, con direcciones de curva como concept_at_start, concept_at_middle y concept_at_ends, además de un scramble_seed con semilla que rota los mods de referencia múltiple entre ejecuciones.

Integración en un flujo de trabajo H3

Los dos nodos de RefMod se sitúan entre el cargador de acondicionamiento y la etapa de guía o de contexto de movimiento:

[ MiniMaxH3ImageToVideo / ReferenceToVideo ] (conditioning out)
                    |
                    v
          [ MiniMaxH3RefModApply ] <--- [ MiniMaxH3RefModsLoader ]
                    | (conditioning out)
                    v
     [ BasicGuider ] / [ MiniMaxH3MotionContext ]

Los prompts usan etiquetas de sujeto comunes (<Subject 1>, <Subject 2>) con descripciones biométricas; para escenas con varios personajes, asignas un mod por ranura del cargador y el adaptador asocia cada identidad sin colisiones de tokens.

Salidas de ejemplo

RefMod de Adam Driver	RefMod de Adele

La biblioteca de pesos

La biblioteca de Hugging Face aloja actualmente cientos de RefMods listos para usar, de aproximadamente 1.1 MB a 1.6 MB por archivo, que abarcan figuras públicas, personajes ficticios y adaptadores de anatomía o concepto, todos bajo Apache-2.0. Los archivos se colocan en ComfyUI/models/refmods/, donde el nodo cargador rellena automáticamente sus menús desplegables. El proyecto también incluye una biblioteca de vídeos de ejemplo y una colección de flujos de trabajo que cubren los pipelines T2V, I2V, R2V y C2V.

Disponibilidad

Paquete de nodos: Luisacaotica/ComfyUI-MiniMaxH3Mod en GitHub (MIT)
Pesos: malcolmrey/minimaxh3 en Hugging Face (Apache-2.0)
Guía: Guía de instalación y uso de RefMods