Open-H3-Regenerate-2K-IC: H3 Drafts to 2K That Keep Faces and Text

Open-H3-Regenerate-2K-IC es la segunda versión del refinador MiniMax H3 abierto de NVlabs. Hace la misma tarea que la versión de octubre: elevar un borrador de 1344x768 a 2K o 4K en tres pasos. El cambio está en el destino del borrador. La primera versión volvía a aplicar ruido al borrador y lo pulía, por lo que los rostros, las formas de la boca y las letras pequeñas se desplazaban. La versión IC mantiene el borrador limpio en el contexto del transformer Ref2VA y dibuja el clip de alta resolución a partir de ruido junto a él, de modo que la identidad, el lip sync, el texto de los carteles y la composición siguen al borrador.

Fotogramas del propio clip de comparación del proyecto. Fuente: página del proyecto

La salida IC de ese clip a 2560x1440, con el audio del borrador. Fuente: página del proyecto

Qué conserva

Frente a la API oficial de H3-Regenerate-2K, la comparación del aparcamiento del proyecto es el caso más claro: la API representa el cartel como marcas ilegibles, mientras que la versión IC todavía se lee "PRIVATE CAR PARK". Frente a la primera versión abierta, la salida IC añade menos textura nueva, pero deja los ojos, las arrugas y las formas de la boca donde el borrador los puso.

El LoRA IC se entrena sobre el transformer Ref2VA congelado, que ya lee los vídeos de referencia como tokens adicionales. Cada par de entrenamiento es un clip real de 768P a 4K; su copia reducida se sitúa delante como referencia limpia, mientras que al objetivo se le aplica ruido en cualquier punto entre ruido puro y limpio, y la pérdida recae solo en los tokens del objetivo.

Cómo funciona

Se le pasa el borrador de 768P como <Video 1> junto con el prompt que lo generó, sin cambios. Tres muestreadores, todos con CFG 1:

• up3 (predeterminado): el latente del borrador pasa por el upscaler de latente 3D-conv, recibe ruido hasta sigma 0.835 y se finaliza en tres llamadas al transformer.
• up4: mismo inicio escalado con sigma 0.923, cuatro llamadas.
• hf8: ruido puro y los ocho pasos de HyperFlow.

La salida es 1080p, 2K (2560x1440, predeterminado) o 4K (3840x2160); los borradores de 384P, 512P y 576P vuelven a 768P. El audio se copia del borrador sin cambios, un latente de audio silencioso se distribuye junto con los pesos, y el resultado 2K se decodifica mediante el VAE rápido de H3 mientras que el 4K usa el estándar.

En ComfyUI

No hay nodos oficiales, pero ya existen dos rutas de la comunidad:

• Kijai comprimió el LoRA FP32 de 8.3 GB a un archivo bf16 rank-21 de 200 MB que se carga como un LoRA normal en el modelo Ref2VA.
• ComfyUI-OpenH3Regenerate2KIC incluye cuatro nodos (Prepare Draft, Official Prompt, Sigma Grid, Compose Target Latent), el LoRA convertido de rango completo de 5.9 GB y tres flujos de trabajo: texto a borrador a 2K, imagen de referencia a borrador a 2K, y borrador a 2K.

Los pesos y el código de inferencia están en Hugging Face, con la CLI de referencia en NVlabs/Sana.