FastH3 Omni: vídeo de referencia H3 en 8 pasos con audio sincronizado

FastH3 Omni es la variante de MiniMax H3 condicionada por referencias de FastVideo: un prompt más referencias ordenadas de imagen, vídeo y audio se convierten en un solo clip con sonido sincronizado, producido en ocho evaluaciones del transformer en lugar de las 50 de H3 base. El equipo de Hao AI Lab publicó los pesos y el artículo de lanzamiento el 20 de octubre, con conversiones de archivo único listas para ComfyUI en la misma colección.

El modelo acepta hasta nueve imágenes, tres clips de vídeo y tres clips de audio, doce referencias en total, y necesita al menos una imagen o un vídeo. La salida es vídeo con audio estéreo de 32 kHz a 24 FPS en longitudes de 124, 243 o 362 fotogramas, es decir, 5, 10 o 15 segundos.

Un fotograma del vídeo de lanzamiento, que el equipo generó con FastH3 Omni en FastVideo.

Referencias por posición

El prompt se dirige a las entradas por posición, no por nombre de archivo: <Picture 1>, <Video 1> y <Audio 1>, con una numeración que reinicia por tipo. La banda sonora propia de un vídeo de referencia se etiqueta como referencia de audio justo antes de su etiqueta de vídeo, y el audio independiente va al final. Como las referencias atraviesan cada paso de muestreo, el equipo ofrece una opción de tamaño en ComfyUI: match escala cada referencia hasta el área en píxeles de la generación, mientras que max mantiene un borde corto de 2048 px para la fidelidad de identidad a varias veces el coste.

Una solicitud de 5 segundos con una referencia de imagen y una referencia de voz. El diálogo usa el timbre de la referencia de audio y el audio se genera con el vídeo, no se añade después.

Ocho evaluaciones en lugar de cincuenta

FastH3 Omni es un estudiante destilado de H3 base, y el lanzamiento conserva el codificador de texto, el VAE de vídeo y el VAE de audio de H3 base; solo cambia el transformer de difusión. El muestreo se ejecuta con orientación 1.0, un desplazamiento de vídeo de 12.0 y un desplazamiento de audio de 3.0, el mismo contrato con el que se distribuye la plantilla de ComfyUI.

En 27 cargas de trabajo emparejadas en ocho GPU GB200, el equipo reporta una latencia de extremo a extremo entre 5.6 y 11.9 veces menor que H3 base, comparando recetas de servicio completas. Una selección de la tabla publicada, donde cada valor es la media de tres semillas:

El equipo también afirma que, en determinadas tareas de FastH3 Omni, su stack UniServe alcanza la generación en tiempo real a 768p para clips de 5, 10 y 15 segundos. Los clips publicados son comparaciones cualitativas emparejadas, no evidencia de paridad de salida con H3 base.

El mismo prompt, referencia, semilla y número de GPU para la carga de trabajo de 1 imagen y 5 segundos.

Una imagen, un vídeo y una referencia de voz en una sola solicitud de 10 segundos: 172.37 s en H3 base, 19.75 s en FastH3 Omni.

Nueve referencias de imagen, solicitud de 5 segundos.

Ejecutarlo en ComfyUI

El repositorio de ComfyUI contiene conversiones de archivo único, así que no se necesita ningún paquete de nodos personalizado. Coloca un modelo de difusión, un codificador de texto, el VAE de vídeo y el VAE de audio:

La plantilla es video_fasth3_ominiref_r2v, añadida a workflow_templates el 20 de octubre. Utiliza el nodo de acondicionamiento central MiniMax H3 Referencia a Video con entradas de crecimiento automático para hasta nueve imágenes, tres vídeos y tres audios independientes, además de las bandas sonoras de vídeo emparejadas, y ejecuta 8 pasos, orientación 1.0, MiniMaxH3SigmaShift en 12 para vídeo y 3 para audio a 1344x768 y 124 fotogramas por defecto.

Descargar el flujo de trabajo de referencia a vídeo de FastH3 Omni

La tarjeta del modelo señala que ComfyUI usa su propio diseño de modelo, muestreador y kernels de tiempo de ejecución, por lo que los resultados pueden diferir de la salida de FastVideo y UniServe.

Perfiles locales y de servidor

• Servidor: checkpoint BF16 en GB200, B200, RTX PRO 6000 Blackwell y Hopper mediante UniServe, usando sus configuraciones condicionadas por referencias.
• DGX Spark y RTX 5090: la compilación NVFP4 QAD, entrenada para la ejecución NVFP4 en Blackwell, con recetas de dispositivo del cookbook de FastVideo.
• RTX 4090: la compilación FP8 con offload por capas, ya que Ada no tiene hardware FP4.
• Decodificador: decodificadores VAE NVFP4 opcionales en niveles de calidad de 36 capas y rápidos de 8 capas.

ComfyUI también recibe una conversión FP8 (23.1 GB) y una conversión NVFP4 QAD (13.8 GB) como repositorios separados. El equipo dice que el 21 de octubre seguirá un artículo y un lanzamiento sobre IA local.

En la línea FastH3

H3 base ejecuta 50 pasos del transformer para vídeo con audio, lo que supone minutos por clip en una sola GPU. FastH3 V2 lo destiló a ocho pasos, Trim eliminó 8 de los 50 bloques para llegar a tarjetas de 8 GB, y Omni añade la ruta de referencias: imágenes, clips y voz además del prompt, con el mismo presupuesto de ocho pasos. FastH3 Omni se entrenó posteriormente con Nuva Lab y Reactor como socios de lanzamiento en vista previa, y el lanzamiento acredita al equipo FastGen de NVIDIA.