TaoMate-H3-FL2VA: LoRA streaming de primer y último fotograma

El equipo TaoLive AIGC de Alibaba lanzó TaoMate-H3-FL2VA el 15 de octubre, un LoRA de 3 pasos que añade control de primer y último fotograma al runtime de streaming TaoMate-H3 para MiniMax H3 (pesos | código). El equipo afirma que es "a nuestro entender, el primer modelo de primer y último fotograma a audio-vídeo (FL2VA) en streaming en tiempo real": la generación sigue siendo por bloques y sigue manteniendo una caché KV de audio-vídeo persistente, pero ahora el clip tiene que terminar en un último fotograma elegido además de comenzar desde un primer fotograma elegido.

Vista previa oficial del ejemplo FL2VA seated_001: un clip de streaming de 30 segundos generado a partir de un primer y un último fotograma clave.

La entrega anterior de T2AV generaba únicamente a partir de prompts. FL2VA añade un plazo global de punto final al mismo runtime, de modo que los bloques de eliminación de ruido de tres pasos tienen que alcanzar el fotograma clave final mientras el habla, los efectos de sonido y el vídeo se mantienen en una misma línea de tiempo sincronizada.

Comparativa oficial de 30 segundos para seated_001: 770 fotogramas generados en tres solicitudes de streaming continuas.

Qué se lanzó

• Adaptador LoRA FL2VA en TaoLiveAIGC/TaoMate-H3-FL2VA: rank 128, alfa 128, pesos del generador online del paso 300 mantenidos en float32. El adaptador incluye la misma estructura de tres archivos que la entrega de T2AV (config.json, adapter_config.json, adapter_model.safetensors), con el estado del optimizador, EMA y los modelos de puntuación solo de entrenamiento excluidos. El adaptador T2AV era el checkpoint EMA del generador del paso 3000.
• Un subproyecto dedicado de inferencia FL2VA en src/taomate-fl2av del repositorio TaoMate-H3, con un ejemplo completado, seated_001 (una presentación con el presentador sentado en el salón de una casa familiar).

Los tres modos funcionan a 24 fps y 768x1376 con eliminación de ruido de tres pasos, una ventana AV-KV limpia de los siete fotogramas más recientes y decodificación completa del clip en una sola pasada. La ejecución documentada de 30 segundos utiliza el LoRA del generador online del paso 300, un bloque final de 85 fotogramas y un maestro Base10 congelado para el audio.

El caso de ejemplo incluye sus dos fotogramas clave, por lo que las entradas de acondicionamiento forman parte de la ejecución medida en lugar de describirse solo en el README:

Ejecutarlo en ComfyUI

La ruta FL2VA ya existe en el núcleo de ComfyUI. El nodo MiniMax H3 Imagen a Video acepta entradas opcionales first_frame y last_frame junto con el prompt, el ancho, el alto y la longitud de fotogramas, y devuelve el acondicionamiento positivo más un latente de audio-vídeo; admite tanto el acondicionamiento t2va como el fl2va. No se necesita ningún runtime de streaming, lanzador con paralelismo de etapas ni configuración multi-GPU para usar el adaptador en la generación local. El propio adaptador tiene que estar en el formato de claves de ComfyUI, y las conversiones de la comunidad aparecieron pocas horas después del lanzamiento:

• El repositorio MiniMax-H3-experimental de Kijai incluye minimax_h3_taomate_fl2va_3step_avg_rank_19_bf16.safetensors (unos 176 MB), una compilación con rank promediado colocada junto a los demás LoRA de experimentos de MiniMax H3.
• austinit/TaoMate-H3-FL2VA-ComfyUI publica tanto una compilación BF16 de rank 128 completa (1.24 GB) como una compilación BF16 de rank promedio 19 (169 MB). El autor de la subida recomienda empezar con 3 pasos, CFG 1.0, fuerza de LoRA 1.0 y el muestreador Euler, y reporta que la compilación más pequeña funciona con normalidad en las pruebas.
• Robert1212star/TaoMate-H3-3Step-ComfyUI, el repositorio que ya alojaba la conversión de T2AV, añadió los pesos de FL2VA en BF16 (unos 1.24 GB) el mismo día.

Respuesta de la comunidad

Los comentarios en r/StableDiffusion se apoyan en la familia TaoMate de 3 pasos como acelerador cotidiano de MiniMax H3: un comentarista lo llama el LoRA de referencia para el "99% de las generaciones", y otro reporta un movimiento más natural tras bajar la fuerza del LoRA a 0.6 y cambiar al muestreador Beta con er_sde. Otros prefieren el adaptador T2AV anterior cuando lo usan como pasada de refinado. Los movimientos rápidos y amplios siguen siendo el punto débil conocido de la familia: los comentaristas reportan que los bailes y las tomas de acción intensa se degradan, lo que también coincide con el artículo de T2AV. Un probador señaló que la tarjeta del adaptador FL2VA indica optimizer_step: 300, frente al paso 3000 de la entrega de T2AV, por lo que el nuevo adaptador es una ejecución más corta en lugar de más larga.

Disponibilidad

El runtime oficial es solo para Linux y está destinado a las GPU NVIDIA Hopper (SM90); el repositorio documenta el ejemplo FL2VA como una ejecución de nodo único con TP2 y SP4 de paralelismo de secuencia en ocho GPU, y la inferencia de nodo único para configuraciones de 4 y 8 GPU. Los usuarios de ComfyUI solo necesitan el modelo base MiniMax H3 más una de las conversiones de LoRA anteriores. Los pesos de referencia a audio-vídeo (Ref2AV) para la misma familia siguen figurando como pendientes.