MiniMax H3 ORB360: órbita de cámara 360 y LoRAs CardSpin
Los LoRAs ORB360 de MATLOW añaden a MiniMax H3 Ref2VA una órbita de cámara de 360 grados sobre un sujeto congelado, más una variante CardSpin que gira la foto en el espacio.
ORB360_CW hace que la cámara dé una vuelta completa en sentido horario alrededor de un sujeto que permanece congelado en su sitio, y los archivos CardSpin giran la propia foto de referencia en el espacio como si fuera una tarjeta física delgada. Los primeros archivos aparecieron el 28 de septiembre, y el 30 de septiembre llegaron una órbita step-1500 de mayor resolución y una segunda pasada de CardSpin.
Una vuelta completa alrededor de un gato en una escena nevada, generada a partir de una sola foto de referencia. Fuente: MiniMax-H3-ORB360-CardSpin.
Qué hacen los LoRAs
MiniMax H3 de referencia a vídeo trata sus imágenes de entrada como referencias de apariencia, lo cual basta para una pose o un aspecto, pero no para un movimiento de cámara. ORB360 enseña al modelo la geometría de una órbita real: una vuelta, una dirección, un sujeto fijo y una cámara que mantiene una distancia y un alto creíbles. El resto de la escena permanece donde la foto lo situó.
La órbita step-1500, 1024 x 768, 124 fotogramas, 20 pasos, semilla 20260926.
CardSpin parte del mismo LoRA de órbita y añade 50 pasos de entrenamiento sobre un único clip generado. El resultado ya no orbita alrededor de la persona de la foto. Trata la fotografía como un objeto plano y la rota, lo que se lee como una impresión o una tarjeta suspendida en el espacio.
CardSpin v2, la misma foto y semilla con el prompt de giro de tarjeta.
Qué archivo usar
| Archivo | Qué es | Úsalo para |
|---|---|---|
minimax_h3_orb360_step1500.safetensors | LoRA de órbita, 1500 pasos sobre renders de Blender en alta resolución, alturas de cámara desde abajo hasta arriba, de una a cuatro imágenes de referencia etiquetadas | Órbitas 360 limpias, la más nítida de las tres |
minimax_h3_orb360_cardspin_v2_step50.safetensors | Paso 1500 más 50 pasos de giro de tarjeta | El giro de tarjeta, partiendo de la órbita de alta resolución |
minimax_h3_orb360_cardspin_step50.safetensors | CardSpin v1, construido sobre la órbita anterior de 750 pasos | La versión original del giro de tarjeta |
El clip de abajo es el accidente que dio origen a CardSpin. Mientras probaba el LoRA de órbita con fotos reales en lugar de los renders de fondo gris con los que fue entrenado, MATLOW le dio un retrato de 1867 de Sir John Herschel obra de Julia Margaret Cameron, y el modelo decidió que el objeto a rotar era la fotografía, no el hombre.
El LoRA de órbita de 750 pasos sobre un retrato del siglo XIX. Fuente: MiniMax-H3-ORB360-CardSpin.
Cincuenta pasos sobre un caption de ese único clip transfirieron el efecto a fotos que el entrenamiento nunca vio. La pasada de alta resolución importa más de lo que parece: la órbita step-1500 duplica aproximadamente el detalle fino en comparación con la versión de 750 pasos, mientras que los 50 pasos de giro de tarjeta suavizan todo lo que tocan, así que CardSpin es el archivo equivocado si lo que buscas es una órbita limpia.
| Gato blanco 360, misma foto, prompt, semilla y duración | Órbita paso 750 | CardSpin v1 | ORB360 paso 1500 | CardSpin v2 |
|---|---|---|---|---|
| Detalle fino (varianza laplaciana) | 30.2 | 19.8 | 56.1 | 20.7 |
| Detalle frente al paso 1500 | 0.54x | 0.34x | 1.00x | 0.35x |
| Energía de bordes (Tenengrad) | 1098 | 809 | 1343 | 841 |
| Primer fotograma frente a la foto, PSNR / SSIM | 28.0 dB / 0.87 | 24.5 dB / 0.85 | 28.5 dB / 0.87 | 22.5 dB / 0.77 |
Recortes a píxel nativo de los mismos fotogramas, una columna por LoRA. Fuente: MiniMax-H3-ORB360-CardSpin.
Qué tan bien se mantiene la órbita step-1500
El autor probó el paso 1500 con tres objetos que nunca se renderizaron para el entrenamiento, una semilla cada uno, frente a renders de Blender de la órbita verdadera.
| Prueba | Resultado |
|---|---|
| Órbita a 20 grados, tres vistas (0/120/240) | A un fotograma (2.9 grados) de la órbita verdadera en cada fotograma |
| Órbitas desde abajo (30 y 10 grados bajo el centro, sin suelo) | Alto correcto en 118 a 124 de 124 fotogramas, una vuelta limpia |
| Fotos tomadas a 45 grados, órbita solicitada a 5 grados | Órbita baja en los tres objetos, la mayoría de los fotogramas dentro de 5 a 10 grados del objetivo |
| Órbita alta (45 grados) desde una sola foto frontal | Órbita alta, 30 a 45 grados en la mayoría de los fotogramas, lados no vistos inventados |
| Fotos tomadas a 45 grados, órbita solicitada a 30 grados por debajo | Falla, se desplaza de vuelta hacia el alto de las fotos de referencia |
| Alto cambiante durante el clip, por ejemplo 45 arriba a 30 abajo | Falla, el objeto da tumbos en lugar de moverse la cámara |
Esos números provienen de renders con fondo gris. En fotos reales, la órbita se mantiene por ahora al alto de la foto de referencia, algo que el autor señala como el principal problema abierto.
Cómo usar los LoRAs en ComfyUI
Ambos archivos se cargan con el nodo Lora Loader estándar en modo solo modelo con fuerza 1.0, sobre un modelo MiniMax H3 Ref2VA. Son LoRAs de estilo kohya con claves lora_unet_*, lora_down, lora_up y alpha, y los 200 módulos se asignan a los pesos de MiniMax H3 que ComfyUI ya carga.
- Introduce la imagen de referencia en el acondicionamiento de Ref2VA. Con una sola referencia, el modelo la trata como el primer y el último fotograma de la órbita.
- Mantén los clips en 124 fotogramas y 24 fps. Los prompts del repositorio incluyen códigos de tiempo como "at 1.708333 seconds (zero-based frame 41), 120 degrees", que asumen esa duración.
- Los pesos incluyen cuatro prompts: una órbita de una sola foto que conserva el entorno propio de la foto, una variante de tres referencias para vistas de frente, 120 y 240 grados, y los dos formatos exactos de caption con los que se entrenó la pasada step-1500, tomados de pruebas reservadas.
- Las resoluciones que se han visto funcionar son 800 x 800, 1024 x 768 y 1152 x 768 en horizontal, además de 672 x 832 y 832 x 1024 en vertical.
- Los captions siguen el diseño de prompt Ref2VA de MiniMax y establecen ambas secciones de audio en
N/A, lo que pide silencio. Sin ellos, H3 tiende a inventar una banda sonora.
Entrenamiento
Ambas etapas se entrenaron con musubi-tuner con rank 32 y alfa 32, AdamW con una tasa de aprendizaje constante de 1e-4, precisión mixta bf16 y pérdida solo de vídeo, en una única NVIDIA RTX PRO 6000. La órbita step-1500 usó 23 recursos renderizados en Blender como 345 órbitas de una vuelta en sentido horario y tres duraciones, con cada clip apareciendo en tres filas de entrenamiento con imágenes de referencia distintas, para 960 filas y 1500 pasos de unas 26 horas.
Limitaciones
- El control del alto se traslada a los renders con fondo gris, pero todavía no a las fotos reales.
- Las órbitas que cambian de alto durante el clip fallan, y el sujeto da tumbos en su lugar.
- La salida de CardSpin es visiblemente más suave que la órbita step-1500 de la que deriva.
- Los altos, tiempos y ángulos de los captions de ejemplo describen los objetos de prueba del repositorio y necesitan editarse para otros sujetos.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.