MiniMax H3 ORB360 : orbite caméra 360 et LoRAs CardSpin
Les LoRAs ORB360 de MATLOW donnent à MiniMax H3 Ref2VA une orbite caméra à 360 degrés autour d'un sujet figé, plus une variante CardSpin qui fait pivoter la photo dans l'espace.
ORB360_CW fait effectuer à la caméra un tour complet dans le sens horaire autour d'un sujet qui reste figé sur place, et les fichiers CardSpin font pivoter la photo de référence elle-même dans l'espace, comme une fine carte physique. Les premiers fichiers sont arrivés le 28 septembre, puis une orbite haute résolution à 1500 pas et une seconde passe CardSpin ont suivi le 30 septembre.
Un tour complet autour d'un chat dans une scène enneigée, généré à partir d'une seule photo de référence. Source : MiniMax-H3-ORB360-CardSpin.
Ce que font les LoRAs
Le référence-vers-vidéo de MiniMax H3 traite ses images d'entrée comme des références d'apparence, ce qui suffit pour une pose ou un look, mais pas pour un mouvement de caméra. ORB360 enseigne plutôt au modèle la géométrie d'une vraie orbite : un tour, une direction, un sujet fixe et une caméra qui conserve une distance et une hauteur crédibles. Le reste de la scène reste là où la photo l'a placé.
L'orbite à 1500 pas, 1024 x 768, 124 images, 20 pas, graine 20260926.
CardSpin part du même LoRA d'orbite et ajoute 50 pas d'entraînement sur un seul clip généré. Le résultat ne tourne plus autour de la personne sur la photo. Il traite la photographie comme un objet plat et la fait pivoter, ce qui se lit comme un tirage ou une carte suspendue dans l'espace.
CardSpin v2, la même photo et la même graine avec le prompt de rotation de carte.
Quel fichier utiliser
| Fichier | Ce que c'est | À utiliser pour |
|---|---|---|
minimax_h3_orb360_step1500.safetensors | LoRA d'orbite, 1500 pas sur des rendus Blender haute résolution, hauteurs de caméra du dessous au dessus, une à quatre images de référence étiquetées | Des orbites 360 propres, la plus nette des trois |
minimax_h3_orb360_cardspin_v2_step50.safetensors | Le pas 1500 plus 50 pas de rotation de carte | La rotation de carte, en partant de l'orbite haute résolution |
minimax_h3_orb360_cardspin_step50.safetensors | CardSpin v1, construit sur l'ancienne orbite à 750 pas | La sortie d'origine de la rotation de carte |
Le clip ci-dessous est l'accident qui a produit CardSpin. Alors qu'il testait le LoRA d'orbite sur de vraies photos plutôt que sur les rendus sur fond gris utilisés pour l'entraînement, MATLOW lui a donné un portrait de Sir John Herschel par Julia Margaret Cameron datant de 1867, et le modèle a décidé que c'était la photographie, et non l'homme, qui était l'objet à faire pivoter.
Le LoRA d'orbite à 750 pas sur un portrait du XIXe siècle. Source : MiniMax-H3-ORB360-CardSpin.
Cinquante pas sur une légende de ce seul clip ont transféré l'effet à des photos que l'entraînement n'a jamais vues. La passe haute résolution compte plus qu'il n'y paraît : l'orbite à 1500 pas multiplie à peu près par deux le détail fin par rapport à la version à 750 pas, tandis que les 50 pas de rotation de carte adoucissent tout ce qu'ils touchent. CardSpin est donc le mauvais fichier à choisir quand c'est une orbite propre que vous voulez.
| Chat blanc 360, même photo, prompt, graine et durée | Orbite pas 750 | CardSpin v1 | ORB360 pas 1500 | CardSpin v2 |
|---|---|---|---|---|
| Détail fin (variance du Laplacien) | 30.2 | 19.8 | 56.1 | 20.7 |
| Détail par rapport au pas 1500 | 0.54x | 0.34x | 1.00x | 0.35x |
| Énergie des contours (Tenengrad) | 1098 | 809 | 1343 | 841 |
| Première image par rapport à la photo, PSNR / SSIM | 28.0 dB / 0.87 | 24.5 dB / 0.85 | 28.5 dB / 0.87 | 22.5 dB / 0.77 |
Recadrages au pixel natif des mêmes images, une colonne par LoRA. Source : MiniMax-H3-ORB360-CardSpin.
La robustesse de l'orbite à 1500 pas
L'auteur a testé le pas 1500 sur trois objets qui n'ont jamais été rendus pour l'entraînement, une graine chacun, face à des rendus Blender de la vraie orbite.
| Test | Résultat |
|---|---|
| Orbite à 20 degrés, trois vues (0/120/240) | À moins d'une image (2,9 degrés) de la vraie orbite sur chaque image |
| Orbites depuis le bas (30 et 10 degrés sous le centre, sans sol) | Hauteur correcte sur 118 à 124 images sur 124, un tour propre |
| Photos prises à 45 degrés, orbite demandée à 5 degrés | Orbite basse sur les trois objets, la plupart des images à 5 à 10 degrés de la cible |
| Orbite haute (45 degrés) à partir d'une seule photo de face | Orbite haute, 30 à 45 degrés sur la plupart des images, côtés non vus inventés |
| Photos prises à 45 degrés, orbite demandée à 30 degrés en dessous | Échec, dérive vers la hauteur des photos de référence |
| Hauteur changeant pendant le clip, par exemple 45 au-dessus à 30 en dessous | Échec, l'objet culbute au lieu que la caméra se déplace |
Ces chiffres proviennent de rendus sur fond gris. Sur de vraies photos, l'orbite reste pour l'instant à la hauteur de la photo de référence, ce que l'auteur présente comme le principal problème ouvert.
Utiliser les LoRAs dans ComfyUI
Les deux fichiers se chargent avec le nœud standard Lora Loader en mode modèle seul, à une force de 1.0, sur un modèle MiniMax H3 Ref2VA. Ce sont des LoRAs de style kohya avec des clés lora_unet_*, lora_down, lora_up et alpha, et les 200 modules correspondent aux poids MiniMax H3 que ComfyUI charge déjà.
- Fournissez la photo de référence au conditionnement Ref2VA. Avec une seule référence, le modèle la traite comme la première et la dernière image de l'orbite.
- Gardez les clips à 124 images et 24 fps. Les prompts du référentiel portent des timecodes tels que « at 1.708333 seconds (zero-based frame 41), 120 degrees » qui supposent cette longueur.
- Quatre prompts sont fournis avec les poids : une orbite à partir d'une seule photo qui conserve l'environnement propre de la photo, une variante à trois références pour les vues de face, 120 et 240 degrés, et les deux formats de légende exacts sur lesquels la passe à 1500 pas a été entraînée, tirés de tests de validation.
- Les résolutions observées comme fonctionnelles sont 800 x 800, 1024 x 768 et 1152 x 768 en paysage, plus 672 x 832 et 832 x 1024 en portrait.
- Les légendes suivent la disposition de prompt Ref2VA de MiniMax et définissent les deux sections audio sur
N/A, ce qui demande le silence. Sans elles, H3 a tendance à inventer une bande sonore.
Entraînement
Les deux étapes ont été entraînées avec musubi-tuner en rang 32 avec alpha 32, AdamW à un taux d'apprentissage constant de 1e-4, en précision mixte bf16 et avec une perte vidéo uniquement, sur une seule NVIDIA RTX PRO 6000. L'orbite à 1500 pas a utilisé 23 ressources rendues dans Blender sous forme de 345 orbites d'un tour dans le sens horaire à trois longueurs, chaque clip apparaissant dans trois lignes d'entraînement avec différentes photos de référence, soit 960 lignes et 1500 pas d'environ 26 heures.
Limitations
- Le contrôle de la hauteur se transfère aux rendus sur fond gris, mais pas encore aux vraies photos.
- Les orbites qui changent de hauteur pendant le clip échouent, et le sujet culbute à la place.
- La sortie de CardSpin est visiblement plus douce que l'orbite à 1500 pas dont elle dérive.
- Les hauteurs, temps et angles des légendes d'exemple décrivent les objets de test du référentiel et doivent être modifiés pour d'autres sujets.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.