Fizgig v6 RefMods : références de personnage sans entraînement

Fizgig v6.0 est sorti hier avec une nouvelle capacité en plus de son entraîneur LoRA et de fine-tuning : les RefMods pour MiniMax H3. Un RefMod regroupe un dossier de photos ou de clips de référence dans un seul petit fichier que les nœuds ComfyUI-MiniMaxH3Mod chargent comme un LoRA et transmettent au chemin de référence de H3. Aucun entraînement à lancer, un fichier en quelques minutes, et la version basique ne nécessite aucune légende.

Un RefMod d'identité généré dans ComfyUI via les nœuds MiniMaxH3Mod, issu de la galerie d'exemples du projet.

Qu'est-ce qu'un RefMod

Le format RefMod lui-même vient du pack de nœuds communautaire ComfyUI-MiniMaxH3Mod par @Luisacaotica (199 étoiles), avec une bibliothèque de mods et un guide signés @malcolmrey. Il compresse les images et vidéos de référence en minuscules tokens latents qui empruntent le chemin de référence de H3 : au lieu de fourrer les mêmes photos dans des slots d'image à chaque génération, vous chargez un seul fichier. Fizgig v6 ajoute la chose qu'aucun autre créateur ne proposait : il peut ajuster le RefMod par rapport à H3 lui-même, et pas seulement encoder les photos.

Ce qu'apporte Fizgig v6

• Cinq presets pour les personnes et les styles : la recette communautaire (un simple encodage de 8 photos à 1 MP, identique à ce que produit l'extracteur du pack de nœuds lui-même), la recette Fizgig lite (16 photos à 0,5 MP, ajustée par rapport au modèle), la recette Fizgig (la même à 1 MP pour des résultats plus nets), plus des presets de style pour les apparences plutôt que pour les personnes.
• Ajustement avec le modèle dans la boucle : les presets ajustés font tourner le fichier par rapport au modèle de base H3 pendant la création, ce qui, selon l'auteur, apporte une meilleure généralisation sur des plans que les photos n'ont jamais montrés, ainsi qu'un rendu plus propre et plus net.
• Onglet RefMod Studio : comparez en A/B un mod par rapport au modèle de base directement dans Fizgig avant même d'ouvrir ComfyUI.
• Des clips comme mods de mouvement et d'audio : les clips vidéo préparés avec l'outil Gizmo du pack peuvent devenir des références de mouvement, et un mod audio peut transporter le son d'un dossier en même temps que les visuels.
• Compatibilité plug-and-play : pointez une fois le dossier de sortie vers models/refmods de ComfyUI et chaque mod se charge via les nœuds MiniMaxH3Mod existants. Fonctionne pour les flux de travail ref2va et fl2va.

RefMods vs LoRAs

La formulation de l'auteur lui-même dans le fil de publication : les RefMods sont rapides et légers, mais ils ne peuvent pas connaître un concept aussi bien qu'un LoRA et ne généralisent pas aussi bien. Le compromis, c'est la vitesse : un LoRA exige un entraînement, un RefMod arrive en quelques minutes, et pour la cohérence de personnage sur des plans similaires à vos références, l'écart de qualité est faible. Pour une ressemblance et une généralisation maximales, les LoRAs restent rois, et Fizgig v6 conserve son entraîneur LoRA H3 et Krea 2 complet, inchangé.

Où le trouver

Fizgig v6.0.1 est disponible sur GitHub. Dans ComfyUI, vous avez besoin du pack de nœuds MiniMaxH3Mod pour charger les fichiers, et le guide de l'auteur RefMods - how do I...? détaille tout le flux, des photos jusqu'au mod chargé.