Fizgig v7 : Anima, SDXL et le fine-tuning pour chaque modèle

Fizgig v7.0.0, publié le 5 octobre, intègre Anima et SDXL dans le studio et fait du fine-tuning complet une fonctionnalité de chaque modèle pris en charge (GitHub | notes de version | guide des pilotes). Un correctif v7.0.1 a suivi le même jour.

Fizgig : un atelier pour entraîner, affiner, réparer et explorer, dédié à Flux 2 Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, SDXL et Anima

Le studio entraînait déjà des LoRA, des LoKR et des fine-tunes pour Flux 2 Klein, Krea 2, MiniMax H3 et Qwen Image 2.1. La version 7 comble deux lacunes d'un coup : elle ajoute les deux familles plus anciennes les plus demandées et rend tout l'atelier disponible pour n'importe quel modèle décrit par un pilote communautaire.

Deux nouveaux modèles de base

Les deux sont livrés avec des préréglages LoRA et LoKR, des LoRA à curseur à partir de paires de prompts ou de paires de photos, et le fine-tuning. Anima dispose d'un préréglage Personnage, d'un préréglage Style et de la recette Officielle de sa propre fiche de modèle ; SDXL dispose des préréglages Strong, Standard et Slider avec EMA activé. Les LoRA SDXL communautaires se chargent aussi dans l'atelier, notamment les fichiers kohya, LoCon et les LoRA de vitesse comme Lightning et LCM. Tout ce qui dépasse les 77 tokens de CLIP est encodé par blocs, comme le fait ComfyUI, donc les longues légendes ne sont plus tronquées.

Le fine-tuning de chaque modèle

Le fine-tuning est désormais un simple choix Type d'entraînement dans l'onglet Entraînement pour les six modèles, et c'est une nouveauté pour Klein 9B, SDXL et Anima. Chaque exécution écrit un checkpoint complet qui remplace le fichier de base.

Ce qui a le plus changé, c'est la planification de la mémoire. Le fine-tuning charge dans chaque passe autant du modèle que la carte peut en contenir, au lieu d'entraîner toujours une partie à la fois, et diffuse depuis la mémoire système les blocs qu'il n'entraîne pas lorsque c'est nécessaire. Sur une carte suffisamment grande, le modèle entier s'entraîne en une seule passe ; sur une petite carte, le travail est découpé.

Sur une carte de 32 Go, Krea 2 a besoin de deux passes au lieu de quatre, et MiniMax H3 de trois. Dans les tests de l'auteur, l'entraînement de tout en même temps a parcouru le modèle entier environ 2,6 fois plus vite que quatre passes séparées, mesuré sur Anima. Un nouveau paramètre Taille de fenêtre limite le nombre de parties entraînées ensemble, pour les cartes proches de leur limite, et l'onglet Entraînement affiche le plan qui sera appliqué à la carte actuelle avant le début d'une exécution.

Les outils de l'atelier (ici la vue de préparation de clips vidéo Gizmo) fonctionnent sur chaque modèle et partagent désormais une seule interface de pilote.

Le système de pilotes est complet

Klein et MiniMax H3 fonctionnent désormais sur le même système de pilotes que celui utilisé par Krea 2, Qwen Image 2.1, SDXL et Anima. Un modèle est décrit une seule fois, par ses fichiers, son format LoRA et son code de modèle derrière une interface standard, et l'entraînement, les aperçus, les téléchargements, la planification de la mémoire et les cinq outils de l'atelier fonctionnent à partir de cette description.

L'effet concret est qu'une fonctionnalité développée pour un modèle devient disponible pour les autres, et que la communauté peut ajouter des modèles. Le guide d'écriture d'un pilote couvre les points d'appel du code, des pas à pas pour un modèle d'image fixe et un modèle vidéo, chaque capacité optionnelle, et une liste de contrôle de ce qu'un modèle terminé doit inclure. SDXL, Anima et Qwen Image 2.1 ont été construits en le suivant, et les pull requests pour de nouveaux modèles ou des modèles plus anciens sont les bienvenues.

Mises à jour de l'atelier

• Repair Studio ne re-rend désormais que les blocs concernés après un changement de curseur, sur chaque modèle, avec la même image qu'un rendu complet. C'est activé par défaut et peut être désactivé dans la carte Setup.
• Checkpoint to LoRA fonctionne avec chaque fine-tune, y compris SDXL et Anima. Il convertit un checkpoint fine-tuné en LoRA aux rangs choisis ; l'auteur note qu'un LoRA extrait d'un fine-tune ressort plus puissant qu'un LoRA entraîné directement au même rang.
• Les LoRA LoHa se chargent dans le Profiler et dans Extract. Extract transforme un LoHa en LoRA standard.
• Les prompts négatifs disposent d'une vraie boîte multiligne, avec une valeur par défaut par modèle qui mémorise les modifications. Les exclusions sans conflit sont désormais conservées par modèle, donc une exclusion Krea 2 n'affecte plus SDXL sur les mêmes photos.
• Davantage de formats LoRA se chargent : les LoRA SDXL enregistrés avec la nomenclature diffusers fonctionnent désormais partout, aux côtés des fichiers kohya, LyCORIS, PEFT et de style ComfyUI.

Les LoRA, LoKR, sauvegardes de Repair Studio et sorties d'Extract enregistrés conservent le même format et se chargent via le loader LoRA standard de ComfyUI.

Comment l'obtenir

Les installations existantes se mettent à jour avec update_fizgig.bat, ou update_fizgig_rocm.bat sous AMD. Les sections Anima et SDXL de l'onglet Préférences téléchargent leurs modèles, et les paramètres H3 enregistrés sont conservés.