ZenTrainer : entraîner des LoRA dans ComfyUI en direct

Une page de run : l'échantillon le plus récent, la loss et les chiffres dans un rail à droite.

Ce qu'il entraîne

MOSS Image, Krea 2, FLUX 3, FLUX.2 Klein, Qwen-Image 2.1, Z-Image, Anima, Fibo 2.0, SDXL et ses finetunes, ainsi que la vidéo MiniMax H3. D'autres modèles sont listés comme non testés. L'entraînement s'exécute sur NVIDIA (CUDA) ou AMD (ROCm) sous Linux et Windows.

Simple ou avancé

Le mode simple est une recette : 15 à 40 photos et un nom. Les modèles manquants se téléchargent automatiquement et les photos sont légendées. Le mode avancé expose chaque option : LoRA ou LoKr, entraînement masqué, caption dropout, préservation de classe, et optimiseurs AdamW, Prodigy, Lion, CAME, schedule-free ou 8 bits.

Pendant qu'un run se déroule, vous pouvez le mettre en pause, extraire un échantillon, sauvegarder, modifier le taux d'apprentissage et essayer votre propre prompt sur n'importe quel checkpoint. La loss de validation est mesurée sur un ensemble fixe, les LoRA de personnage reçoivent un score de ressemblance, et les runs s'enchaînent dans la file d'attente.

N'importe quel dossier dans input/ de ComfyUI est un jeu de données : grille ou tableau, légendes modifiables sur place.

Jeux de données

Pointez-le vers n'importe quel dossier dans input/ de ComfyUI. Les légendes peuvent être rédigées par Qwen-VL ou Gemma via ComfyUI, conservées en versions longue et courte, et modifiées en masse avec un préfixe, un suffixe ou un rechercher-remplacer. SAM3 peut trouver le sujet et limiter l'entraînement à son masque, ou vous peignez le masque vous-même.

Nouveau run : choisissez le modèle et ses fichiers se remplissent, avec des avertissements pour les erreurs habituelles.

Installation

Installez depuis le Gestionnaire ComfyUI, redémarrez, puis cliquez sur le lotus dans la barre du haut, ou ouvrez /zentrainer/. Il nécessite ComfyUI 0.41 ou une version plus récente, et le LoRA atterrit dans output/zentrainer/loras/.

Le dépôt fournit aussi des scripts de démarrage qui installent une version épinglée de ComfyUI à côté, de sorte que les mises à jour de votre installation principale ne puissent pas casser un run, et il lit toujours vos modèles là où ils se trouvent. Une image Docker couvre les GPU loués, avec un template Runpod en un clic. macOS n'est pas encore pris en charge.

Disponibilité

ZenTrainer est disponible sur github.com/Nynxz/ZenTrainer (MIT, v0.4.1). Les jeux de données, les runs et les LoRA exportés restent dans vos dossiers ComfyUI.