Kroma v0.3.1 : distillation on-policy pour le fine-tune de Krea 2

Ce que change l'OPD

Les premiers checkpoints turbo de Kroma étaient distillés hors ligne : l'élève était entraîné à imiter le teacher selon un programme d'échantillonnage figé. Le readme décrit directement le mode de défaillance de cette recette. Imiter le teacher sur des états choisis par le teacher éloigne peu à peu l'élève de la variété de données d'origine, ce qui se manifeste par un mode collapse, des détails délavés et des prompts qui cessent soudain de fonctionner.

L'OPD, la distillation on-policy, inverse la direction. L'élève génère ses propres trajectoires, et le teacher le corrige sur ces points précis. L'entraînement ne porte donc que sur des états que le modèle visite réellement, si bien que le checkpoint distillé reste dans la distribution du modèle dont il est issu. Le résultat visé : la vitesse Turbo sans la taxe de distillation habituelle.

Ce que contient désormais le référentiel

Le référentiel a été réorganisé le 7 octobre et contient maintenant trois fichiers :

Les fichiers kroma-v0.2-turbo, kroma-v0.2-base, kroma-v0.3-turbo et kroma-v0.3-tdm-4steps-artifact vers lesquels renvoyaient les articles antérieurs sur Kroma ont été supprimés : les anciennes instructions de téléchargement ne fonctionnent donc plus. Le tableau « fichiers à télécharger » du readme mentionne encore kroma-v0.2-turbo.safetensors, ce qui est obsolète : c'est v0.3.1 OPD qu'il faut récupérer.

Comment l'exécuter dans ComfyUI

L'utilisation de v0.3.1 est identique à celle de v0.2 et v0.3. Elle repose sur la stack Krea 2 standard : aucun nœud personnalisé n'est requis au-delà du support natif de Krea 2 dans ComfyUI :

1. Placez kroma-v0.3.1-turbo-opd.safetensors dans ComfyUI/models/diffusion_models/
2. Chargez l'encodeur de texte Krea 2 (Qwen3-VL, 12 calques) avec un CLIPLoader défini sur le type krea2
3. Chargez le VAE de Krea 2
4. Échantillonnez avec les paramètres Turbo pour lesquels le checkpoint a été distillé : 8 à 12 étapes, CFG 1.0-1.5, shift (mu) 1.15

La chaîne minimale est un Charger Modèle Diffusion relié à un KSampler, alimenté par le CLIP krea2 et le VAE de Krea 2. Si la sortie semble incorrecte, le premier suspect du readme est l'encodeur de texte : confirmez que le type du CLIPLoader est bien krea2 et que ComfyUI tourne sur une version en cours disposant du support natif de Krea 2.

L'entraînement LoRA reste compatible

Comme l'OPD maintient l'élève dans la distribution d'origine, les LoRA entraînés de manière classique continuent de fonctionner. Entraînez-vous sur le teacher (kroma-sensei-booru-e6-teacher-velocity-v0.3.safetensors) ou sur la base (kroma-v0.3-base.safetensors), et le LoRA obtenu se charge sans modification sur kroma-v0.3.1-turbo-opd.safetensors. C'est la principale différence pratique avec un élève distillé agressivement : vous n'avez pas à réentraîner ni à recalculer vos adaptateurs lorsque le checkpoint turbo est remplacé.

Disponibilité

Modèle : lodestones/Kroma
Checkpoint : kroma-v0.3.1-turbo-opd.safetensors
Modèle de base : Krea 2