Iris-3B Turbo tourne sur CPU et Apple Silicon sans VAE

Iris-3B est un transformer de diffusion de 3 milliards de paramètres de Speridlabs qui débruit directement les pixels RGB. Il n'y a ni VAE ni espace latent : les derniers blocs du réseau reconvertissent chaque patch 16×16 en pixels, donc rien n'est décodé à la fin (carte du modèle | code | article).

L'implémentation de référence exige un GPU NVIDIA avec CUDA. Deux ports indépendants font désormais tourner les mêmes poids sur du matériel que la plupart des gens possèdent déjà : FastSDCPU a ajouté le checkpoint Turbo à 4 étapes à son backend OpenVINO le 18 octobre, et Iris-3B Metal l'exécute sur Apple Silicon avec des kernels Metal personnalisés et une application macOS native.

La cité antique de Pétra à la lumière du matin, générée par Iris-3B avec son réglage par défaut de 100 étapes. Source : speridlabs/iris-3b

À l'intérieur du modèle

L'architecture est un transformer de diffusion plutôt compact : 8 blocs dual-stream et 16 blocs single-stream, suivis d'une tête pixel de 4 blocs qui ramène chaque patch 16×16 de l'entrée en pixels. Le texte provient d'un encodeur Qwen3-VL-4B-Instruct gelé. L'entraînement repose sur le rectified flow, depuis zéro en 256, puis 512, puis 1024 px, avec un fine-tuning supervisé en 1024 px pour 665K étapes au total.

Sauter le VAE supprime les étapes d'encodage et de décodage, mais les auteurs prennent soin de préciser que l'espace pixel n'est pas automatiquement moins coûteux. Le transformer lui-même a un coût de calcul plus élevé qu'un modèle latent avec le même nombre de paramètres, ce qui explique pourquoi les chiffres CPU ci-dessous se mesurent en minutes plutôt qu'en secondes.

Le même backbone est également fine-tuné, sans aucun changement architectural, pour deux tâches denses : la profondeur relative monoculaire et la restauration d'image 4×. Les deux exécutent le modèle complet en une seule passe avant avec un prompt vide, donc elles n'ont besoin d'aucun encodeur de texte.

Turbo : quatre étapes, sans CFG

Iris-3B Turbo est livré dans le dossier turbo/ du même référentiel et constitue un fine-tune complet des 3B paramètres, distillé avec Trajectory Distribution Matching. Le classifier-free guidance est intégré dans les poids, donc chaque étape est une seule passe avant ; la carte du modèle mesure environ 0,7 s pour une image 1024×1024 sur un H100 en batch de 4.

L'échantillonnage est fixé à un calendrier de 4 étapes (σ = 1, 0.938, 0.833, 0.625) avec des étapes flow-Euler déterministes, donc --steps, --cfg-scale et les prompts négatifs ne s'appliquent plus. Turbo a été distillé sur sept buckets de ratio autour d'un mégapixel, dont 1024×1024, 752×1344, 896×1344 et 896×1200 ainsi que leurs transposés.

Un résultat d'Iris-3B Turbo, généré sur un H100 avec la graine 6. Source : speridlabs/iris-3b

Turbo est légèrement devant le modèle de base sur le suivi de prompt et derrière lui sur le texte long rendu et sur OneIG-Bench, où l'écart vient surtout du texte et de la diversité des sorties. La carte du modèle liste aussi le grain sur les fonds plats de style vectoriel et une moindre variation entre les graines comme compromis connus du calendrier à 4 étapes.

Sur CPU, via OpenVINO int8

FastSDCPU a publié le support d'Iris-3B Turbo dans la version v1.0.0-beta.600 le 18 octobre, sous forme d'une conversion OpenVINO int8 du transformer et de l'encodeur Qwen3-VL (poids).

L'intégration se limite au texte vers image. L'échelle de guidage, LoRA et ControlNet n'ont aucun effet sur le chemin Iris, et le README précise qu'elle a été testée sur CPU et sur GPU intégrés.

Sur Apple Silicon, via Metal

Iris-3B Metal est un moteur MPS et Metal indépendant avec ses propres kernels, plus une application macOS, une CLI, une API Python et une API HTTP locale. La version 0.5.0 exécute les poids officiels sans fine-tuning propre (référentiel).

L'application macOS native, avec une image générée par Iris-3B. Source : TKY-27/iris-3b-metal

Sur un MacBook Pro M5 de base avec 24 GiB, le README rapporte 12,07 s à chaud pour Turbo à 4 étapes, 38,38 s pour le modèle original à 10 étapes et 76,04 s à 20 étapes, avec une mémoire de processus maximale d'environ 10 GiB. Les machines disposant de 16 GB n'ont pas été testées.

Trois prompts avec la même graine à 10, 20 et 100 étapes : la composition tient, les détails fins continuent de changer. Source : TKY-27/iris-3b-metal

Profondeur et restauration

Les deux tâches denses réutilisent le prior génératif au lieu d'entraîner un backbone vision séparé. Sur le protocole Marigold V2, en zero-shot sur NYUv2, KITTI, ETH3D, ScanNet et DIODE, le modèle de profondeur rapporte AbsRel 0,071 et δ1 0,946 ; la profondeur est relative et invariante aux transformations affines, pas métrique. Le modèle de restauration et de mise à l'échelle rapporte LPIPS 0,292 et PSNR 20,68 sur la validation DIV2K en 4×, et découpe les grandes sorties en fenêtres 1024×1024 avec chevauchement.

Disponibilité

ComfyUI n'a pas encore de loader natif pour Iris-3B. Le texte vers image passe par les scripts Python de référence, les deux ports ci-dessus, ou le Space de démo Turbo. Trois packs de nœuds communautaires existent pour ComfyUI, ScryptHunter/ComfyUI-iris, RealRebelAI/ComfyUI-Iris-3B et bani4kaskashka/Iris-3B-Comfy-Nodes, tous publiés début octobre et encore petits.