SenseNova-U1.5 ConvRot pour ComfyUI : 50 Go sur une carte 12 Go

Ce que contient la sortie

Deux checkpoints quantifiés plus le LoRA de vitesse officiel :

Les deux checkpoints vont dans ComfyUI/models/diffusion_models/SenseNovaU1.5/, et le LoRA dans ComfyUI/models/loras/. L'inférence s'exécute via une fourche du wrapper node T8 consciente de ConvRot, qui ajoute une rotation d'activation explicite et une déquantification manuelle pour INT8, un routage de noyau pour W4A8 via comfy-kitchen de Comfy-Org, et des gardes d'exécution qui empêchent le streaming de poids de ComfyUI de corrompre les tensors quantifiés empilés.

Qualité

Mesuré contre l'original bf16 avec des exécutions A/B complètes du pipeline même graine :

bf16 (référence)	INT8 ConvRot (même graine)	Hybride W4A8 (même graine)
Référence	Différence de 0,43 % des pixels	Indiscernable visuellement

La variante INT8 rapporte une différence de 0,43 % des pixels sur une comparaison A/B complète du pipeline même graine, avec une erreur de reconstruction des poids par calque bien inférieure à 2 %. L'hybride rapporte environ 7 % d'erreur L2 relative sur ses calques 4 bits (codebook Lloyd-Max, taille de groupe 16, échelles de groupe FP8) mais est indiscernable visuellement de bf16 dans les tests même graine. Les trajectoires même graine sont chaotiques, donc les auteurs présentent les images comme échantillons de qualité plutôt que comparaisons de pixels.

Pourquoi l'hybride

La découverte intéressante derrière la sortie : SenseNova-U1.5 tolère la quantification d'activation W4A8 vrai dans ses calques ultérieurs mais pas dans ses premiers. Quantifier les premiers blocs Transformer détruit la cohérence du prompt, tandis que les calques 18+ se quantifient en W4A8 transparentement. Les auteurs ont localisé la frontière empiriquement avec une échelle de bissection de checkpoints hybrides, puis ont produit les fichiers hybrides par fusion au niveau des octets de deux checkpoints validés indépendamment, afin qu'aucun calque n'ait été re-quantifié pendant la fusion.

Performance

Sur une RTX 4070 12 Go, les deux variantes s'exécutent rapidement même si les poids dépassent la VRAM : ComfyUI stream les poids à la demande, et les formats quantifiés déplacent 3 à 4 fois moins d'octets par étape tout en calculant via des noyaux de cœur entiers rapides, donc le débordement ne devient jamais un ralentissement. bf16 sur la même carte stream environ 47 Go par étape et est considérablement plus lent.

Commencer

1. Installer le Personnalisé node : git clone https://github.com/Milor123/ComfyUI-SenseNova-U1.5-ConvRot dans ComfyUI/custom_nodes/, avec comfy-kitchen >= 0.2.31 installé (testé avec le commit ComfyUI 82f839f5).
2. Télécharger le checkpoint INT8 recommandé (ou l'hybride) dans ComfyUI/models/diffusion_models/SenseNovaU1.5/ et le LoRA de vitesse dans ComfyUI/models/loras/.
3. Exécuter l'un des exemples de flux de travail du dossier examples/ du dépôt :