Skip to content
Aidez ComfyUI Wiki à supprimer les publicités Devenir un Mécène
ActualitésNVIDIA Open Source Sana - Un modèle d'IA pour la génération efficace d'images 4K

NVIDIA Open Source Sana - Un modèle d’IA pour la génération efficace d’images 4K

NVIDIA a récemment lancé Sana, un important projet open source. Ce modèle de génération texte-image a pour principale caractéristique sa capacité à générer efficacement des images jusqu’à une résolution de 4096×4096. Plus impressionnant encore, le modèle optimisé peut fonctionner sur des GPU d’ordinateurs portables grand public avec 16 Go de VRAM.

Caractéristiques principales

  • Ultra efficacité: Le modèle Sana-0.6B génère des images en résolution 1024×1024 en moins d’une seconde
  • Déploiement léger: Fonctionne sur des GPU d’ordinateurs portables avec 16 Go de VRAM
  • Haute résolution: Prend en charge la génération d’images jusqu’à la résolution 4K (4096×4096)
  • Support open source: Support officiel de ComfyUI et outils d’entraînement LoRA inclus

Innovations techniques

Les hautes performances de Sana sont obtenues grâce à plusieurs innovations techniques:

  1. Auto-encodeur à compression profonde: Atteint un taux de compression d’image de 32x, réduisant significativement les tokens latents
  2. DiT linéaire: Utilise un mécanisme d’attention linéaire au lieu de l’attention traditionnelle, réduisant la complexité de O(N²) à O(N)
  3. Encodeur de texte style décodeur: Utilise Gemma comme encodeur de texte pour une meilleure compréhension du texte
  4. Entraînement et inférence efficaces: Le Flow-DPM-Solver innovant réduit les étapes d’inférence pour une génération plus rapide

Démo en ligne

Découvrez les puissantes capacités de Sana via la démo en ligne:

Sana Online Demo

Intégration ComfyUI

Sana prend désormais officiellement en charge ComfyUI, permettant aux utilisateurs d’utiliser facilement le modèle Sana via les workflows ComfyUI. De plus, des outils officiels d’entraînement LoRA sont fournis pour l’entraînement personnalisé des modèles.

Développement futur

L’équipe NVIDIA a terminé le développement du code d’entraînement, du code d’inférence, de la bibliothèque de modèles, du support ComfyUI et de l’entraînement LoRA. Les plans futurs incluent le développement du support ControlNet, l’optimisation des appareils 8bit/4bit, des modèles à plus grande échelle et la sortie de Sana 1.5 axé sur le corps/visage humain, le rendu de texte, le photoréalisme et l’efficacité.

Liens connexes