InstantX Publie le Modèle FLUX.1-dev IP-Adapter
L’équipe InstantX a officiellement open-sourcé le modèle FLUX.1-dev IP-Adapter le 22 novembre 2024. Il s’agit d’une implémentation IP-Adapter basée sur FLUX.1-dev, apportant des capacités de référence d’image puissantes au modèle FLUX.
Caractéristiques Clés du FLUX.1-dev IP-Adapter
- Utilise google/siglip-so400m-patch14-384 comme encodeur d’image
- Implémente un MLPProjModel linéaire à double couche simple pour la projection
- Nombre de tokens d’image fixé à 128
- Entraîné sur 10 millions de jeux de données open-source avec une taille de lot de 128 pour 80 000 étapes
Implémentation Technique
Le modèle ajoute de nouvelles couches dans 38 blocs monocouches et 19 blocs bicouches. Il utilise google/siglip-so400m-patch14-384 pour l’encodage d’image, choisi principalement pour ses performances exceptionnelles.
Méthodes d’Utilisation
Actuellement, il prend en charge deux méthodes d’utilisation principales :
- Appel direct via le code Python
- Utilisation du plugin ComfyUI-IPAdapter-Flux dans ComfyUI
Flux de Travail ComfyUI
InstantX fournit des fichiers de flux de travail d’exemple pour une utilisation immédiate :
Expérience en Ligne
Les utilisateurs peuvent expérimenter FLUX.1-dev-IP-Adapter via les plateformes suivantes :
Ressources Open Source
Les ressources associées sont maintenant open-sourcées :
- Téléchargement du Modèle : FLUX.1-dev-IP-Adapter
- Plugin ComfyUI : ComfyUI-IPAdapter-Flux
Limitations d’Utilisation
Le modèle présente actuellement certaines limitations :
- Pas adapté pour le transfert de style fin ou la cohérence des personnages
- Compromis entre fuite de contenu et transfert de style
- La version actuelle peut avoir une diversité limitée
Licence
Ce modèle est publié sous la licence flux-1-dev-non-commercial-license, disponible uniquement pour un usage non commercial.
Cette publication apporte de nouvelles possibilités à l’écosystème FLUX et devrait inspirer des applications plus intéressantes de la part de la communauté.