InstantX Lanza el Modelo FLUX.1-dev IP-Adapter
El equipo de InstantX ha lanzado oficialmente el modelo FLUX.1-dev IP-Adapter el 22 de noviembre de 2024. Esta es una implementación de IP-Adapter basada en FLUX.1-dev, que aporta potentes capacidades de referencia de imágenes al modelo FLUX.
Características Principales del FLUX.1-dev IP-Adapter
- Utiliza google/siglip-so400m-patch14-384 como codificador de imágenes
- Implementa un MLPProjModel lineal de doble capa simple para la proyección
- Número de tokens de imagen establecido en 128
- Entrenado en 10 millones de conjuntos de datos de código abierto con un tamaño de lote de 128 durante 80,000 pasos
Implementación Técnica
El modelo añade nuevas capas en 38 bloques de una sola capa y 19 bloques de doble capa. Utiliza google/siglip-so400m-patch14-384 para la codificación de imágenes, elegido principalmente por su excelente rendimiento.
Métodos de Uso
Actualmente soporta dos métodos principales de uso:
- Llamada directa a través de código Python
- Uso del plugin ComfyUI-IPAdapter-Flux en ComfyUI
Flujo de Trabajo en ComfyUI
InstantX proporciona archivos de flujo de trabajo de ejemplo para uso inmediato:
Experiencia en Línea
Los usuarios pueden experimentar FLUX.1-dev-IP-Adapter a través de las siguientes plataformas:
Recursos de Código Abierto
Los recursos relacionados están ahora en código abierto:
- Descarga del Modelo: FLUX.1-dev-IP-Adapter
- Plugin ComfyUI: ComfyUI-IPAdapter-Flux
Limitaciones de Uso
El modelo actualmente tiene algunas limitaciones:
- No es adecuado para transferencia de estilo detallada o consistencia de personajes
- Compensaciones entre la filtración de contenido y la transferencia de estilo
- La versión actual puede tener diversidad limitada
Licencia
Este modelo se lanza bajo la licencia flux-1-dev-non-commercial-license, disponible solo para uso no comercial.
Este lanzamiento trae nuevas posibilidades al ecosistema FLUX y se espera que inspire más aplicaciones interesantes de la comunidad.