InstantX 开源 FLUX.1-dev IP-Adapter 模型
InstantX 团队于 2024 年 11 月 22 日正式开源了 FLUX.1-dev IP-Adapter 模型。这是一个基于 FLUX.1-dev 的 IP-Adapter 实现，为 FLUX 模型带来了强大的图像参考能力。
FLUX.1-dev IP-Adapter 主要特点
- 使用 google/siglip-so400m-patch14-384 作为图像编码器
- 采用简单的双层线性 MLPProjModel 进行投影
- 图像 token 数量设置为 128
- 在 1000 万开源数据集上训练，批次大小为 128，训练步数为 8 万步
FLUX.1-dev IP-Adapter 技术实现
该模型在 38 个单层块和 19 个双层块中添加了新的层。模型使用 google/siglip-so400m-patch14-384 进行图像编码，这种选择主要是基于其出色的性能表现。
FLUX.1-dev IP-Adapter 使用方式
目前支持两种主要使用方式：
- 通过 Python 代码直接调用
- 使用 ComfyUI-IPAdapter-Flux 插件在 ComfyUI 中使用
FLUX.1-dev IP-Adapter ComfyUI 工作流
InstantX 提供了示例工作流文件，您可以直接下载使用：
FLUX.1-dev IP-Adapter 在线体验
用户可以通过以下平台在线体验 FLUX.1-dev-IP-Adapter：
FLUX.1-dev IP-Adapter 开源地址
相关资源已开源：
- 模型下载：FLUX.1-dev-IP-Adapter
- ComfyUI 插件：ComfyUI-IPAdapter-Flux
FLUX.1-dev IP-Adapter 使用限制
模型目前存在一些限制：
- 不适用于精细的风格迁移或角色一致性
- 在内容泄漏和风格迁移之间存在权衡
- 当前版本可能存在多样性有限的问题
许可证
该模型采用 flux-1-dev-non-commercial-license 许可证发布，仅供非商业用途使用。
这个发布为 FLUX 生态系统带来了新的可能性，相信会激发社区创造出更多有趣的应用。