Skip to content
新闻InstantX 开源 FLUX.1-dev IP-Adapter 模型

InstantX 开源 FLUX.1-dev IP-Adapter 模型

InstantX 团队于 2024 年 11 月 22 日正式开源了 FLUX.1-dev IP-Adapter 模型。这是一个基于 FLUX.1-dev 的 IP-Adapter 实现,为 FLUX 模型带来了强大的图像参考能力。

FLUX.1-dev IP-Adapter 主要特点

InstantX 开源 FLUX.1-dev IP-Adapter 模型

  • 使用 google/siglip-so400m-patch14-384 作为图像编码器
  • 采用简单的双层线性 MLPProjModel 进行投影
  • 图像 token 数量设置为 128
  • 在 1000 万开源数据集上训练,批次大小为 128,训练步数为 8 万步

FLUX.1-dev IP-Adapter 技术实现

该模型在 38 个单层块和 19 个双层块中添加了新的层。模型使用 google/siglip-so400m-patch14-384 进行图像编码,这种选择主要是基于其出色的性能表现。

FLUX.1-dev IP-Adapter 使用方式

目前支持两种主要使用方式:

  1. 通过 Python 代码直接调用
  2. 使用 ComfyUI-IPAdapter-Flux 插件在 ComfyUI 中使用

FLUX.1-dev IP-Adapter ComfyUI 工作流

InstantX 提供了示例工作流文件,您可以直接下载使用:

FLUX.1-dev IP-Adapter 在线体验

用户可以通过以下平台在线体验 FLUX.1-dev-IP-Adapter:

FLUX.1-dev IP-Adapter 开源地址

相关资源已开源:

FLUX.1-dev IP-Adapter 使用限制

模型目前存在一些限制:

  • 不适用于精细的风格迁移或角色一致性
  • 在内容泄漏和风格迁移之间存在权衡
  • 当前版本可能存在多样性有限的问题

许可证

该模型采用 flux-1-dev-non-commercial-license 许可证发布,仅供非商业用途使用。

这个发布为 FLUX 生态系统带来了新的可能性,相信会激发社区创造出更多有趣的应用。