InstantX、FLUX.1-dev IP-Adapterモデルをリリース

InstantXチームは、2024年11月22日にFLUX.1-dev IP-Adapterモデルを公式にオープンソース化しました。これはFLUX.1-devに基づくIP-Adapterの実装であり、FLUXモデルに強力な画像参照機能をもたらします。

FLUX.1-dev IP-Adapterの主な特徴

• google/siglip-so400m-patch14-384を画像エンコーダーとして使用
• 投影のためのシンプルな二層線形MLPProjModelを実装
• 画像トークン数は128に設定
• 1,000万のオープンソースデータセットでバッチサイズ128で80,000ステップのトレーニング

技術的実装

このモデルは、38の単層ブロックと19の二層ブロックに新しいレイヤーを追加します。画像エンコーディングにはgoogle/siglip-so400m-patch14-384を使用し、その優れた性能が選択の主な理由です。

使用方法

現在、2つの主要な使用方法をサポートしています：

1. Pythonコードを通じた直接呼び出し
2. ComfyUIでComfyUI-IPAdapter-Fluxプラグインを使用

ComfyUIワークフロー

InstantXは、すぐに使用できるサンプルワークフローファイルを提供しています：

• サンプルワークフローファイル

オンライン体験

ユーザーは以下のプラットフォームを通じてFLUX.1-dev-IP-Adapterを体験できます：

• Shakker AIプラットフォーム
• Shakkerジェネレーター
• オンラインComfyUI

オープンソースリソース

関連リソースは現在オープンソース化されています：

• モデルダウンロード：FLUX.1-dev-IP-Adapter
• ComfyUIプラグイン：ComfyUI-IPAdapter-Flux

使用制限

このモデルには現在いくつかの制限があります：

• 細かいスタイル転送やキャラクターの一貫性には適していません
• コンテンツ漏洩とスタイル転送の間のトレードオフ
• 現行バージョンは多様性が限られている可能性があります

ライセンス

このモデルはflux-1-dev-non-commercial-licenseの下でリリースされており、非商用利用のみ可能です。

このリリースはFLUXエコシステムに新たな可能性をもたらし、コミュニティからより興味深いアプリケーションが生まれることが期待されています。