AI ToolkitがKrea 2参照画像トレーニングを追加：専用編集モデルと同等の速さで編集コンセプトをトレーニング

news

OstrisがAI ToolkitにKrea 2モデルの参照画像トレーニングをサポート。参考画像を使った編集スタイルのLoRAトレーニングが可能になり、「これをサイクロプスにする」といったコンセプトをわずか1,750ステップで習得できます。

2026年7月4日、Ostris が AI Toolkit に Krea 2 の参照画像トレーニングのサポートを追加しました。これにより、トレーニングアダプターを使って Krea 2 Turbo 上で直接編集スタイルの LoRA をトレーニングできるようになり、Ostris のテストでは、専用編集モデルと同じくらい高速に編集コンセプトを学習することが確認されています。

要約 — AI Toolkit が HuggingFace 上のトレーニングアダプターを通じて Krea 2 Turbo の参照画像トレーニングをサポート。編集スタイルの LoRA はわずか 1,750 ステップでトレーニング可能。ComfyUI 推論用の補助カスタムノードが参照画像のエンコードとモデルパッチ処理を行います。同じアーキテクチャはベースの Krea 2 (Raw) モデルでも動作します。

仕組み

内部では、トレーニングパイプラインは Qwen3-VL 画像エンコーダー を使用して、参照画像をプロンプトと共にエンコードします。エンコードされた参照は、クリーンなトレーニング画像と一緒に、タイムステップ 0 で Krea 2 トランスフォーマーに入力されます。これは専用編集モデルで使用されるのと同じ参照条件付けのアプローチです。

コンポーネント説明
トレーニングアダプターHuggingFace 上の ostris/krea2_turbo_training_adapter
トレーニングエンジンAI Toolkit — 設定で arch: krea2 と model_kwargs.edit: true を指定
参照エンコードQwen3-VL 画像エンコーダー、合計 384×384 ピクセルにダウンスケール
習得までのステップ約 1,750 ステップ（テスト：「これをサイクロプスにする」コンセプト）

ComfyUI 推論：カスタムノードが必要

ComfyUI で推論を行うには、ComfyUI-Krea2-Ostris-Edit カスタムノードパックが必要です。このパックは 2 つのノードを提供します。

Text Encode Krea 2 Ostris Edit — プロンプトと最大 3 つの参照画像を Krea 2 Qwen3-VL テキストエンコーダーを通してエンコードします。トレーニング中に使用されたのと同じ Picture N: ビジョンプレースホルダーテンプレートを使用します。VAE が接続されている場合は、参照画像を VAE エンコードし、参照潜在変数としてアタッチします。

Krea 2 Ostris Edit Model Patch — Krea 2 モデルにパッチを適用し、条件付けから参照潜在変数を消費できるようにします。各参照は画像トークンシーケンスに追加され、タイムステップ 0（index_timestep_zero メソッド）で条件付けされます。参照潜在変数がない場合、モデルは標準の Krea 2 とまったく同じように動作します。

インストール

cd ComfyUI/custom_nodes
git clone https://github.com/ostris/ComfyUI-Krea2-Ostris-Edit.git

追加の依存関係は不要です。ノードは ostris/krea2 カテゴリの下に表示されます。

サンプルワークフロー

拡散モデルを読み込む (krea2) → LoRAローダーモデルのみ → Krea 2 Ostris Edit Model Patch → Kサンプラー
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (プロンプト + 画像 + VAE) → ポジティブ
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (ネガティブプロンプト) → ネガティブ

トレーニングのセットアップ

AI Toolkit で編集スタイルの Krea 2 LoRA をトレーニングするには：

  1. トレーニング設定で arch: krea2 と model_kwargs.edit: true を設定します
  2. ペアのトレーニングデータ（入力画像 + 編集済みターゲット画像 + テキスト説明）を使用します
  3. アダプターは HuggingFace から自動的にダウンロードされます
  4. トレーニングは標準的な VRAM 要件のコンシューマー GPU で実行可能です

Ostris は Krea 2 Turbo で「この人をサイクロプスにする」テスト LoRA をトレーニングし、1,750 ステップで編集コンセプトを習得することを実証しました。

ベースモデルの互換性

同じ参照画像の重みはベースの Krea 2 (Raw) モデルでも動作します。Ostris はコミュニティからの質問に対して次のように説明しています：

「はい、重みは同じです。参照画像を Qwen-VL 画像エンコーダーでプロンプトと共にエンコードし、クリーンな画像をタイムステップ 0 でトランスフォーマーに入力しているだけです。」

リンク

AI ToolkitがKrea 2参照画像トレーニングを追加：専用編集モデルと同等の速さで編集コンセプトをトレーニング | ComfyUI Wiki