Krea 2 BBOX: 漫画とテキストのレイアウト制御を実現するComfyUI向けファインチューン

具体的な4コマプロンプト。列は市販のKrea 2 Turbo、ファインチューン、EMA 0.9995、EMA 0.99975。

テキストとレイアウトは、テキストから画像へのモデルが通常は近似してしまう2つの要素です。セリフ付きの吹き出しを頼めば、おおよそ正しい位置に文字の形をしたノイズが返ってきます。4コマを頼めば、モデルはコラージュを勝手に作ります。このファインチューンは、すべての要素を名指ししてボックスを与えるプロンプト形式をモデルに教えることで、その問題に正面から取り組みます。

2種類のバリエーション、各3つのウェイト

このファインチューンはKrea 2 Rawでトレーニングされ、2つのバリエーションで提供されます。Turboはベースからturboへの蒸留差分をマージしたファインチューンで、CFGオフの8ステップでサンプリングします。Rawはトレーニングされたままのファインチューンで、CFG 5.5の50ステップです。

各バリエーションには、減衰率0.9995と0.99975の2つのEMAシャドウも付属します。作者の注記によると、スムージングは画質を上げる可能性がある一方で、ボックスに関する精度を下げる可能性もあります。

エポック1から19までのトレーニングチェックポイントは参照用にリポジトリに残されています。これらはエポック20のリリースに取って代わられています。

プロンプトはレイアウト仕様

トレーニングの約90%では、散文ではなくコンパクトなグラウンディングDSLが使用されました。これはプレーンテキストで1行に1要素、各ボックスは0から1000のグリッド上の4つの数値で、xが最初です:

A four-panel comic in which an anime handywoman and an anthropomorphic tabby cat assemble a flat-pack shelf and fail completely.
@clean line art, flat colors, light cel shading; Digital illustration
~A bare apartment living room with cardboard packaging and loose screws on a pale wood floor.
p[0,0,500,500] Top-left panel: the handywoman holding up the instruction sheet, confident.
p[500,0,1000,500] Top-right panel: the cat batting a single screw off the floor.
p[0,500,500,1000] Bottom-left panel: a lopsided half-built shelf wobbling.
p[500,500,1000,1000] Bottom-right panel: the shelf collapsed, the cat sitting smugly on the wreckage.
ac:1[60,80,340,470] A young woman with short dark hair in blue overalls, holding an instruction sheet, confident grin.
fc:2[560,90,880,470] An anthropomorphic tabby cat in a tool belt, one paw raised mid-swat, innocent expression.
t[80,40,420,120]"SOME ASSEMBLY REQUIRED." black text in a rounded speech bubble
t[540,530,960,610]"IT HAS FIVE LEGS NOW." black text in a rounded speech bubble

接頭辞は p がパネル、o がオブジェクト、t が逐語テキスト、pe / ac / fc が人物、アニメキャラクター、ファーリーキャラクターです。@ 行はスタイルタグを、~ 行はシーン描写を持ちます。モデルカードは、座標をyから先に書くのが最も一般的な失敗であり、しかもエラーを出さずに失敗すると警告しています。画像はそれらしく見えるものの、指定した場所には描かれないのです。

上記と同じプロンプト。グラウンディング付きのサンプルには、要求されたボックスを重ねた2行目が表示されます。

散文プロンプトも引き続き機能します。プレーンテキストがトレーニングの残り10%だったからです。DSLはレイアウトを実用的な精度で厳密にするためのものであり、PROMPTING.md はコピー&ペースト可能な例を備えた完全な仕様です。

ComfyUIでの使い方

すべてのバリエーションは、ComfyUIが読み込むレイアウトであるKreaネイティブ形式の単一ファイルとして提供されます。Turbo、Raw、両方のEMAシャドウを合わせて6ファイルです:

ファイルは ComfyUI/models/diffusion_models/ に置きます。それ以外に変更はありません。テキストエンコーダーとVAEは市販のKrea 2のもの（Comfy-Org/Krea-2 から取得）を使い、diffusion modelを差し替えるだけで、内蔵のKrea 2テキストから画像へのテンプレートがそのまま動作します。

turboチェックポイントを実行するGradioキャンバスデモもあるので、何もダウンロードする前にプロンプト形式を試せます。

LoRAは近似版です

このリリースにはランク64、128、256のLoRAも含まれており、26GBのtransformerを差し替えるのではなくアダプターを積むことしかできない人に向けたものです。作者はこれらが近似であることを明言しており、ホールドアウトのトレーニングサンプルでファインチューン全体の効果をどれだけ担っているかを測定しています:

理由は、これがフルランクのファインチューンであり、変更がほぼすべてのウェイト行列のほぼすべての方向に分散しているためで、LoRAはノルム、バイアス、モジュレーションテーブルをまったく運べません。ComfyUIではLoRAファイルを ComfyUI/models/loras/ に置き、市販のKrea 2モデル（RawまたはTurbo）の上に LoraLoaderModelOnly で強度1.0として適用し、それぞれ対応するsigma設定を使用します。

商品写真のサンプル。テキストは偶然ではなく、ボックスによって配置されています。

トレーニングデータ

レイアウト能力の源はデータ側にあります。AI以前の3000万枚の画像プールを DINOv3 と SigLIP2 でクラスタリングし、美的性でランク付けしました。描画アートや漫画を含むものはさらに wd-tagger と JTP でタグ付けし、多様性で再ランク付けしました。

最終セットは40,000枚です。一般写真20,000枚、漫画10,000枚、アート画像10,000枚。40,000枚すべてが gemma-4-31B-it と LocateAnything-3B の上に構築された独自のラベリングパイプラインでボックス化され、結果のプロンプトはDSL形式で最大512トークンに圧縮されました。

スクリーン印刷ポスターのサンプル。同じ能力のもう一方の端です。

制限事項

• DSLは正しく書くか生成する必要があります。座標の順序、要素の文字、ボックスのサイズはすべてプロンプトの一部であり、間違った行はエラーなしで間違った画像を生成します。
• グラウンディング付きプロンプトは長くなります。512トークンはトレーニングプロンプトが圧縮された上限なので、非常に密度の高いページはモデルが見た範囲を超えます。
• EMAシャドウは見た目が良く、同時にボックスの精度が低い可能性があり、用途ごとにテストすべきトレードオフです。
• LoRAが担う効果はわずかです。パネルグリッドや正確に配置されたテキストには、サンプルが作られたバージョンであるフルファインチューンが必要です。
• Krea 2のコミュニティファインチューンであるため、Krea 2のテキストエンコーダーとVAEが依然として必須であり、ベースモデルが文字や短い対話について知らないことはそのまま継承されます。