LLaDA-Image: InclusionAI が 6B 画像生成・編集モデルをオープンソース化

ComfyUI Wikinews

InclusionAI が 6B 統合型生成・編集モデル「LLaDA-Image」をリリース。4 ステップの Turbo バリアントと、INT8/GGUF 重みを持つコミュニティ製 ComfyUI ノードパック付き。

LLaDA-Image (GitHub, Hugging Face) は、Ling の開発チームである Ant Group の InclusionAI からリリースされた、60 億パラメータの統合型画像生成・編集モデルファミリーです。Apache-2.0 ライセンスの下、9 月 4 日に完全なオープンなトレーニングレシピと共に公開されました。RebelAI によるコミュニティ製の ComfyUI ノードパック で既にローカル実行が可能です。
LLaDA-Image photorealistic generation showcase

公式リポジトリからのフォトリアルな生成済みサンプル:自然な照明、生々しいディテール、一貫性のあるマルチサブジェクトシーン。

生成と編集のための単一チェックポイント

LLaDA-Image は、バックボーンと DiT の両方が単一のフレームワークで訓練された拡散モデルである統合型拡散モデルです。テキストから画像へのモデルに追加されたエディタアドオンとは異なり、単一のチェックポイントが以下の処理を行います:

  • ベースモデルでのテキストから画像への生成(50 ステップ)
  • 参照保持付き指示ガイド型編集(ノイズ除去強度による img2img の代替ではなく、モデルのネイティブ編集パスを使用)
  • SigVQ 条件付けモジュールを通じた VQ 条件付け生成
  • 生成画像内の中国語および英語テキストレンダリング

トレーニングレシピは、添付の arXiv 報告 で完全に公開されています:画像のみ事前学習で視覚的事前知識を構築し、次にペア言語監督を行い、統合生成・編集訓練で両方のスキルを統一します。Qwen-Image-Bench では英語で 53.53、中国語で 53.38 を獲得し、リリース時点ではオープン 6B モデルとして最先端の総合結果です。

Text rendering and poster generation showcase

ポスターグレードのレイアウトを持つ中国語および英語テキストレンダリング。

Instruction-guided editing showcase

ネイティブ編集:コンテンツは忠実に保たれ、指示された変更のみが適用されます。

Turbo: 50 ではなく 4 ステップ

ベースモデルに加えて、LLaDA-Image-Turbo は Twin-DMD 蒸留により、生成と編集の両方で 2〜4 サンプリングステップにパイプラインを圧縮しています。4 つのチェックポイントバリアントが初日に出荷されます:Base と Turbo のそれぞれに BF16 と FP8 があり、diffusers レイアウトでバリアントあたり約 49 GB です。

モデルステップチェックポイント
LLaDA-Image (Base)50BF16, FP8
LLaDA-Image-Turbo2-4BF16, FP8
Qwen-Image-Bench comparison

Qwen-Image-Bench 総合スコア:LLaDA-Image は英語と中国語の両方でオープン 6B クラスでトップです。

RebelAI ノードパックで ComfyUI で実行

RealRebelAI によるコミュニティ統合は、ウェイト公開と同じ日に到着しました。このパックには 4 つのノードがあります:LLaDA Image Loader, LLaDA Image Text to Image, LLaDA Image Edit, LLaDA Image Unload。編集ノードは、ノイズ除去強度の近似ではなく、モデルのネイティブ編集パス(generation_mode="editing")を呼び出します。また、編集サイズは 32 で割り切れなければなりません。

統合には、RealRebelAI/LLaDa-Image-Turbo_ComfyUI からの最適化されたウェイトと、対応する Base パックが含まれており、パックあたり約 29 GB です:

ファイル配置先サイズ
LLaDA-Image-Turbo-transformer-BF16.safetensorsmodels/diffusion_models/13.1 GB
LLaDA-Image-Turbo-INT8.safetensorsmodels/diffusion_models/6.6 GB
LLaDA-Image-Turbo-text_encoder-Q4_K_M.ggufmodels/text_encoders/9.2 GB
LLaDa_VAE.safetensorsmodels/vae/0.17 GB

INT8 トランスフォーマーは GGUF ではなくネイティブ safetensors 量子化です;GGUF は量子化された LLaDA2-MoE テキストエンコーダーに対してのみ使用されます。Turbo の場合、4 ステップと CFG 1.0 から開始してください。

トレーニングコードは公式ロードマップで近日公開予定と記載されています。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
LLaDA-Image: InclusionAI が 6B 画像生成・編集モデルをオープンソース化 | ComfyUI Wiki