TailSteerがQwen-Image 2.1の編集を20ターン以上安定させる

ComfyUI Wikinews

TailSteerはQwen-Image 2.1の最終トレーニングステージで、長い編集チェーンでのドリフトを防止します。BF16 transformerとして提供され、4つのネイティブComfyUIワークフローを同梱しています。

TailSteerは11月4日にリリースされたQwen-Image 2.1の最終トレーニングステージで、編集チェーンのドリフトを防ぎます。ComfyUI/models/diffusion_models/ 向けの完全なBF16 transformerとして提供され、ネイティブのQwen-Image 2.1ノードで動作し、4つのすぐに使えるワークフローが付属します。

同じ画像を10回続けて編集すると、最後のフレームはもはや元の絵ではありません。肌はプラスチックのようになり、テキストは歪み、背景のディテールはぼやけます。しかも、それらを指示した覚えはありません。TailSteerは、最初の編集で得られた品質を損なうことなく、このループに耐えられるようモデルをトレーニングします。

20回の編集後のベースモデル
20回連続編集の20ターン目、ベースモデルとTailSteerの比較(プロジェクトのサンプル集より)

何が変わるか

プロジェクトのAdd & Preserveベンチマークでは、10ターンにわたり毎ターン小さなオブジェクトを1つ追加し、変化せずに残った部分を評価します。TailSteerはベースモデルのオブジェクト完成率を維持しつつ、編集ボックス外のすべてを改善します:

指標(ターン10)ベースTailSteer
COA、オブジェクト完成率 (%) ↑67.3666.94
編集領域外のPSNR ↑16.9318.15
編集領域外のSSIM ↑0.4380.513
編集領域外のLPIPS ↓0.2700.239

トレードオフはわずかです: Qwen-IB EN 53.39 → 53.06、GEdit EN 8.11 → 8.04、ImgEdit 4.40 → 4.42。テキストから画像への生成も同じcheckpointから動作し、推論時に保存マスクやモデルの切り替えは不要です。

テキストから画像へのペア、同一プロンプトとシード

同一プロンプトとシード: ベースモデルとTailSteerの比較。

ComfyUIで実行する

  1. TextEncodeQwenImage21 と QwenImage21Cache を含むビルドにComfyUIをアップデートし、qwen_image_2.1_tailsteer_bf16.safetensors(14.23 GB)を models/diffusion_models/ に配置します。
  2. 変更されていないベースのコンポーネントを追加します: qwen3vl_8b_bf16.safetensors を models/text_encoders/(17.53 GB)に、qwen_image_2.1_vae_bf16.safetensors を models/vae/ に配置します。どちらも Comfy-Org/Qwen-Image-2.1 から入手できます。
  3. ワークフローをドラッグして実行します: 40 Eulerステップ、CFG 1.0、ロスレスKVキャッシュ、参照解像度1024。

3ターンのワークフローでは、各 VAE Decode が次の Text Encode Qwen Image 2.1 に接続されるため、編集ステージを複製するとチェーンが延長されます。

守るべき設定が1つあります: サンプラーはリリースされたダイナミックシフトから構築された ManualSigmas を使用しており、ComfyUIの汎用 simple スケジュールは同じカーブではありません。出力サイズやステップ数を変更する場合は、プロジェクトの comfyui_sigmas.py で再生成し、結果を貼り付けてください。

検証済みの構成はH100 80 GBとBF16コンポーネントです。量子化構成やコンシューマーGPU構成は検証されていません。サンプルワークフローは1280×832、960×1120、1024×1024で実行されます。

入手方法

モデルカードによると、保存能力がおよそ2倍のより強力なバージョンがトレーニング中です。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
TailSteerがQwen-Image 2.1の編集を20ターン以上安定させる | ComfyUI Wiki