Qwen-Image 2.1対応 Prunaのオブジェクト削除LoRAを6ステップで実行

ComfyUI Wikinews

PrunaAIのオブジェクト削除LoRAを使えば、Qwen-Image 2.1の写真からマスクしたオブジェクトをCFGなしの6ステップで消去し、フレームの残りの部分はそのまま保持できます。ComfyUIワークフローも配布されています。

PrunaAIは11月10日、P-Q-Image-2.1-Remove-Objectをリリースしました。写真内でマスクしたオブジェクトを削除し、フレームの残りの部分は元の位置に保つrank-32のLoRAです。6ステップと8ステップのバリアントは、CFGなしでPrunaの蒸留LoRA上で動作します。ComfyUIエクスポートには、すぐに使える2つのワークフローと、モデルが期待するマスクのアウトラインを描画する小さなノードが含まれています。
写真結果
写真6ステップ、「広場を横切って歩く傘を持った人物を削除する。」

人物が消え、濡れた広場に落ちていた長い反射も消えます。反射はマスクの外側にあったにもかかわらずです。舗装は隙間を縫うように続いています。

花畑から削除されたピンクのドレスの女性

別の写真に同じLoRAを適用、6ステップ、約2MP。モデルカードの例。

なぜこれを使うのか

Qwen-Image 2.1の編集はフレーム全体を塗り直す傾向があり、色がずれて出力が入力と位置合わせされなくなります。少ステップの蒸留はこれをさらに悪化させます。このLoRAはオブジェクトの外側のピクセルを保持するように学習されているため、結果は元のサイズのままオリジナルに重ねて戻せます。つまりデモではなく、仕上げ用として使えるということです。

実行方法

  1. ComfyUIをアップデートして、Qwen-Image 2.1とサブグラフをサポートするビルドにします。
  2. ファイル: Comfy-Org/Qwen-Image-2.1 の拡散モデル、テキストエンコーダー、VAE をそれぞれ所定のフォルダに置き、2 つの LoRA を ComfyUI/models/loras/ に入れます。PrunaAI/P-Q-Image-2.1-Comfy の 6 ステップ蒸留 LoRA p_q_image_2.1_6_steps_v0.2_comfyui_bf16.safetensors と、このリポジトリ の p_q_image_2.1_remove_object_6_steps_v0.1_comfyui_bf16.safetensors です。
  3. カスタムノード: precise_removal_outline/をComfyUI/custom_nodes/にコピーし、そのrequirements.txt(opencv)をComfyUIのPythonにインストールして、再起動します。
  4. マスク: Load Imageを右クリックし、Open in MaskEditorを選択してオブジェクトの上を塗り、保存します。マスクファイルでも構いません(白=削除)。マスクがない場合は、指示文だけが削除する対象を指定します。
  5. 指示文を書く: Precise Removal Outlineに、例えばRemove the man on the left.と入力します。ノードが赤いアウトラインを描き、モデルが学習した文を追加します。

サンプル設定は6ステップ、CFGなし、removal_strength 0.7、蒸留LoRAは1.0です。ワークフローは、マスクがすでに塗られた同梱のサンプルで開きます。

バリアントステップ蒸留LoRA強度
6-step(デフォルト)6p_q_image_2.1_6_steps_v0.20.7
8-step8p_q_image_2.1_8_steps_v0.10.7
base40なし1.0

制限事項

  • オブジェクト以上に削除してしまうことがあります。 アウトラインはテキストより優先されるため、残したいものまで含むマスクではそれも削除されます。オブジェクトが重なる箇所ではマスクをタイトに保ってください。強度を下げても解決しません。
  • 塗りつぶされた領域が周囲より滑らかに見えたり、薄いグリッドが現れたりすることがあります。強度0.5では削除に失敗し、オブジェクトが色を変えたまま残る場合があります。
  • 削除専用です。 オブジェクトの追加や置き換えは学習されておらず、ベースモデルより良くなることはありません。
  • マスクをオフにすると、混雑したシーンでは雑なマスクを使うより指示文だけのほうがうまくいくことがよくあります。

入手先

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Qwen-Image 2.1対応 Prunaのオブジェクト削除LoRAを6ステップで実行 | ComfyUI Wiki