OpenFillがComfyUIの生成的塗りつぶしをPhotoCraftとGIMPに提供

Photoshopの生成的塗りつぶしは、サブスクリプションを離れた後に恋しくなる唯一の機能です。OpenFillはそれを2つのプラグインとして再構築しています。1つは今月前半に先に登場したGIMP 3.2プラグインで、もう1つが、レイヤー付きPSDファイルの読み書きができるオープンソースのRust製画像エディタPhotoCraft向けのパネルです。

どちらのエディタでも操作は同じです。選択範囲を作ると、その選択範囲がマスクになり、結果は1回の履歴ステップで新しいレイヤーに現れます。そのため下の内容が塗りつぶされることはありません。配線すべきノードグラフも、常に面倒を見るブラウザタブもありません。GIMPではツールがFilters > OpenFillにあり、PhotoCraftではキャンバス横のパネルとFilter > Plug-ins > OpenFillにあります。

4つの操作

• プロンプトで塗りつぶす。 領域を選択し、「真鍮の取っ手が付いた赤いドア」のように入力してEnterを押します。最大5つのバリエーションを保持または破棄できます。
• オブジェクトを削除。 プロンプトは不要です。選択範囲が消去され、背景はその画像本来の解像度で継続して描き込まれます。
• 生成的展開。 キャンバスの端を外側にドラッグするか比率を選ぶと、新しい境界が描き込まれます。プロンプトは任意です。
• 作成。 プロンプトから新しい画像または新しいレイヤーを作成します。選択範囲がある場合はそのサイズになります。

バックエンドはComfyUIで、隠されたまま

ComfyUIはエディタとともに起動し、作業中はウォーム状態を保ち、エディタを閉じるとシャットダウンします。リッスンするのは127.0.0.1のみで、ネットワーク通信はモデル検索と明示的なダウンロードだけであり、これらはサイズとSHA-256で検証されます。WindowsではインストーラーがComfyUI自体（AMDビルドを含む）を取得できます。それ以外の環境では既存のインストール先を指定します。

モデルマネージャーはモデルを同梱していません。カードとディスクに収まる重みを推奨し、ComfyUIのフォルダ内にあるユーザー自身のSD 1.5インペイント、SDXL、FLUX.1 Fillのファイル（.safetensorsと.gguf）も見つけます。

まだ不足している点

プロジェクト自身のステータスリストは粗削りな部分について率直で、そのほとんどはプラグインではなくモデルが描く内容にあります。

• FLUXとQwenの塗りつぶし、展開、作成は約1024 pxで動作し、その後拡大されるため、大きな画像ではぼやけた結果になりがちです。削除は影響を受けません。
• SD 1.5は平坦な領域や小さな選択範囲ではプロンプトを無視することがよくあります。
• 8 GBでのFLUXは低速です。

r/comfyuiのスレッドの最初の返信でも同じぼやけが指摘されました。車を削除した箇所にぼやけたパッチが残っていたのです。作者は、デモがRealVisXLで実行されていたことが原因だと特定しました。RealVisXLは約1024 pxでしか動作しないため、大きな写真ではパッチが縮小され、その後拡大されます。作者は、オリジナルの解像度をより多く保つ取り組みが進行中だと述べています。

利用環境

OpenFillにはNVIDIA製カード、またはRadeon RX 7000以降が必要で、高品質モデルには8 GBのメモリが必要です。Windows 10/11とLinuxで動作します。GIMPプラグインはmacOSでも動作します。PhotoCraftはApple Siliconをサポートしています。16 GBのM3 MacBook Airでのプロジェクト自身のテストでは、4つの操作すべてが完了し、削除は4.0秒、展開は512 x 384の画像を14.1秒で576 x 448に変換しました。これらの数値は機能確認であり、速度ベンチマークではありません。AMDサポートは新しく、現時点ではRX 7800 XTユーザーからの報告が1件あるだけです。

どちらのビルドもベータです。ダウンロードと変更履歴はリリースページにあります。プロジェクトはPhotoCraftと提携していないと明記しており、Torben Giesselmannのgimp-stable-boyをGIMP 3に移植したものとして始まり、インペイントのグラフはAclyのcomfyui-inpaint-nodesに基づいて構築されていると述べています。