IC-Light: ComfyUI向け画像再照明モデル
IC-Lightはlllyasvielによる画像再照明シリーズです。オープンなV1チェックポイントに加え、現在は公式オンラインデモでのみ動作するFLUXベースのV2を提供しています。
lllyasvielによるIC-Light
画像編集再照明オープンソースlllyasviel（ControlNetの作者）による画像再照明モデルシリーズ。V1は、プロンプトから照明を再レンダリングする3つのオープンなSD 1.5チェックポイントとして提供されています。V2は前景条件付けを備えたFLUXに移行し、公式オンラインデモから利用できます。
| 開発者 | lllyasviel |
| リリース日 | 2024-05（V1）、2024-10（V2プレビュー） |
| アーキテクチャ | SD 1.5ベース（V1）、FLUXベース（V2） |
| ライセンス | OpenRAIL-M（V1の重み）、非商用（V2） |
| 機能 | 再照明、前景条件付け、背景置き換え |
概要
IC-Lightは、写真の中身を変えることなく照明を再調整します。望む光を記述したテキストプロンプト（任意で環境マップも可）を与えると、モデルはシーンを再レンダリングし、被写体がその光で照らされるように仕上げます。前景条件付けのバリアントは被写体のピクセルをそのまま保ち、光だけを動かすため、出力を合成に使えるものにします。
V1チェックポイント
V1はSD 1.5上に構築されており、3つの重みを提供しています。いずれもHugging Face上にあります。
| チェックポイント | 条件付け | 備考 |
|---|---|---|
iclight_sd15_fc.safetensors | テキスト + 前景 | デフォルトモデル。初期潜在によって再照明を誘導することもできる |
iclight_sd15_fcon.safetensors | テキスト + 前景 | fcと同じだがオフセットノイズで学習。作者のユーザー調査ではわずかに弱い |
iclight_sd15_fbc.safetensors | テキスト + 前景 + 背景 | 背景も条件付けされるため、シーン全体がプロンプトに従う |
IC-Light V2
V2はモデルをFLUX上に再構築し、16チャンネルのVAEとネイティブな高解像度処理を追加したため、油絵やアニメといったスタイライズされた入力でもディテールを保ちます。これまでに利用可能なのは前景条件付けモデルのみで、公式Hugging Face Space経由で提供されています。V2の重み自体はオープンではないため、ダウンロードしてローカルで実行できるチェックポイントはありません。V2の出力は非商用利用のみにライセンスされています。
ComfyUIとの統合
V1では、IC-Lightノードとサンプルワークフローを提供するkijai/ComfyUI-IC-Lightをインストールし、チェックポイントをmodels/checkpointsに配置します。V2では、ワークフローはIC-Light V2チュートリアルで説明されているオンラインデモです。
ライセンス
V1の重みはCreativeML OpenRAIL-Mの下でリリースされています。オリジナルのV1の例では背景除去にBRIA RMBG 1.4を使用していますが、これは非商用です。IC-Lightを商用利用する場合はBiRefNetのようなものに置き換えてください。IC-Light V2は非商用利用のみです。
コメント
GitHubでサインインしてディスカッションに参加しましょう。