Fizgig v7: AnimaとSDXLに対応し、全モデルでファインチューニングが可能に

ComfyUI Wikinews

Fizgig v7はAnimaとSDXLのトレーニング、8 GBカードまで対応する6モデルすべてのフルファインチューニング、そしてコミュニティが拡張できる完全なドライバーシステムを追加します。

10月5日にリリースされたFizgig v7.0.0は、AnimaとSDXLをスタジオに迎え、サポートするすべてのモデルでフルファインチューニングを機能として利用できるようにしました(GitHub | リリースノート | ドライバーガイド)。同日中にv7.0.1のパッチも続きました。

Fizgig LoRA and fine-tune studio

Fizgig: Flux 2 Klein 9B、Krea 2、MiniMax H3、Qwen Image 2.1、SDXL、Animaのためのトレーニング、ファインチューニング、修復、探索のワークベンチ

このスタジオはすでにFlux 2 Klein、Krea 2、MiniMax H3、Qwen Image 2.1向けのLoRA、LoKR、ファインチューニングをトレーニングできました。バージョン7は2つのギャップを同時に埋めます。最も要望の多かった2つの旧世代ファミリーを追加し、コミュニティ製ドライバーが記述するモデルであればどれでもワークベンチ全体を利用できるようにします。

2つの新しいベースモデル

モデル備考
Anima(実験的)CircleStone Labsのアニメ・イラストモデルで、ワークベンチをフル搭載。非商用ライセンスがそのまま引き継がれます。
SDXL(実験的)任意の単一ファイルSDXLチェックポイント。VAEとテキストエンコーダーはチェックポイントから直接読み込まれます。デフォルトのダウンロードはJuggernaut XL v9で、Illustrious XLも併せて提供されます。

どちらもLoRAとLoKRのプリセット、プロンプトペアまたは写真ペアからのスライダーLoRA、ファインチューニングを備えています。AnimaにはCharacterプリセット、Styleプリセット、そしてモデルカード自体のOfficialレシピが用意され、SDXLにはEMAを有効にしたStrong、Standard、Sliderのプリセットが付きます。コミュニティ製のSDXL LoRAもワークベンチで読み込め、kohya形式のファイル、LoCon、LightningやLCMといった速度系LoRAにも対応します。CLIPの77トークンを超える部分はComfyUIと同じようにチャンク単位でエンコードされるため、長いキャプションが切り捨てられなくなりました。

すべてのモデルでファインチューニング

ファインチューニングは、6モデルすべてでTrainingタブのKind of trainingという1つの選択肢になり、Klein 9B、SDXL、Animaでは新機能です。各実行はベースファイルを置き換える完全なチェックポイントを書き出します。

最も大きく変わったのはメモリ計画です。ファインチューニングは、常に一度に1つのパーツだけをトレーニングするのではなく、カードに収まる限り多くのモデルを各パスに詰め込み、トレーニングしていないブロックは必要に応じてシステムメモリからストリーミングします。十分に大きなカードではモデル全体が1パスでトレーニングされ、小さなカードでは処理が分割されます。

モデルファインチューニング可能な下限1パスでモデル全体を処理できる下限
Anima8 GB10 GB
SDXL8 GB10 GB
Qwen Image 2.112 GB24 GB
Klein 9B16 GB32 GB
Krea 216 GB48 GB
MiniMax H316 GB48 GB

32 GBカードでは、Krea 2は4パスではなく2パス、MiniMax H3は3パスで済みます。作者のテストでは、Animaで計測したところ、すべてをまとめてトレーニングすると4回の個別パスよりもモデル全体を約2.6倍高速に処理できました。新しいWindow size設定は、限界に近いカード向けに、同時にトレーニングするパーツ数を制限します。またTrainingタブでは、実行開始前に現在のカードに適用される計画を確認できます。

The Fizgig workbench

ワークベンチのツール(ここではGizmoの動画クリップ準備ビュー)はすべてのモデルで動作し、今では1つのドライバーインターフェースを共有しています。

ドライバーシステムが完成

KleinとMiniMax H3は、Krea 2、Qwen Image 2.1、SDXL、Animaが使うのと同じドライバーシステム上で動作するようになりました。モデルはそのファイル、LoRAフォーマット、モデルコードを標準インターフェースの背後に置いて一度だけ記述され、トレーニング、プレビュー、ダウンロード、メモリ計画、そして5つすべてのワークベンチツールがその記述から動作します。

実用上の効果は、あるモデル向けに作られた機能が他のモデルでも使えるようになり、コミュニティがモデルを追加できることです。ドライバーの書き方ガイドでは、コードがどこから呼び出されるか、静止画モデルと動画モデルのウォークスルー、すべてのオプション機能、そして完成したモデルに含めるべき項目のチェックリストを扱っています。SDXL、Anima、Qwen Image 2.1はこのガイドに従って作られており、新しいモデルや旧世代モデルのプルリクエストを歓迎します。

ワークベンチの更新

  • Repair Studioは、すべてのモデルでスライダー変更後に該当ブロックだけを再レンダリングし、フルレンダリングと同じ画像になります。デフォルトで有効で、Setupカードでオフにできます。
  • Checkpoint to LoRAは、SDXLやAnimaを含むすべてのファインチューニングで動作します。ファインチューニング済みチェックポイントを指定したrankでLoRAに変換します。作者によれば、ファインチューニングから抽出したLoRAは、同じrankで直接トレーニングしたものより強くなるということです。
  • LoHa LoRAがProfilerとExtractで読み込めます。ExtractはLoHaを標準のLoRAに変換します。
  • ネガティブプロンプトに適切な複数行ボックスが付き、編集内容を記憶するモデルごとのデフォルトを備えます。競合しない除外はモデルごとに保持されるようになったため、Krea 2の除外が同じ写真を使うSDXLに影響しなくなりました。
  • より多くのLoRAフォーマットが読み込めます: diffusersの命名で保存されたSDXL LoRAが、kohya、LyCORIS、PEFT、ComfyUI形式のファイルと並んでどこでも動作するようになりました。

保存されたLoRA、LoKR、Repair Studioの保存内容、Extractの出力は同じフォーマットを維持し、ComfyUIの標準LoRAローダーで読み込めます。

入手方法

既存のインストールはupdate_fizgig.bat、AMDではupdate_fizgig_rocm.batで更新できます。PreferencesタブのAnimaとSDXLのセクションでそれぞれのモデルをダウンロードでき、保存済みのH3設定も引き継がれます。

Fizgigはスタンドアロンのトレーナーであり、ComfyUIノードではありません。kohya形式の.safetensors LoRAを保存し、そのままComfyUI/models/loras/に投入できます。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Fizgig v7: AnimaとSDXLに対応し、全モデルでファインチューニングが可能に | ComfyUI Wiki