Fizgig v5 フルファインチューニング：MiniMax H3 と Krea 2 を 16 GB でトレーニング

Fizgig v5.0.0 は 8 月 29 日にリリースされ、単一のコンシューマー GPU でMiniMax H3 (33B) および Krea 2 (12.9B) ベースモデルのフルファインチューニングを可能にし、16 GB VRAMでも動作します (GitHub | リリースノート, Apache-2.0)。これまですべての Fizgig ランは凍結されたモデル上で LoRA アダプターのトレーニングを行っていましたが、このリリースではモデル自体をトレーニングします。4 ビット NF4 凍結ベース上を回転するトレーニング可能なウィンドウを使用し、bf16 マスターコピーはシステム RAM に保持され、アダプターやランクボトルネックなしでフルランクの重み更新を行います。

Fizgig: MiniMax H3、Krea 2、Flux 2 Klein 9B 向けのトレーニング、ファインチューニング、修復、探索ワークベンチ

カードがファインチューニングできるもの

すべての確認済みの数値は推定ではなく測定された実行から得られたものです：H3 では 16 GB カードで 8.8〜12.3 GB のピーク、Krea 2 では 8.4〜11.0 GB です。12 GB カードではまだ LoRA のみをトレーニングできます；16 GB がファインチューニングの下限です。開発者からの 2 つの注意：ファインチューニングはまだ AMD/ROCm ではテストされておらず、Krea 2 のファインチューニングは実質的に約 24 GB のマスターコピーが RAM に存在するため、48 GB 以上のシステム RAM を必要とします。

33B ファインチューニングが 16 GB に収まる仕組み

MiniMax H3 の 33B パラメータの単純なフルファインチューニングには約 200 GB のメモリが必要になります。Fizgig はモデル内でトレーニング可能なウィンドウを回転させます：すべての重みが完全なサイクルでトレーニングされますが、勾配とオプティマイザーの状態はアクティブなスライスでのみ存在します。モデルの残りの凍結部分はカード上で 4 ビットで保持され、保存されるチェックポイントは量子化器を通らないマスターコピーから bf16 で書き出されるため、出力はクリーンな全精度ファインチューンとなります。

一つの概念がデフォルトを説明しています：エポックはモデルのスライスの一つをトレーニングします。トレーニング可能なウィンドウは各エポックごとに回転するため、モデルのすべての部分が一度トレーニングされるために完全なサイクル（通常 4 エポック）が必要です。そのため、エポックのデフォルトが高く見える理由、およびチェックポイントがサイクル境界で保存される理由がわかります。

学習率は LoRA トレーニングよりも重要

リリースノートではこれを尊重すべき唯一の数値と呼んでいます：ファインチューニングは LoRA トレーニングよりもはるかに低い学習率を必要とします。「Fine-tune」をチェックすると、両ファミリーに対して安全な1e-5が設定されます。MiniMax H3 では、3e-5 はテストされたより速いレートであり、使用するべき最大値です；1e-4 は H3 ファインチューンを破壊します。Krea 2 では 1e-4 まで実験できますが、結果は低い方が良くなります。

ComfyUI 用の Checkpoint to LoRA エクスポート

組み込みのCheckpoint to LoRAユーティリティは、ファインチューンしたものをベースモデルと比較し、任意のランクの通常の共有可能な LoRA を抽出します。開発者のテストでは、ランク 64 の抽出はフルチェックポイントと知覚的に区別できず、ComfyUI がすでに正常に読み込むファイル形式です。また、フルチェックポイントを保持し、Preferences でファミリーベースとして設定することもできます。その後、独自のファインチューンモデル上に LoRA をトレーニングできます。