Fizgig v5 풀 파인튜닝: ComfyUI 를 위한 16GB VRAM MiniMax H3 및 Krea 2 학습

Fizgig v5.0.0 이 8 월 29 일 출시되어 단일 소비자용 GPU 에서 MiniMax H3 (33B) 및 Krea 2 (12.9B) 베이스 모델의 전체 파인튜닝을 16 GB VRAM까지 지원했습니다 (GitHub | 릴리스 노트, Apache-2.0). 지금까지 모든 Fizgig 실행은 동결된 모델에 LoRA 어댑터를 훈련하는 것이었습니다. 이번 릴리스는 모델 자체를 훈련합니다: 4 비트 NF4 동결 베이스에 대한 회전 가능한 훈련 가능 창을 사용하여 어댑터와 랭크 병목 현상 없이 전체 순위 가중치 업데이트를 수행하며, bf16 마스터 복사본은 시스템 RAM 에 유지됩니다.

Fizgig: MiniMax H3, Krea 2 및 FLUX 2 Klein 9B 를 위한 훈련, 미세 조정, 수리 및 탐색 워크벤치

귀하의 카드가 파인튜닝할 수 있는 것

모든 확인된 숫자는 추정치가 아닌 측정된 실행 결과입니다: H3 의 경우 16 GB 카드에서 8.8 ~ 12.3 GB 피크, Krea 2 의 경우 8.4 ~ 11.0 GB 피크입니다. 12 GB 카드는 여전히 LoRA 만 훈련하며, 16 GB 가 파인튜닝의 최소 요구 사항입니다. 개발자의 두 가지 주의사항: 파인튜닝은 아직 AMD/ROCm 에서 테스트되지 않았으며, Krea 2 파인튜닝은 대략 24 GB 마스터 복사본이 RAM 에 저장되므로 현실적으로 48 GB 이상의 시스템 RAM 이 필요합니다.

33B 파인튜닝이 16 GB 에 어떻게 들어가는지

MiniMax H3 의 33B 파라미터에 대한 단순한 전체 파인튜닝에는 약 200 GB 의 메모리가 필요합니다. Fizgig 은 모델을 통해 훈련 가능 창을 회전시킵니다: 모든 가중치는 한 주기에 걸쳐 훈련되지만, 기울기와 옵티마이저 상태는 활성 슬라이스에만 존재합니다. 모델의 나머지 부분은 4 비트로 카드에 보유되며, 저장된 체크포인트는 양자화기를 거치지 않는 마스터 복사본에서 bf16 으로 작성되므로 출력은 깨끗한 전체 정밀도 파인튜닝입니다.

하나의 개념이 기본값을 설명합니다: 한 에포크는 모델의 한 슬라이스를 훈련합니다. 훈련 가능 창은 각 에포크마다 회전하므로 모델의 모든 부분이 한 번 훈련되려면 전체 주기 (일반적으로 4 에포크) 가 필요합니다. 이것이 에포크 기본값이 높게 보이는 이유이며, 체크포인트가 주기 경계에서 저장되는 이유입니다.

학습률은 LoRA 학습보다 더 중요합니다

릴리스 노트에서는 이를 존중해야 할 유일한 숫자로 지정합니다: 파인튜닝은 LoRA 학습보다 훨씬 낮은 학습률을 원합니다. Fine-tune 을 선택하면 두 계열 모두 안전한 1e-5로 설정됩니다. MiniMax H3 의 경우 3e-5 는 테스트된 빠른 속도로 사용해야 하는 최대치이며, 1e-4 는 H3 파인튜닝을 파괴합니다. Krea 2 에서는 1e-4 까지 실험할 수 있지만, 결과는 낮을수록 더 좋습니다.

ComfyUI 를 위한 체크포인트에서 LoRA 로 내보내기

내장된 체크포인트에서 LoRA 로 유틸리티는 파인튜닝을 베이스 모델과 비교하여 임의의 랭크에서 일반적이고 공유 가능한 LoRA 를 추출합니다. 개발자의 테스트에서 랭크 64 추출은 전체 체크포인트와 지각적으로 구별할 수 없었으며, 이는 ComfyUI 가 이미 정상적으로 로드하는 파일입니다. 또한 전체 체크포인트를 유지하고 환경 설정에서 해당 계열의 베이스로 설정한 후, 자신의 파인튜닝된 모델 위에 LoRA 를 훈련할 수도 있습니다.