Fizgig v5 Entrenamiento Completo: Entrena MiniMax H3 y Krea 2 en 16 GB

Fizgig v5.0.0, lanzado el 29 de agosto, añade el entrenamiento completo de los modelos base MiniMax H3 (33B) y Krea 2 (12.9B) en una sola GPU de consumo, con hasta 16 GB de VRAM (GitHub | notas de lanzamiento, Apache-2.0). Hasta ahora, cada ejecución de Fizgig entrenaba un adaptador LoRA sobre un modelo congelado. Este lanzamiento entrena el propio modelo: actualizaciones de peso de rango completo sin adaptador ni cuello de botella de rango, usando una ventana entrenable rotativa sobre una base congelada 4-bit NF4, con la copia maestra bf16 almacenada en la memoria RAM del sistema.

Fizgig: un banco de trabajo para entrenar, ajustar, reparar y explorar MiniMax H3, Krea 2 y Flux 2 Klein 9B

Qué puede ajustar tu tarjeta

Cada número confirmado proviene de ejecuciones medidas, no estimaciones: picos de 8.8 a 12.3 GB en una tarjeta de 16 GB para H3, y de 8.4 a 11.0 GB para Krea 2. Una tarjeta de 12 GB solo entrena LoRAs; 16 GB es el límite inferior para el ajuste fino. Dos advertencias del desarrollador: el ajuste fino no se ha probado aún en AMD/ROCm, y el ajuste fino de Krea 2 requiere realísticamente 48 GB o más de RAM del sistema porque su copia maestra de aproximadamente 24 GB vive en la RAM.

Cómo cabe un ajuste fino de 33B en 16 GB

Un ajuste fino completo ingenuo de los 33B parámetros de MiniMax H3 necesitaría aproximadamente 200 GB de memoria. Fizgig rota una ventana entrenable a través del modelo: cada peso entrena durante un ciclo completo, pero los gradientes y el Estado del optimizador solo existen para la porción activa. El resto congelado del modelo se mantiene 4-bit en la tarjeta, y el checkpoint guardado se escribe en bf16 desde una copia maestra que nunca pasa por el cuantificador, por lo que la salida es un ajuste fino limpio de precisión completa.

Un concepto explica los valores predeterminados: una época entrena una porción del modelo. La ventana entrenable rota cada época, por lo que se necesita un ciclo completo, típicamente 4 épocas, para que cada parte del modelo entrene una vez. Por eso los valores predeterminados de época parecen altos, y por qué los checkpoints se guardan en los límites del ciclo.

La tasa de aprendizaje importa más que en el entrenamiento LoRA

Las notas de lanzamiento llaman a esto el único número a respetar: el ajuste fino quiere tasas de aprendizaje mucho más bajas que el entrenamiento LoRA. Marcar Ajuste Fino establece un 1e-5 seguro en ambas familias. En MiniMax H3, 3e-5 es la tasa más rápida probada y lo máximo que deberías usar; 1e-4 destruirá un ajuste fino de H3. En Krea 2 puedes experimentar hasta 1e-4, pero los resultados son mejores a niveles más bajos.

Exportación de Checkpoint a LoRA para ComfyUI

La utilidad integrada Checkpoint a LoRA diferencia tu ajuste fino contra el modelo base y extrae un LoRA ordinario y compartible a cualquier rango. En las pruebas del desarrollador, una extracción de rango 64 fue perceptualmente indistinguible del checkpoint completo, en un archivo que ComfyUI ya carga normalmente. También puedes mantener el checkpoint completo y establecerlo como la base de la familia en Preferencias, luego entrenar LoRAs sobre tu propio modelo ajustado.