Krea 2 BBOX: finetune de control de diseño para cómics y texto

Un prompt con anclaje de cuatro viñetas. Columnas: Krea 2 Turbo original, el finetune, EMA 0.9995, EMA 0.99975.

El texto y el diseño son las dos cosas que un modelo de texto a imagen normalmente aproxima. Pide un bocadillo con una línea de diálogo y obtendrás ruido con forma de letras más o menos en el sitio correcto; pide cuatro viñetas y el modelo inventa un collage. Este finetune ataca ese problema directamente enseñando al modelo un formato de prompt que nombra cada elemento y le asigna una caja.

Dos variantes, tres pesos cada una

El finetune se entrenó sobre Krea 2 Raw y se distribuye en dos variantes. Turbo es el finetune con el delta de destilación de base a turbo fusionado, por lo que muestrea en 8 pasos con CFG desactivado. Raw es el finetune tal como se entrenó, a 50 pasos con CFG 5.5.

Cada variante incluye también dos sombras EMA de sus pesos, con decaimiento 0.9995 y 0.99975. La nota del autor sobre ellas es que el suavizado puede elevar la calidad de imagen, pero también puede hacer que el modelo sea menos preciso con las cajas.

Los checkpoints de entrenamiento de las epochs 1 a 19 permanecen en el repositorio como referencia. Quedan sustituidos por la versión de la epoch 20.

El prompt es una especificación de diseño

Alrededor del 90% del entrenamiento usó un DSL de anclaje compacto en lugar de prosa. Es texto plano, un elemento por línea, y cada caja son cuatro números en una cuadrícula de 0 a 1000, con la x primero:

A four-panel comic in which an anime handywoman and an anthropomorphic tabby cat assemble a flat-pack shelf and fail completely.
@clean line art, flat colors, light cel shading; Digital illustration
~A bare apartment living room with cardboard packaging and loose screws on a pale wood floor.
p[0,0,500,500] Top-left panel: the handywoman holding up the instruction sheet, confident.
p[500,0,1000,500] Top-right panel: the cat batting a single screw off the floor.
p[0,500,500,1000] Bottom-left panel: a lopsided half-built shelf wobbling.
p[500,500,1000,1000] Bottom-right panel: the shelf collapsed, the cat sitting smugly on the wreckage.
ac:1[60,80,340,470] A young woman with short dark hair in blue overalls, holding an instruction sheet, confident grin.
fc:2[560,90,880,470] An anthropomorphic tabby cat in a tool belt, one paw raised mid-swat, innocent expression.
t[80,40,420,120]"SOME ASSEMBLY REQUIRED." black text in a rounded speech bubble
t[540,530,960,610]"IT HAS FIVE LEGS NOW." black text in a rounded speech bubble

Los prefijos son p para viñeta, o para objeto, t para texto literal, y pe / ac / fc para persona, personaje anime y personaje furry. Una línea @ lleva las etiquetas de estilo y una línea ~ lleva la descripción de la escena. La tarjeta del modelo advierte de que escribir las coordenadas con la y primero es el fallo más común, y que falla en silencio: la imagen sigue pareciendo plausible, solo que no donde se pidió.

El mismo prompt que arriba. Las muestras con anclaje reciben una segunda fila con las cajas solicitadas superpuestas.

Los prompts en prosa siguen funcionando, porque el texto plano fue el otro 10% del entrenamiento. El DSL es lo que hace que el diseño sea lo bastante exacto para resultar útil, y PROMPTING.md es una especificación completa con ejemplos listos para copiar y pegar.

En ComfyUI

Cada variante se distribuye como un archivo único en el formato nativo de Krea, que es el formato que carga ComfyUI. Seis archivos cubren Turbo, Raw y ambas sombras EMA:

Los archivos van en ComfyUI/models/diffusion_models/. No cambia nada más: el codificador de texto y el VAE son los originales de Krea 2, tomados de Comfy-Org/Krea-2, y las plantillas integradas de texto a imagen de Krea 2 funcionan tal cual una vez cambiado el modelo de difusión.

También hay una demo de lienzo Gradio que ejecuta el checkpoint turbo, para poder probar el formato de prompt antes de descargar nada.

Las LoRAs son una aproximación

La versión también incluye LoRAs de rango 64, 128 y 256, para todos los que solo pueden apilar adaptadores en lugar de cambiar un transformer de 26 GB. El autor es explícito en que son aproximadas, y midió cuánto del finetune completo portan sobre muestras de entrenamiento reservadas:

La razón es que se trató de un finetune de rango completo, con el cambio repartido por casi todas las direcciones de cada matriz de pesos, y una LoRA no puede portar en absoluto normas, sesgos ni tablas de modulación. En ComfyUI los archivos LoRA van en ComfyUI/models/loras/ y se aplican con fuerza 1.0 mediante LoraLoaderModelOnly sobre el modelo Krea 2 original, Raw o Turbo, usando los ajustes de sigma correspondientes a cada uno.

Una muestra de fotografía de producto. Texto colocado por caja, no por azar.

Con qué se entrenó

La parte de los datos es de donde viene la capacidad de diseño. Un fondo pre-IA de 30 millones de imágenes se agrupó con DINOv3 y SigLIP2 y se clasificó por estética; todo lo que contenía arte dibujado o cómics se etiquetó además con wd-tagger y JTP y se volvió a clasificar por diversidad.

El conjunto final son 40.000 imágenes: 20.000 fotografías generales, 10.000 cómics y 10.000 imágenes de arte. Las 40.000 se encajaron con un pipeline de etiquetado personalizado sobre gemma-4-31B-it y LocateAnything-3B, y los prompts resultantes se comprimieron a un máximo de 512 tokens en el formato DSL.

Una muestra de póster serigrafiado, el otro extremo de la misma capacidad.

Límites

• El DSL tiene que escribirse o generarse correctamente. El orden de las coordenadas, la letra del elemento y el tamaño de la caja forman parte del prompt, y una línea equivocada produce una imagen equivocada sin ningún error.
• Los prompts con anclaje son largos. 512 tokens es el techo al que se comprimieron los prompts de entrenamiento, así que las páginas muy densas se salen de lo que vio el modelo.
• Las sombras EMA pueden verse mejor y ser menos precisas con las cajas al mismo tiempo, lo cual es un compromiso que conviene probar según el uso.
• Las LoRAs portan una pequeña parte del efecto. Para cuadrículas de viñetas y texto colocado con precisión, el finetune completo es la versión con la que se hicieron las muestras.
• Es un finetune de la comunidad de Krea 2, así que el codificador de texto y el VAE de Krea 2 siguen siendo necesarios, y hereda todo lo que el modelo base no sabe sobre letras y diálogos cortos.