Krea 2 BBOX: контроль компоновки, финтюн для комиксов и текста

Насыщенный четырёхпанельный промпт. Столбцы: стоковый Krea 2 Turbo, финтюн, EMA 0.9995, EMA 0.99975.

Текст и компоновка это две вещи, которые text-to-image модель обычно лишь приблизительно угадывает. Попросите речевой пузырь с репликой диалога, и вы получите шум в форме букв примерно в нужном месте; попросите четыре панели, и модель придумает коллаж. Этот финтюн бьёт прямо по этой проблеме, обучая модель формату промпта, который называет каждый элемент и даёт ему бокс.

Два варианта, по три набора весов в каждом

Финтюн обучен на Krea 2 Raw и поставляется в двух вариантах. Turbo это финтюн со влитой дельтой дистилляции base-to-turbo, поэтому он сэмплит за 8 шагов с выключенным CFG. Raw это финтюн как есть, 50 шагов с CFG 5.5.

Каждый вариант также идёт с двумя EMA-тенями своих весов, при затухании 0.9995 и 0.99975. Замечание автора о них: сглаживание может повысить качество изображения, но также может сделать модель менее точной в отношении боксов.

Чекпойнты обучения с эпох 1 по 19 остаются в репозитории для справки. Их заменяет релиз эпохи 20.

Промпт как спецификация компоновки

Около 90% обучения использовали компактный grounding-DSL вместо прозы. Это обычный текст, по одному элементу на строку, и каждый бокс это четыре числа в сетке от 0 до 1000, сначала x:

A four-panel comic in which an anime handywoman and an anthropomorphic tabby cat assemble a flat-pack shelf and fail completely.
@clean line art, flat colors, light cel shading; Digital illustration
~A bare apartment living room with cardboard packaging and loose screws on a pale wood floor.
p[0,0,500,500] Top-left panel: the handywoman holding up the instruction sheet, confident.
p[500,0,1000,500] Top-right panel: the cat batting a single screw off the floor.
p[0,500,500,1000] Bottom-left panel: a lopsided half-built shelf wobbling.
p[500,500,1000,1000] Bottom-right panel: the shelf collapsed, the cat sitting smugly on the wreckage.
ac:1[60,80,340,470] A young woman with short dark hair in blue overalls, holding an instruction sheet, confident grin.
fc:2[560,90,880,470] An anthropomorphic tabby cat in a tool belt, one paw raised mid-swat, innocent expression.
t[80,40,420,120]"SOME ASSEMBLY REQUIRED." black text in a rounded speech bubble
t[540,530,960,610]"IT HAS FIVE LEGS NOW." black text in a rounded speech bubble

Префиксы: p для панели, o для объекта, t для дословного текста и pe / ac / fc для человека, аниме-персонажа и фурри-персонажа. Строка @ несёт теги стиля, а строка ~ несёт описание сцены. Карточка модели предупреждает, что запись координат сначала по y это самая частая ошибка, и что она проваливается молча: изображение всё ещё выглядит правдоподобно, просто не там, где вы просили.

Тот же промпт, что выше. Grounded-сэмплы получают вторую строку с наложенными запрошенными боксами.

Промпты-проза всё ещё работают, потому что обычный текст составлял остальные 10% обучения. Именно DSL делает компоновку достаточно точной, чтобы быть полезной, а PROMPTING.md это полная спецификация с примерами для копирования.

В ComfyUI

Каждый вариант поставляется одним файлом в нативной раскладке Krea, а это та раскладка, которую загружает ComfyUI. Шесть файлов покрывают Turbo, Raw и обе EMA-тени:

Файлы кладутся в ComfyUI/models/diffusion_models/. Больше ничего не меняется: текстовый энкодер и VAE берутся стоковые от Krea 2 из Comfy-Org/Krea-2, а встроенные шаблоны text-to-image для Krea 2 работают как есть, как только диффузионная модель заменена.

Есть также демо-холст на Gradio, работающий на turbo-чекпойнте, так что формат промптинга можно попробовать до загрузки чего-либо.

LoRA это приближение

Релиз также включает LoRA с рангом 64, 128 и 256, для всех, кто может только накладывать адаптеры, а не менять 26-гигабайтный трансформер. Автор прямо говорит, что они приблизительны, и измерил, какую долю полного финтюна они переносят на отложенных обучающих сэмплах:

Причина в том, что это был полноранговый финтюн: изменение распределено почти по всем направлениям каждой матрицы весов, а LoRA вообще не может нести нормы, смещения или таблицы модуляции. В ComfyUI файлы LoRA кладутся в ComfyUI/models/loras/ и применяются с силой 1.0 через LoraLoaderModelOnly поверх стоковой модели Krea 2, Raw или Turbo, с соответствующими настройками sigma для каждой.

Пример продуктового снимка. Текст размещён боксом, а не случайно.

На чём он обучался

Способность к компоновке идёт со стороны данных. Пул из 30 миллионов изображений, созданных до эпохи ИИ, был кластеризован с помощью DINOv3 и SigLIP2 и оценён по эстетике; всё, что содержало рисованное искусство или комиксы, дополнительно размечалось wd-tagger и JTP и переранжировалось по разнообразию.

Итоговый набор это 40 000 изображений: 20 000 общих фотографий, 10 000 комиксов и 10 000 арт-изображений. Все 40 000 были размечены боксами с помощью собственного пайплайна разметки поверх gemma-4-31B-it и LocateAnything-3B, а полученные промпты были сжаты максимум до 512 токенов в формате DSL.

Пример шелкографического постера, другая сторона той же способности.

Ограничения

• DSL нужно правильно написать или сгенерировать. Порядок координат, буква элемента и размер бокса всё это часть промпта, и неверная строка даёт неверное изображение без ошибки.
• Grounded-промпты длинные. 512 токенов это потолок, до которого сжимались обучающие промпты, поэтому очень плотные страницы выходят за то, что видела модель.
• EMA-тени могут одновременно выглядеть лучше и быть менее точными по боксам, и это компромисс, который стоит проверять под конкретное применение.
• LoRA несут небольшую долю эффекта. Для сеток панелей и точно размещённого текста полный финтюн это та версия, на которой делались примеры.
• Это финтюн сообщества на базе Krea 2, поэтому текстовый энкодер и VAE от Krea 2 по-прежнему обязательны, и он наследует всё, чего базовая модель не знает о буквах и коротких диалогах.