Krea 2 BBOX: 만화와 텍스트를 위한 레이아웃 제어 파인튜닝

구체적인 4패널 프롬프트. 열은 기본 Krea 2 Turbo, 파인튜닝, EMA 0.9995, EMA 0.99975 순서입니다.

텍스트와 레이아웃은 텍스트 기반 이미지 생성 모델이 보통 어림짐작하는 두 가지입니다. 대사 한 줄이 담긴 말풍선을 요청하면 대략 맞는 위치에 글자 모양의 노이즈가 나오고, 4개의 패널을 요청하면 모델이 콜라주를 만들어 냅니다. 이 파인튜닝은 모든 요소의 이름을 지정하고 각 요소에 박스를 부여하는 프롬프트 형식을 모델에 학습시켜 이 문제를 정면으로 공략합니다.

두 가지 종류, 각각 세 개의 가중치

이 파인튜닝은 Krea 2 Raw로 학습되었고 두 가지 변형으로 배포됩니다. Turbo는 베이스에서 Turbo로 가는 distillation 델타를 병합한 파인튜닝으로, CFG를 끈 상태에서 8 스텝으로 샘플링합니다. Raw는 학습된 그대로의 파인튜닝이며, 50 스텝에 CFG 5.5를 사용합니다.

각 변형에는 가중치의 EMA 섀도 두 개가 함께 제공되며, decay 값은 0.9995와 0.99975입니다. 작성자의 설명에 따르면 스무딩은 이미지 품질을 높일 수 있지만 박스에 대한 모델의 정확도를 떨어뜨릴 수도 있습니다.

epoch 1부터 19까지의 학습 체크포인트는 참조용으로 저장소에 남아 있습니다. epoch 20 릴리스가 이들을 대체합니다.

프롬프트는 레이아웃 명세서

학습 데이터의 약 90%는 산문이 아니라 간결한 grounding DSL을 사용했습니다. 한 줄에 요소 하나씩 적는 일반 텍스트이며, 모든 박스는 0에서 1000까지의 그리드에서 x 좌표를 먼저 적는 네 개의 숫자입니다.

A four-panel comic in which an anime handywoman and an anthropomorphic tabby cat assemble a flat-pack shelf and fail completely.
@clean line art, flat colors, light cel shading; Digital illustration
~A bare apartment living room with cardboard packaging and loose screws on a pale wood floor.
p[0,0,500,500] Top-left panel: the handywoman holding up the instruction sheet, confident.
p[500,0,1000,500] Top-right panel: the cat batting a single screw off the floor.
p[0,500,500,1000] Bottom-left panel: a lopsided half-built shelf wobbling.
p[500,500,1000,1000] Bottom-right panel: the shelf collapsed, the cat sitting smugly on the wreckage.
ac:1[60,80,340,470] A young woman with short dark hair in blue overalls, holding an instruction sheet, confident grin.
fc:2[560,90,880,470] An anthropomorphic tabby cat in a tool belt, one paw raised mid-swat, innocent expression.
t[80,40,420,120]"SOME ASSEMBLY REQUIRED." black text in a rounded speech bubble
t[540,530,960,610]"IT HAS FIVE LEGS NOW." black text in a rounded speech bubble

접두사는 패널에 p, 오브젝트에 o, 그대로의 텍스트에 t, 인물에 pe, 애니메이션 캐릭터에 ac, 수인 캐릭터에 fc를 사용합니다. @ 줄에는 스타일 태그가, ~ 줄에는 장면 설명이 들어갑니다. 모델 카드는 좌표를 y부터 쓰는 것이 가장 흔한 실패이며, 이 실패는 조용히 일어난다고 경고합니다. 이미지는 그럴듯해 보이지만 요청한 위치에 그려지지 않습니다.

위와 동일한 프롬프트입니다. grounding 샘플은 요청한 박스를 겹쳐 그린 두 번째 행이 함께 표시됩니다.

산문 프롬프트도 여전히 동작합니다. 학습 데이터의 나머지 10%가 일반 텍스트였기 때문입니다. 레이아웃을 쓸 만큼 정확하게 만드는 것은 DSL이며, PROMPTING.md는 복사해서 바로 쓸 수 있는 예제가 담긴 전체 명세서입니다.

ComfyUI에서 사용하기

모든 변형은 Krea의 기본 레이아웃을 따르는 단일 파일로 제공되며, 이 레이아웃을 ComfyUI가 로드합니다. Turbo, Raw, 그리고 두 개의 EMA 섀도를 합쳐 6개 파일입니다.

파일은 ComfyUI/models/diffusion_models/에 넣습니다. 그 외에 바뀌는 것은 없습니다. 텍스트 인코더와 VAE는 Comfy-Org/Krea-2에서 가져온 기본 Krea 2 것을 그대로 사용하며, diffusion 모델만 교체하면 내장 Krea 2 텍스트 기반 이미지 생성 템플릿이 그대로 동작합니다.

Turbo 체크포인트를 실행하는 Gradio 캔버스 데모도 있어서, 아무것도 다운로드하기 전에 프롬프트 형식을 미리 시험해 볼 수 있습니다.

LoRA는 근사치입니다

이 릴리스에는 rank 64, 128, 256의 LoRA도 포함되어 있습니다. 26GB 트랜스포머를 교체하는 대신 어댑터만 쌓을 수 있는 사용자를 위한 것입니다. 작성자는 이것이 근사치임을 분명히 밝히고, 홀드아웃 학습 샘플에서 전체 파인튜닝 효과의 얼마나 많은 부분을 담고 있는지 측정했습니다.

그 이유는 이번 작업이 전체 rank 파인튜닝이었기 때문입니다. 변경이 모든 가중치 행렬의 거의 모든 방향에 퍼져 있었고, LoRA는 norm, bias, modulation 테이블을 전혀 담을 수 없습니다. ComfyUI에서 LoRA 파일은 ComfyUI/models/loras/에 넣고, 기본 Krea 2 모델(Raw 또는 Turbo) 위에 LoraLoaderModelOnly로 강도 1.0을 적용하며, 각각에 맞는 sigma 설정을 사용합니다.

제품 사진 샘플입니다. 텍스트가 우연이 아니라 박스에 의해 배치되었습니다.

무엇으로 학습했나

레이아웃 능력은 데이터에서 나옵니다. AI 이전 시대의 3,000만 장 이미지 풀을 DINOv3와 SigLIP2로 클러스터링하고 미학 기준으로 순위를 매겼습니다. 그림이나 만화가 포함된 이미지는 추가로 wd-tagger와 JTP로 태깅하고 다양성 기준으로 다시 순위를 매겼습니다.

최종 데이터셋은 40,000장입니다. 일반 사진 20,000장, 만화 10,000장, 아트 이미지 10,000장입니다. 40,000장 전부를 gemma-4-31B-it와 LocateAnything-3B를 기반으로 한 자체 라벨링 파이프라인으로 박스 처리했고, 이렇게 나온 프롬프트는 DSL 형식으로 최대 512 토큰까지 압축했습니다.

스크린 인쇄 포스터 샘플로, 같은 능력의 다른 끝을 보여줍니다.

한계

• DSL을 올바르게 작성하거나 생성해야 합니다. 좌표 순서, 요소 문자, 박스 크기가 모두 프롬프트의 일부이며, 잘못된 줄은 오류 없이 잘못된 이미지를 만들어 냅니다.
• grounding 프롬프트는 깁니다. 512 토큰은 학습 프롬프트를 압축한 상한이므로, 매우 빽빽한 페이지는 모델이 본 범위를 넘어갑니다.
• EMA 섀도는 더 보기 좋으면서 동시에 박스에는 덜 정확할 수 있으며, 이는 사용 사례별로 시험해 봐야 하는 트레이드오프입니다.
• LoRA가 담고 있는 효과의 비중은 작습니다. 패널 그리드와 정밀한 텍스트 배치에는 전체 파인튜닝이 샘플 제작에 사용된 버전입니다.
• Krea 2의 커뮤니티 파인튜닝이므로 Krea 2 텍스트 인코더와 VAE가 여전히 필요하며, 베이스 모델이 글자와 짧은 대사에 대해 모르는 것은 그대로 물려받습니다.