AI Toolkit, Krea 2 참조 이미지 학습 추가: 전용 편집 모델만큼 빠르게 편집 개념 학습

news

Ostris가 AI Toolkit에서 Krea 2 모델을 참조 이미지로 학습할 수 있는 지원을 추가하여, '이것을 사이클롭스로 만들어 줘'와 같은 개념을 단 1,750 스텝 만에 마스터하는 편집 스타일 LoRA 학습을 가능하게 했습니다.

2026년 7월 4일, Ostris가 AI Toolkit에서 Krea 2를 참조 이미지로 학습할 수 있는 지원을 추가했습니다. 이제 학습 어댑터를 통해 Krea 2 Turbo에서 직접 편집 스타일 LoRA를 학습할 수 있으며, Ostris의 테스트 결과 전용 편집 모델만큼 빠르게 편집 개념을 학습하는 것으로 나타났습니다.

TL;DR — AI Toolkit이 이제 HuggingFace의 학습 어댑터를 통해 Krea 2 Turbo의 참조 이미지 학습을 지원합니다. 편집 스타일 LoRA는 1,750 스텝 만에 학습됩니다. ComfyUI 추론을 위한 보조 커스텀 노드가 참조 이미지 인코딩과 모델 패칭을 처리합니다. 동일한 아키텍처가 베이스 Krea 2 모델(Raw)에서도 작동합니다.

작동 방식

내부적으로 학습 파이프라인은 Qwen3-VL 이미지 인코더를 사용하여 참조 이미지를 프롬프트와 함께 인코딩합니다. 그런 다음 인코딩된 참조 이미지는 클린 학습 이미지와 함께 타임스텝 0에서 Krea 2 트랜스포머에 입력됩니다. 이는 전용 편집 모델에서 사용하는 것과 동일한 참조 조건화 방식입니다.

구성 요소설명
학습 어댑터HuggingFace의 ostris/krea2_turbo_training_adapter
학습 엔진AI Toolkit — 설정에서 arch: krea2와 model_kwargs.edit: true 설정
참조 인코딩Qwen3-VL 이미지 인코더, 총 384×384 픽셀로 축소
마스터 스텝 수약 1,750 스텝 (테스트: "이것을 사이클롭스로 만들어 줘" 개념)

ComfyUI 추론: 커스텀 노드 필요

ComfyUI에서 추론을 위해서는 ComfyUI-Krea2-Ostris-Edit 커스텀 노드 팩이 필요합니다. 이 팩은 두 개의 노드를 제공합니다:

Text Encode Krea 2 Ostris Edit — 프롬프트를 최대 3개의 참조 이미지와 함께 Krea 2 Qwen3-VL 텍스트 인코더를 통해 인코딩하며, 학습 시 사용된 것과 동일한 Picture N: 비전 플레이스홀더 템플릿을 사용합니다. VAE가 연결되면 참조 이미지를 VAE 인코딩하여 참조 잠재 변수로 첨부합니다.

Krea 2 Ostris Edit Model Patch — Krea 2 모델을 패치하여 조건화로부터 참조 잠재 변수를 소비하도록 합니다. 각 참조 이미지는 이미지 토큰 시퀀스에 추가되고 타임스텝 0에서 조건화됩니다(index_timestep_zero 메서드). 참조 잠재 변수가 없으면 모델은 기본 Krea 2와 동일하게 동작합니다.

설치

cd ComfyUI/custom_nodes
git clone https://github.com/ostris/ComfyUI-Krea2-Ostris-Edit.git

추가 의존성은 필요하지 않습니다. 노드는 ostris/krea2 카테고리 아래에 나타납니다.

예제 워크플로

Load Diffusion Model (krea2) → Load LoRA → Krea 2 Ostris Edit Model Patch → KSampler
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (prompt + images + VAE) → positive
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (negative prompt) → negative

학습 설정

AI Toolkit으로 편집 스타일 Krea 2 LoRA를 학습하려면:

  1. 학습 설정에서 arch: krea2와 model_kwargs.edit: true로 설정
  2. 쌍을 이루는 학습 데이터 사용: 입력 이미지 + 편집된 대상 이미지 + 텍스트 설명
  3. 어댑터는 HuggingFace에서 자동으로 다운로드됨
  4. 학습은 표준 VRAM 요구 사항으로 소비자 GPU에서 실행됨

Ostris는 Krea 2 Turbo에서 "이 사람을 사이클롭스로 만들어 줘" 테스트 LoRA를 통해 이를 시연했습니다. 모델은 1,750 스텝 만에 편집 개념을 마스터했습니다.

베이스 모델 호환성

동일한 참조 이미지 가중치가 베이스 Krea 2 모델(Raw)에서도 작동합니다. Ostris는 커뮤니티 질문에 다음과 같이 설명했습니다:

"네, 가중치는 동일합니다. 저는 단지 참조 이미지를 Qwen-VL 이미지 인코더에 통과시키고 프롬프트와 함께 인코딩한 다음, 타임 0에서 클린 이미지와 함께 트랜스포머에 입력하는 것뿐입니다."

링크

AI Toolkit, Krea 2 참조 이미지 학습 추가: 전용 편집 모델만큼 빠르게 편집 개념 학습 | ComfyUI Wiki