Krea 2 Edit V2: ComfyUI에서 두 개의 LoRA와 참조 이미지 배치

Conradlocke는 10월 16일 Krea 2 편집 LoRA 2세대를 공개했습니다. 가장 큰 변화는 구조적인 것입니다. 이전에는 하나의 LoRA였지만 이제는 서로 다른 작업을 담당하는 두 개의 별도 가중치로 나뉘었습니다. Krea 2 Identity Edit V2는 한 장의 사진 속 인물을 새로운 장면, 포즈, 의상, 조명으로 옮기고, Krea 2 General Edit V2는 물체 제거, 색상 변경, 조명 변경, 배경 교체, 물체 추가, 간판 텍스트 재작성, 스타일 변경 같은 단순한 지시 편집을 처리합니다.

함께 제공되는 노드 팩 ComfyUI-Krea2Edit도 동시에 v2.0.0으로 업데이트되었습니다. 두 LoRA는 모두 Hugging Face에 공개되어 있으며, 이전 v1, v1.1, v1.2 가중치도 함께 제공되므로 새 노드와 계속 호환됩니다. v1 릴리스는 원본 Krea 2 Identity Edit 기사에서 다루었습니다.

새로운 의상과 네온 조명으로 한 장의 사진을 다시 연출한 결과. 출처: conradlocke

두 LoRA는 모두 12.9B 단일 스트림 MMDiT인 Krea 2 Raw로 학습되었으며, Raw 또는 Turbo에서 실행됩니다. 이 LoRA들은 기본 노드가 제공하지 않는 이중 조건화(dual conditioning)로 학습되었기 때문에 여전히 커스텀 노드 팩이 필요합니다. 소스 이미지는 인컨텍스트 VAE 토큰으로 입력되며, 동시에 Krea 2가 사용하는 Qwen3-VL 텍스트 인코더에도 입력됩니다.

하나가 아닌 두 개의 LoRA

두 모델 모두 전체 파일에 포함되어 제공되며, VRAM이 적은 그래픽 카드를 위한 랭크 축소 버전 ..._v2_r128(0.91 GB)과 ..._v2_r64(0.46 GB)도 함께 제공됩니다. 작성자는 축소된 랭크의 품질이 거의 동일하다고 설명합니다.

Identity Edit V2

Identity 모델은 v1.x 라인의 후속 버전입니다. 인물 사진 한 장을 넣으면, 그 인물이 어디에든 등장합니다. 작성자는 새로운 장면으로의 재연출, 포즈와 카메라 앵글 변경, 일상 언어로 묘사한 의상 교체, 빛이 실제로 얼굴에 떨어지는 위치에 맞춘 라이트 변경, 인물을 기존 장면에 합성하기, 한 명씩 추가해 단체 사진 만들기, 사진으로 캐릭터 턴어라운드 시트를 만들거나 시트로 사진을 만드는 것 등을 예로 듭니다.

Identity Edit V2의 재연출과 라이트 변경. 소스: conradlocke

전신 재연출	사진 한 장으로 만든 턴어라운드 시트	두 참조, 하나의 장면

Identity Edit V2 권장 설정:

작성자는 여기서는 다이얼보다 프롬프트가 더 중요하다고 주장합니다. 모델 카드에서 가져온 세 가지 규칙이 있습니다. 첫째, 인물이 얼마나 보이는지 말하세요. "standing on a ridge"는 참조의 머리와 어깨 크롭을 따라가기 쉬운 반면, "in muddy leather boots on a ridge"는 전신을 얻습니다. 둘째, 새 의상을 구체적으로 묘사하고 무엇이 사라져야 하는지 말하세요. 모델이 사진 속 의상에 의존하는 경향이 있기 때문입니다. 셋째, 조명은 스타일 이름을 지정하는 대신 빛이 닿는 위치로 묘사하세요. 예를 들어 "neon lighting" 대신 "a magenta sign paints the left half of her face pink"라고 쓰는 것입니다.

기존 방에 합성된 인물. 장면 참조는 aligned, 인물 참조는 beside로 유지됩니다. 소스: conradlocke

General Edit V2

두 번째 LoRA는 아이덴티티 모델이 전혀 잘하지 못했던 편집 작업을 담당합니다. 이미지와 단순한 지시문을 입력하면 변경을 요청하지 않은 모든 요소를 그대로 유지합니다. 오브젝트나 사람 제거, 색상 변경, 조명 변경, 계절 변경, 배경 교체, 오브젝트 추가, 간판 텍스트 다시 쓰기, 의상 변경, 이미지를 애니메 스타일로 재스타일링, 의상 사진을 제품 플랫 레이로 변환하는 작업 등이 여기에 해당합니다.

General Edit V2 지시문 편집. 소스: conradlocke

오브젝트 제거	계절 변경	간판 텍스트 다시 쓰기

조명 변경	의상에서 제품 플랫 레이로	한 사람씩 추가한 단체 사진

CFG가 1보다 높으면 네거티브 쪽도 같은 이미지에 빈 프롬프트로 그라운딩해야 합니다. 작성자는 또한 아이덴티티 모델이 일반 편집기 역할을 하지 못한다고 언급합니다. 제거, 색상 변경, 카메라 변경을 무시하는 경향이 있으므로 이러한 작업은 General Edit V2가 담당합니다.

참조 배치

v2.0.0은 Krea2EditModelPatch에 두 개의 입력을 추가합니다. 이 입력들은 맨 뒤에 추가되므로 저장된 워크플로는 링크를 그대로 유지하고, 기본값은 이전 동작을 정확히 재현합니다.

• ref_position은 마지막 참조의 위치를 지정합니다: 이미지 두 장을 사용하는 워크플로에서는 인물, 이미지가 하나뿐인 경우에는 그 이미지입니다.
• ref_position_a는 첫 번째 참조의 위치를 지정합니다: 합성에서는 장면입니다.

세 가지 모드가 있습니다. aligned (trained)는 참조를 출력 레이아웃에 고정하며, 두 모델 모두 이 방식으로 학습되었고 기본값입니다. beside (right of target)는 참조를 캔버스 옆에 배치합니다: 정체성은 여전히 전달되지만 레이아웃 고정이 사라지므로 인물을 더 자유롭게 재배치할 수 있습니다. bag of features는 실험적이며 참조의 모든 토큰에 하나의 위치를 부여하고, 아직 권장되는 용도가 없습니다. 합성에 대해 작성자가 테스트한 조합은 장면 aligned에 인물 beside를 더한 것이며, beside는 테스트에서 잘 작동하지만 모델이 aligned로만 학습되었기 때문에 새로운 방식이라고 밝힙니다.

참조 배치는 출력 레이아웃이 참조를 얼마나 강하게 따르는지를 바꿉니다. 소스: conradlocke

두 LoRA를 함께 실행하기

두 LoRA는 계보를 공유하므로, 둘 다 strength 1.0으로 로드하면 순수한 노이즈만 생성됩니다. 하나의 워크플로에서 두 가지 동작이 모두 필요하다면, 작성자는 각각 약 0.6을 권장하며, 테스트에서 이 값은 정체성 모델의 유사성을 일반 모델의 제거 및 재채색 기능과 함께 유지했습니다. 그 외의 경우에는 작업당 하나의 LoRA가 원칙이며, 두 LoRA 중 하나만 한 번에 로드하면 됩니다.

한계

모델 카드는 한계를 명확히 밝히고 있습니다. Identity Edit V2는 제거, 색상 변경, 카메라 변경을 무시합니다. 참조 사진의 의상이 그대로 이어지므로 코트와 터틀넥은 제거되었다고 명시해야 합니다. 참조의 사물이 재구성된 장면으로 새어 들어오는 경우가 있는데, 예를 들어 소스 테이블에 있던 촛불이 그렇습니다. 얼굴 교체는 교체된 사람의 옷까지 포함하여 인물 전체 교체가 되는 경향이 있습니다. 저해상도 얼굴 복원과 outpainting은 신뢰할 수 없습니다. 그룹은 한 명씩 약 7명까지 추가하는 방식으로 동작하며, 그 이후에는 프레임이 가득 차서 사람들이 서로를 대체하기 시작합니다. 작성자는 2MP 이하로 생성할 것을 권장합니다.

사용 가능 여부

custom_nodes에서 노드 팩을 설치하고 ComfyUI를 재시작하세요:

cd ComfyUI/custom_nodes
git clone https://github.com/lbouaraba/comfyui-krea2edit

네이티브 Krea 2 지원이 포함된 ComfyUI 버전, Krea 2 Raw 또는 Turbo, Krea 2에서 사용하는 Qwen3-VL 4B 텍스트 인코더, 그리고 V2 LoRA 파일 중 하나 또는 둘 다가 필요합니다. 추가 Python 의존성은 필요하지 않습니다. 노드는 ComfyUI Registry에 comfyui-krea2edit로도 등록되어 있습니다.

Krea2EditModelPatch는 조건화를 처리하며, 편집할 이미지에는 source_latent를, 두 번째 참조에는 선택적 source_latent_b를 사용하고, fit_mode, ref_boost 및 배치 관련 컨트롤도 제공합니다. Krea2EditGroundedEncode는 이미지 기반 지시문 인코딩을 수행하며, krea2 유형으로 로드된 Krea 2 CLIP을 통해 동일한 이미지를 받아들이고, grounding_px는 품질 조절 다이얼로 값이 낮을수록 지시문을 더 강하게 따르고 높을수록 유사성을 더 강하게 유지합니다.

작성자는 학습 코드도 krea2edit-trainer로 공개했으며, 이는 노드 구조에 맞춘 ai-toolkit 확장으로, 실측된 소비자용 GPU VRAM 요구 사항이 포함되어 있습니다.