ComfyUI에서 MOSS-Image 제어 LoRA 사용하기: Canny, Depth, Pose

thedeoxen은 11월 10일 MOSS-Image-SFT용 제어 LoRA 7종을 공개했습니다: canny, depth, pose, normal, lineart, scribble, segmentation. 각각은 약 290 MB 크기의 rank-64 LoRA 하나이며, 전용 ComfyUI 워크플로와 제어 이미지-결과 예제 그리드가 함께 제공되므로 이미 가지고 있는 맵을 골라 바로 실행할 수 있습니다.

이것들은 편집용 LoRA이지 새로운 제어 모델이 아닙니다. 맵이 참조 이미지로 들어가고, 프롬프트가 그 형태를 무엇으로 만들지 결정합니다.

Depth 제어(맨 왼쪽)와 서로 다른 프롬프트로 생성된 결과

각 LoRA가 받는 입력

실행 방법

1. MOSS-Image-SFT를 로드합니다: UNet moss_image_sft_int8_convrot.safetensors, CLIP qwen3.5_9b_w4a8_gptq.safetensors(type moss_image), VAE flux2-vae_small.safetensors.
2. UNet에 LoRA를 강도 1.0으로 추가합니다. 제어가 너무 딱딱하게 고정되면 0.7 쪽으로 낮추세요.
3. 제어 맵을 단일 참조 이미지로 Text Encode MOSS-Image Edit에 입력하고, 포지티브와 네거티브 인코딩 양쪽 모두에서 edit_format을 ai-toolkit으로 설정합니다. 이 LoRA들은 kv 캐시를 켠 상태로 학습되었습니다.
4. 30 steps, CFG 4, euler 및 simple로 샘플링합니다.

워크플로에 들어 있는 전처리기(Canny, Depth Anything V2, DWPose, BAE, LineArt, HED, UniFormer)는 ComfyUI 코어가 아니라 ControlNet Auxiliary Preprocessors 팩에서 제공됩니다. 이미 맵을 가지고 있다면 전처리기를 건너뛰고 이미지를 인코딩 노드에 바로 연결하세요.

UniFormer에서 나온 단색 영역을 프롬프트에 따라 새로 스타일링한 결과

공식 어댑터와의 차이

공식 MOSS-Image 색상/깊이 제어 어댑터는 노이즈에서 시작해 영역 맵과 깊이 맵을 조건화로 받습니다. 반면 이 LoRA들은 맵을 참조 이미지로 취급하며, 그래서 7가지 맵 유형 어디에나 쓸 수 있고 모든 모양을 프롬프트가 담당합니다. 대신 강한 제어는 너무 꽉 붙잡을 수 있어서, 레이아웃이 고정된 것처럼 보일 때는 카드에서 권장하는 강도 0.7을 사용하세요.

다운로드

베이스 모델: OpenMOSS-Team/MOSS-Image-SFT. 각 저장소에는 자체 moss_image_<type>_control.json이 들어 있으며, 세 가지 베이스 파일을 먼저 준비해 두면 이것을 ComfyUI로 끌어다 놓을 수 있습니다.