JoyAI Image Edit: ComfyUI 네이티브 이미지 편집 지원

JD 오픈소스가 JoyAI-Image-Edit 및 JoyAI-Image-Edit-Plus에 대한 네이티브 ComfyUI 지원을 출시했습니다. 이로써 강력한 명령 기반 이미지 편집 모델을 ComfyUI 생태계에 직접 도입할 수 있습니다.

JoyAI-Image란?

JoyAI-Image는 JD 오픈소스(JD.com)가 개발한 통합 멀티모달 기초 모델입니다. **8B 멀티모달 대형 언어 모델(MLLM)**과 **16B 멀티모달 확산 트랜스포머(MMDiT)**를 결합하여, 단일 아키텍처에서 이미지 이해, 텍스트 기반 이미지 생성, 명령 기반 이미지 편집을 제공합니다.

이 모델군은 이해, 생성, 편집 간의 폐루프 협력을 기반으로 구축되었습니다. 더 강력한 공간 이해는 현실에 기반한 생성을 개선하고, 생성적 변환은 공간 추론에 대한 보완적 증거를 제공합니다.

ComfyUI 지원

2026년 6월 9일부터 JoyAI-Image-Edit 및 JoyAI-Image-Edit-Plus 모두 추가 의존성 없이 ComfyUI에서 네이티브로 실행됩니다. ComfyUI에 최적화된 모델 저장소는 두 가지 형식의 사전 패키징된 모델 파일을 제공합니다.

• BF16: 최대 품질을 위한 전체 정밀도
• INT8 ConvRot: 최소한의 품질 손실로 낮은 VRAM 사용을 위한 양자화

각 저장소에는 즉시 사용할 수 있는 번들 ComfyUI 워크플로가 포함되어 있습니다.

JoyAI-Image-Edit

단일 이미지 명령 기반 편집. 입력 이미지와 자연어 명령(예: "접시를 파란색으로 바꿔줘" 또는 "컵을 오른쪽으로 옮겨줘")을 받아 편집된 결과를 생성합니다.

• HF 저장소: jdopensource/JoyAI-Image-Edit-ComfyUI
• 모델 파일:
  • diffusion_models/joyai_image_edit_bf16.safetensors
  • diffusion_models/joyai_image_edit_int8_convrot.safetensors
  • text_encoders/qwen3vl_8b_joyimage_edit_bf16.safetensors
  • text_encoders/qwen3vl_8b_joyimage_edit_int8_convrot.safetensors
  • vae/wan_2.1_vae.safetensors

JoyAI-Image-Edit-Plus

다중 이미지 명령 기반 편집. 1~6개의 참조 이미지와 텍스트 명령을 받아, 명령에 따라 모든 참조 이미지의 요소를 결합하여 새로운 이미지를 생성합니다. 다중 이미지 합성, 일관성, 공동 조작을 지원합니다.

• HF 저장소: jdopensource/JoyAI-Image-Edit-Plus-ComfyUI
• 모델 파일:
  • diffusion_models/joyai_image_edit_plus_bf16.safetensors
  • diffusion_models/joyai_image_edit_plus_int8_convrot.safetensors
  • text_encoders/qwen3vl_8b_joyimage_edit_plus_bf16.safetensors
  • text_encoders/qwen3vl_8b_joyimage_edit_plus_int8_convrot.safetensors
  • vae/wan_2.1_vae.safetensors

설치

다운로드한 파일을 다음 ComfyUI 디렉토리 구조에 배치하세요:

ComfyUI/
└── models/
    ├── diffusion_models/
    │   ├── joyai_image_edit_bf16.safetensors
    │   └── joyai_image_edit_int8_convrot.safetensors
    ├── text_encoders/
    │   ├── qwen3vl_8b_joyimage_edit_bf16.safetensors
    │   └── qwen3vl_8b_joyimage_edit_int8_convrot.safetensors
    └── vae/
        └── wan_2.1_vae.safetensors

또는 hf download를 사용하여 직접 설치할 수 있습니다:

hf download jdopensource/JoyAI-Image-Edit-ComfyUI --local-dir /path/to/ComfyUI/models

기능

JoyAI-Image-Edit은 명령 기반 편집의 여러 영역에서 뛰어난 성능을 보입니다.

• 공간 편집: 자연어 프롬프트를 통한 객체 이동, 객체 회전, 카메라 제어
• 정확한 명령 수행: 수정되지 않은 장면 요소를 보존하면서 편집 명령을 높은 충실도로 수행
• 다중 이미지 합성(Edit-Plus): 최대 6개의 참조 이미지에서 요소를 결합하여 하나의 일관된 출력 생성
• 강력한 장면 보존: 편집 영역 외부의 장면 구조와 콘텐츠 유지

모델의 공간 지능은 공간 추론 작업에도 활용됩니다. 카메라 움직임을 충실히 실행하여 진단적 관점을 합성함으로써 복잡한 공간 관계를 명확히 하는 데 도움을 줍니다.

링크