HiDream-I1은 2025년 4월 7일 HiDream-ai에 의해 공식적으로 오픈 소스화된 텍스트-이미지 모델로, 파라미터 스케일은 17B입니다.

라이센스 유형 MIT 라이센스 하에 출시되었으며, 개인 프로젝트, 과학 연구 및 상업적 목적의 사용을 지원합니다. 이 모델은 여러 벤치마크 테스트에서 우수한 성능을 보였습니다.

이 기사에서는 다음 내용을 다룹니다:

• HiDream-I1에 대한 간단한 소개
• 커뮤니티에서 사용 가능한 HiDream-I1 모델의 다양한 버전 및 지원 정보
• 다양한 모델 버전의 워크플로우

이 모델의 전체 버전은 높은 VRAM 요구 사항이 있으므로, 커뮤니티 모델 섹션에서 귀하의 장치에 적합한 버전을 선택하고 해당 워크플로우에 대해 배울 수 있습니다. 해당 노드가 제대로 작동할 수 있도록 이 기사 ComfyUI 최신 버전으로 업그레이드하기를 참조하시기 바랍니다.

HiDream-I1 소개

모델 특징

하이브리드 아키텍처 디자인 확산 모델(DiT)과 전문가 혼합(MoE) 아키텍처를 결합:

• 본체는 확산 변환기(DiT)를 기반으로 하여, 이중 스트림 MMDiT 모듈을 통해 다중 모달 정보를 처리하며, 단일 스트림 DiT 모듈은 전역 일관성을 최적화합니다.
• 동적 라우팅 메커니즘은 계산 자원을 유연하게 할당하여 복잡한 장면을 처리하는 능력을 향상시키며, 색상 복원, 엣지 처리 및 기타 세부 사항에서 뛰어난 성능을 발휘합니다.

다중 모달 텍스트 인코더 통합 네 개의 텍스트 인코더를 통합:

• OpenCLIP ViT-bigG, OpenAI CLIP ViT-L (시각-의미 정렬)
• T5-XXL (긴 텍스트 파싱)
• Llama-3.1-8B-Instruct (지침 이해) 이 조합은 색상, 수량, 공간 관계 등과 관련된 복잡한 의미 파싱에서 최첨단 성능을 달성하며, 유사한 오픈 소스 모델에 비해 중국어 프롬프트에 대한 지원이 크게 향상되었습니다.

원본 모델 저장소

HiDream-ai는 다양한 시나리오 요구를 충족하기 위해 HiDream-I1 모델의 세 가지 버전을 제공합니다. 아래는 원본 모델 저장소에 대한 링크입니다:

• 전체 버전: 🤗 HiDream-I1-Full 50회 추론 단계
• 증류 개발 버전: 🤗 HiDream-I1-Dev 28회 추론 단계
• 증류 빠른 버전: 🤗 HiDream-I1-Fast 16회 추론 단계

커뮤니티 HiDream-I1 모델 버전

현재 커뮤니티에는 HiDream-I1 모델의 다양한 변형 버전이 많이 있습니다. 이는 ComfyUI-Wiki에서 정리한 기존 버전의 모음입니다. 그러나 테스트 중에 발생한 몇 가지 문제로 인해 해당 워크플로우만 제공하겠습니다.

ComfyOrg의 재포장된 버전

• HiDream-I1_ComfyUI

ComfyOrg 저장소는 전체 버전, 개발 버전 및 빠른 버전을 재포장하여 제공하며, 전체 버전과 fp8 버전을 포함합니다. 전체 버전은 약 20GB의 VRAM이 필요하고, fp8 버전은 약 16GB의 VRAM이 필요합니다. 우리는 기본 예제를 사용하여 워크플로우를 완성할 것입니다.

GGUF 버전 모델

GGUF 버전 모델은 city96에서 제공됩니다:

• HiDream-I1-Full-gguf
• HiDream-I1-Dev-gguf
• HiDream-I1-Fast-gguf

저장소에는 Q8에서 Q2까지 여러 버전이 포함되어 있으며, Q4는 약 12GB의 VRAM이 필요하고 Q2는 약 8GB의 VRAM이 필요합니다. 확실하지 않은 경우 가장 작은 버전으로 테스트를 시작할 수 있습니다.

모델을 로드하려면 ComfyUI-GGUF에서 Unet loader(GGUF) 노드를 사용해야 하며, 워크플로우를 완성하기 위해 공식 노드를 약간 수정할 것입니다.

NF4 버전 모델

이 버전은 메모리 사용량을 줄이기 위해 4비트 양자화 기술을 사용하며, 약 16GB의 VRAM으로 실행할 수 있습니다.

• HiDream-I1-Full-nf4
• HiDream-I1-Dev-nf4
• HiDream-I1-Fast-nf4
• NF4 버전 모델을 사용하려면 ComfyUI-HiDream-Sampler 노드를 사용하십시오. 이 노드는 원래 lum3on에서 제공되었습니다.

ComfyUI-HiDream-Sampler는 첫 번째 실행 시 모델을 다운로드하고 비공식 이미지-이미지 기능을 구현합니다. 이 문서에서도 해당 예제를 완성할 것입니다.

공유 모델 설치

아래의 모델 파일은 여러 워크플로우에서 사용될 것이므로, 다운로드를 시작하고 모델 파일 저장 위치를 참조할 수 있습니다. 관련 워크플로우에서 해당 확산 모델에 대한 다운로드 링크를 제공할 것입니다.

텍스트 인코더:

• clip_l_hidream.safetensors
• clip_g_hidream.safetensors
• t5xxl_fp8_e4m3fn_scaled.safetensors 이는 T5XXL의 경량 버전으로, 이미 가지고 있을 수 있습니다.
• llama_3.1_8b_instruct_fp8_scaled.safetensors

VAE

• ae.safetensors 이는 Flux의 VAE 모델입니다. Flux의 워크플로우를 사용한 경우 이미 이 파일을 가지고 있을 것입니다.

확산 모델 우리는 관련 워크플로우에서 해당 모델 파일을 다운로드하는 방법을 안내할 것입니다.

모델 파일 저장 위치

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 text_encoders/
│   │   ├─── clip_l_hidream.safetensors
│   │   ├─── clip_g_hidream.safetensors
│   │   ├─── t5xxl_fp8_e4m3fn_scaled.safetensors
│   │   └─── llama_3.1_8b_instruct_fp8_scaled.safetensors
│   └── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 diffusion_models/
│       └── ...               # 해당 워크플로우 버전에서 설치할 것입니다.            

ComfyUI 네이티브 HiDream-I1 워크플로우

네이티브 워크플로우는 제가 Comfy를 위해 작성한 공식 문서에 자세히 설명되어 있습니다. 문서 제목은 ComfyUI 네이티브 HiDream-I1 워크플로우 예제입니다. 그러나 현재 공식 문서는 중국어와 영어만 지원하므로, ComfyUI 위키의 다국어 지원을 고려하여 이 가이드에서도 해당 예제를 제공하겠습니다.

공식 문서에서는 전체, 개발 및 빠른 버전의 완전한 워크플로우를 작성했습니다. 이 세 가지 워크플로우는 일반적으로 동일한 모델과 워크플로우를 사용하지만, 일부 매개변수와 모델이 다릅니다. 따라서 이 문서에서는 하나의 워크플로우 버전만 사용하고, 나머지 두 버전에 대한 관련 설정을 보충하여 과도한 반복을 피하겠습니다.

1. 워크플로우 파일 다운로드

아래 이미지를 다운로드하여 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요. 이 파일에는 내장된 모델 다운로드 정보가 포함되어 있으며, ComfyUI는 첫 번째 수준 하위 디렉토리에 해당 모델 파일이 존재하는지 확인합니다. 그러나 ComfyUI/models/text_encoders/hidream/와 같은 두 번째 수준 하위 디렉토리에 모델 파일이 존재하는지 확인할 수는 없습니다.

이미 해당 모델을 다운로드한 경우, 프롬프트를 무시할 수 있습니다. 아래 워크플로우는 hidream_i1_dev_fp8.safetensors 모델을 사용합니다. 다른 버전을 사용해야 하는 경우, 수동 모델 다운로드 섹션을 참조하여 해당 모델을 다운로드하세요.

JSON 형식의 워크플로우 다운로드

2. 수동 모델 다운로드

아래는 HiDream-I1의 다양한 버전 모델 파일입니다. VRAM 용량에 따라 적절한 버전을 선택하고 ComfyUI/models/diffusion_models/ 폴더에 저장할 수 있습니다.

3. 워크플로우 실행 단계 따르기

워크플로우 실행 단계를 따르세요

1. Load Diffusion Model 노드가 hidream_i1_dev_fp8.safetensors 또는 다운로드한 버전을 사용하고 있는지 확인하세요.
2. QuadrupleCLIPLoader의 네 개의 해당 텍스트 인코더가 올바르게 로드되었는지 확인하세요:
   • clip_l_hidream.safetensors
   • clip_g_hidream.safetensors
   • t5xxl_fp8_e4m3fn_scaled.safetensors
   • llama_3.1_8b_instruct_fp8_scaled.safetensors
3. Load VAE 노드가 ae.safetensors 파일을 사용하고 있는지 확인하세요.
4. dev 버전의 경우, ModelSamplingSD3에서 shift 매개변수를 전체 버전은 3.0, dev 버전은 6.0, 빠른 버전은 3.0으로 설정해야 합니다.
5. Ksampler 노드의 경우, 다운로드한 모델 버전에 따라 설정해야 합니다:
   • steps: 전체 버전은 50, dev 버전은 28, 빠른 버전은 16.
   • cfg: 전체 버전은 5.0, dev 버전은 1.0, 빠른 버전은 1.0으로 설정합니다 (dev 및 빠른 버전은 부정적인 프롬프트가 없습니다).
   • (선택 사항) sampler를 lcm으로 설정합니다.
   • (선택 사항) scheduler를 normal로 설정합니다.
6. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 이미지 생성을 실행합니다.

4. 다양한 HiDream-I1 버전 모델에 대한 매개변수 설정

HiDream 전체 버전

• 모델 파일: hidream_i1_full_fp16.safetensors
• ModelSamplingSD3 노드 shift 매개변수: 3.0
• Ksampler 노드:
  • 단계: 50
  • 샘플러: uni_pc
  • 스케줄러: simple
  • cfg: 5.0

HiDream 개발 버전

• 모델 파일: hidream_i1_dev_bf16.safetensors
• ModelSamplingSD3 노드 shift 매개변수: 6.0
• Ksampler 노드:
  • 단계: 28
  • 샘플러: lcm
  • 스케줄러: normal
  • cfg: 1.0 (부정적인 프롬프트 없음)

HiDream 빠른 버전

• 모델 파일: hidream_i1_fast_bf16.safetensors
• ModelSamplingSD3 노드 shift 매개변수: 3.0
• Ksampler 노드:
  • 단계: 16
  • 샘플러: lcm
  • 스케줄러: normal
  • cfg: 1.0 (부정적인 프롬프트 없음)

HiDream-I1 GGUF 버전 워크플로우

GGUF 버전은 city96에서 제공하는 GGUF 버전 모델을 사용합니다. 우리는 워크플로우를 완성하기 위해 공식 노드를 약간 수정할 것입니다.

ComfyUI-GGUF 플러그인을 설치하거나 이전에 설치한 버전을 업데이트하고, Unet loader(GGUF) 노드를 사용하여 모델을 로드해야 합니다. 이후 내 워크플로우를 로드하고 ComfyUI-Manager의 누락된 노드 확인 기능을 사용하여 해당 노드를 설치하거나, 수동 설치를 위해 사용자 정의 노드 설치를 참조할 수 있습니다.

1. 수동 모델 다운로드

ComfyUI 워크플로우 파일 모델 정보 임베딩은 .sft 및 .safetensors 파일에 대한 모델 정보 임베딩만 지원하므로, GGUF 버전 모델의 경우 먼저 모델을 수동으로 다운로드해야 합니다.

해당 전체, 개발, 빠른 리포지토리는 각 버전의 Q8에서 Q2까지 여러 버전의 모델 파일을 제공하며, VRAM 상황에 따라 적절한 버전을 선택하여 ComfyUI/models/diffusion_models/ 폴더에 다운로드할 수 있습니다.

• HiDream-I1-Full-gguf
• HiDream-I1-Dev-gguf
• HiDream-I1-Fast-gguf

필요한 다른 모델에 대해서는 공유 모델 설치 섹션을 참조하십시오.

2. 워크플로우 파일

아래 이미지를 다운로드하여 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요.

JSON 형식의 워크플로우 다운로드.

3. 워크플로우 실행 단계 따르기

우리는 Load Diffusion Model 노드를 Unet loader(GGUF) 노드로만 교체했기 때문에 나머지는 원래 워크플로우와 완전히 일치합니다.

워크플로우 실행을 완료하기 위해 다음 단계를 따르세요:

1. Unet loader(GGUF) 노드가 다운로드한 GGUF 버전 모델 파일을 사용하고 있는지 확인하세요.
2. QuadrupleCLIPLoader의 네 개의 해당 텍스트 인코더가 올바르게 로드되었는지 확인하세요:
   • clip_l_hidream.safetensors
   • clip_g_hidream.safetensors
   • t5xxl_fp8_e4m3fn_scaled.safetensors
   • llama_3.1_8b_instruct_fp8_scaled.safetensors
3. Load VAE 노드가 ae.safetensors 파일을 사용하고 있는지 확인하세요.
4. 개발 버전의 경우, ModelSamplingSD3에서 shift 매개변수를 전체 버전은 3.0, 개발 버전은 6.0, 빠른 버전은 3.0으로 설정해야 합니다.
5. Ksampler 노드의 경우, 다운로드한 모델 버전에 따라 설정해야 합니다:
   • 단계: 전체 버전은 50, 개발 버전은 28, 빠른 버전은 16.
   • cfg: 전체 버전은 5.0, 개발 버전은 1.0, 빠른 버전은 1.0으로 설정합니다 (개발 및 빠른 버전은 부정적인 프롬프트가 없습니다).
   • (선택 사항) 샘플러를 lcm으로 설정합니다.
   • (선택 사항) 스케줄러를 normal로 설정합니다.
6. 실행 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 이미지 생성을 실행합니다.

4. 다양한 HiDream-I1 GGUF 버전 모델에 대한 매개변수 설정

설정에 대해서는 원래 워크플로우 섹션을 참조하십시오.

HiDream-I1 NF4 버전 워크플로우

이 버전은 ComfyUI-HiDream-Sampler 플러그인의 설치가 필요하며, 원래 lum3on에서 생성되었습니다.

노드는 자동으로 모델을 다운로드해야 하지만, 설치 후에 해당 다운로드 로그가 없다는 것을 발견했습니다. 모델을 수동으로 설치하거나 모델 위치를 선택할 수 없기 때문에 약간의 통제력을 잃은 느낌이었습니다. 그러나 그들의 워크플로우 예제는 이미지-이미지 기능을 이미 구현했습니다. 설치 후에는 해당 디렉토리에서 sample-workflow 폴더를 찾거나 sample-workflow에서 얻을 수 있어야 합니다. 아래 이미지는 해당 워크플로우도 포함되어 있습니다. 성공적으로 테스트했다면 댓글로 진행 방법을 알려주세요. :)

텍스트-이미지 워크플로우

이미지-이미지 워크플로우