昆仑万维发布SkyReels-V2无限时长电影生成模型
2025/04/21
HiDream-I1 是智象未来(HiDream-ai)于2025年4月7日正式开源的文生图模型,该模型拥有17B参数规模,
许可类型 采用 MIT 许可证 发布,支持用于个人项目、科学研究以及商用,目前在多项基准测试中该模型表现优异。
在本篇中我们会完成以下内容
- 简要介绍下 HiDream-I1
- 提供现有社区不同版本的 HiDream-I1 模型以及对应支持信息
- 针对不同模型版本的工作流
由于这个模型完整版本对显存要求较高,所以你可以在本篇社区模型版本部分来选择适合你设备情况的版本并了解对应的工作流,请记得参考这篇文章升级 ComfyUI 到最新版本 来保证对应的节点可以正常使用。
HiDream-I1 介绍
模型特点
混合架构设计 采用扩散模型(DiT)与混合专家系统(MoE)的结合架构:
- 主体基于Diffusion Transformer(DiT),通过双流MMDiT模块处理多模态信息,单流DiT模块优化全局一致性。
- 动态路由机制灵活分配计算资源,提升复杂场景处理能力,在色彩还原、边缘处理等细节上表现优异。
多模态文本编码器集成 整合四个文本编码器:
- OpenCLIP ViT-bigG、OpenAI CLIP ViT-L(视觉语义对齐)
- T5-XXL(长文本解析)
- Llama-3.1-8B-Instruct(指令理解) 这一组合使其在颜色、数量、空间关系等复杂语义解析上达到SOTA水平,中文提示词支持显著优于同类开源模型。
原始模型仓库
智象未来(HiDream-ai)提供了三个版本的 HiDream-I1 模型,以满足不同场景的需求,下面是原始的模型仓库链接:
- 完整版本:🤗 HiDream-I1-Full 推理步数为 50
- 蒸馏开发版本:🤗 HiDream-I1-Dev 推理步数为 28
- 蒸馏快速版本:🤗 HiDream-I1-Fast 推理步数为 16
社区 HiDream-I1 模型版本
目前 HiDream-I1 的模型在社区中已经有很多的变体版本, 这是目前 ComfyUI-Wiki 整理收集的现有版本,不过由于我在测试时运行不大顺利,所以仅提供对应工作流。
ComfyOrg 的 repackaged 版本
在 ComfyOrg 的仓库里提供了重新打包的 Full、Dev、Fast 包括完整版本和 fp8 版本,完整版本大概需要 20GB 显存,而 fp8 版本大概需要 16GB 显存,我们将会使用原生示例来完成工作流。
GGUF 版本模型
由 city96 提供的 GGUF 版本模型
对应仓库多个版本从 Q8 到 Q2,Q4 大概 12G 左右显存要求,Q2 大概 8G 左右显存要求,如果你实在不清楚,可以先从体积最小的版本开始测试。
需要使用 ComfyUI-GGUF 的 Unet loader(GGUF)
节点来加载,我们将会稍加改造官方节点来完成工作流。
NF4 版本模型
这是一个使用采用 4 位量化技术来降低内存使用量的版本,大概约 16GB 的VRAM就可以运行了.
- HiDream-I1-Full-nf4
- HiDream-I1-Dev-nf4
- HiDream-I1-Fast-nf4
- 使用 ComfyUI-HiDream-Sampler 节点来使用 NF4 版本模型,这个节点最早是由lum3on 提供的
ComfyUI-HiDream-Sampler 会在首次运行时下载模型,并实现了非官方的图生图功能,我们也会在本篇文档中完成对应的示例。
共用模型安装
下面的模型文件是我们会在几个工作流中都会使用到的模型文件,所以我们可以先开始下载,并参照模型文件保存位置进行保存,对应的 diffusion models 模型我们会在对应工作流中补充下载的链接。
text_encoders:
- clip_l_hidream.safetensors
- clip_g_hidream.safetensors
- t5xxl_fp8_e4m3fn_scaled.safetensors T5XXL 的轻量化版本,你可能已经有了这个文件
- llama_3.1_8b_instruct_fp8_scaled.safetensors
VAE
- ae.safetensors 这个是 Flux 的 VAE 模型,如果使用过 Flux 的工作流,你已经有了这个文件。
diffusion models 这部分我们将在对应工作流中具体引导下载对应的模型文件。
模型文件保存位置
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 text_encoders/
│ │ ├─── clip_l_hidream.safetensors
│ │ ├─── clip_g_hidream.safetensors
│ │ ├─── t5xxl_fp8_e4m3fn_scaled.safetensors
│ │ └─── llama_3.1_8b_instruct_fp8_scaled.safetensors
│ └── 📂 vae/
│ │ └── ae.safetensors
│ └── 📂 diffusion_models/
│ └── ... # 将在对应版本的工作流中引导你进行安装
ComfyUI 原生 HiDream-I1 工作流
原生工作流其实我在为 Comfy 官方撰写的ComfyUI 原生 HiDream-I1 工作流示例文档里已经比较详细了,但因为官方文档目前仅支持了中英文,所以考虑到 ComfyUI Wiki 多语种支持的特点,我也会在这个指南完成对应的示例。
官方的文档中,我分别撰写了full、dev、fast三个版本的完整工作流,这三个工作流基本使用的模型和工作流是一致的,只有部分参数和使用模型不同,所以这里我们只使用一个版本的工作流,并补充其他两个版本的工作流相关设置来避免本篇文档内容重复过长。
1. 工作流文件下载
请下载下面的图片,并拖入 ComfyUI 中以加载对应的工作流, 文件中已嵌入对应的模型下载信息, ComfyUI会检测对应一级子目录是否存在对应模型文件,
但无法检测类似 ComfyUI/models/text_encoders/hidream/
这种二级子目录是否存在模型文件。
如果你已经下载了对应模型,可以直接忽略对应提示,下面的工作流使用的是hidream_i1_dev_fp8.safetensors
模型,如果你需要使用其它版本请参考手动模型下载部分下载对应模型
Json 格式工作流下载
2. 手动模型下载
对下面是不同版本的 HiDream-I1 模型文件,你可以根据你的显存情况来选择合适的版本,并保存 ComfyUI/models/diffusion_models/
文件夹下。
模型名称 | 版本 | 精度 | 文件大小 | 显卡要求 | 下载链接 |
---|---|---|---|---|---|
hidream_i1_full_fp16.safetensors | full | fp16 | 34.2 GB | 20GB | 下载链接 |
hidream_i1_dev_bf16.safetensors | dev | bf16 | 34.2 GB | 20GB | 下载链接 |
hidream_i1_fast_bf16.safetensors | fast | bf16 | 34.2 GB | 20GB | 下载链接 |
hidream_i1_full_fp8.safetensors | full | fp8 | 17.1 GB | 16GB | 下载链接 |
hidream_i1_dev_fp8.safetensors | dev | fp8 | 17.1 GB | 16GB | 下载链接 |
hidream_i1_fast_fp8.safetensors | fast | fp8 | 17.1 GB | 16GB | 下载链接 |
供参考: dev fp8 版本在 24GB 4090 下首次生成使用了 62s ,第二次生成使用了20s
3. 按步骤完成工作流的运行
按步骤完成工作流的运行
- 确保
Load Diffusion Model
节点中使用的是hidream_i1_dev_fp8.safetensors
或你下载的版本 - 确保
QuadrupleCLIPLoader
中四个对应的 text encoder 被正确加载- clip_l_hidream.safetensors
- clip_g_hidream.safetensors
- t5xxl_fp8_e4m3fn_scaled.safetensors
- llama_3.1_8b_instruct_fp8_scaled.safetensors
- 确保
Load VAE
节点中使用的是ae.safetensors
文件 - 对于 dev 版本你需要设置
ModelSamplingSD3
中的shift
参数为 dev 版本为full 版本为3.0
、dev 版本为6.0
,fast 版本为3.0
- 对于
Ksampler
节点,你需要根据你下载的不同版本模型进行设置steps
full 版本为50
、dev 版本为28
、fast 版本为16
cfg
full 版本设置为5.0
、dev 版本设置为1.0
、fast 版本设置为1.0
(dev 和 fast 版本没有负向提示)- (可选)
sampler
设置为lcm
- (可选)
scheduler
设置为normal
- 点击
Run
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行图片生成
4. 对应不同 HiDream-I1 版本模型的参数设置说明
在直接使用 ComfyUI 工作流模板中的对应工作流即可,在和ComfyOrg 协作发布对应的模型支持的时候我已经在对应模型里设置好了对应的参数。
HiDream Full
- 模型文件: hidream_i1_full_fp16.safetensors
ModelSamplingSD3
节点shift
参数: 3.0Ksampler
节点:- steps: 50
- sampler: uni_pc
- scheduler: simple
- cfg: 5.0
HiDream Dev
- 模型文件: hidream_i1_dev_bf16.safetensors
ModelSamplingSD3
节点shift
参数: 6.0Ksampler
节点:- steps: 28
- sampler: lcm
- scheduler: normal
- cfg: 1.0 (没有负向提示)
HiDream Fast
- 模型文件: hidream_i1_fast_bf16.safetensors
ModelSamplingSD3
节点shift
参数: 3.0Ksampler
节点:- steps: 16
- sampler: lcm
- scheduler: normal
- cfg: 1.0 (没有负向提示)
HiDream-I1 GGUF 版本工作流
GGUF 版本使用的是来自 city96 提供的 GGUF 版本模型,我们将会稍加改造官方节点来完成工作流。
需要安装 ComfyUI-GGUF 插件或者对之前安装版本进行更新,并使用 Unet loader(GGUF)
节点来加载模型,你可以稍后加载我的工作流后使用 ComfyUI-Manager 的检查缺失节点功能(Instll missing nodes)来安装对应的节点,或者参考安装自定义节点来手动安装。
1. 手动模型下载
ComfyUI 工作流文件模型信息嵌入仅支持对 .sft
和 .safetensors
文件的模型信息嵌入,所以对于 GGUF 版本模型,我们需要首先手动下载模型。
对应full、dev、fast 每个仓库每个版本都提供了 Q8 到 Q2 多个版本的模型文件,你可以根据你的显存情况来选择合适的版本,并下载到 ComfyUI/models/diffusion_models/
文件夹下。
供参考: dev-Q5-1 版本在 24GB 4090 下首次生成使用了 162s ,第二次生成使用了 58s
其它必须安装的模型 ,请参考共用模型安装部分
2. 工作流文件
请下载下面的图片,并拖入 ComfyUI 中以加载对应的工作流
Json 格式工作流下载
3. 按步骤完成工作流的运行
由于我们仅仅替换了 Load Diffusion Model
节点为 Unet loader(GGUF)
节点,其它与原生生工作流完全一致。
按步骤完成工作流的运行
- 确保
Unet loader(GGUF)
节点中使用的是你下载的 GGUF 版本模型文件 - 确保
QuadrupleCLIPLoader
中四个对应的 text encoder 被正确加载- clip_l_hidream.safetensors
- clip_g_hidream.safetensors
- t5xxl_fp8_e4m3fn_scaled.safetensors
- llama_3.1_8b_instruct_fp8_scaled.safetensors
- 确保
Load VAE
节点中使用的是ae.safetensors
文件 - 对于 dev 版本你需要设置
ModelSamplingSD3
中的shift
参数为 dev 版本为full 版本为3.0
、dev 版本为6.0
,fast 版本为3.0
- 对于
Ksampler
节点,你需要根据你下载的不同版本模型进行设置steps
full 版本为50
、dev 版本为28
、fast 版本为16
cfg
full 版本设置为5.0
、dev 版本设置为1.0
、fast 版本设置为1.0
(dev 和 fast 版本没有负向提示)- (可选)
sampler
设置为lcm
- (可选)
scheduler
设置为normal
- 点击
Run
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行图片生成
4. 对应不同 HiDream-I1 GGUF 版本模型的参数设置说明
请参考原生工作流部分进行设置
HiDream-I1 NF4 版本工作流
这个版本需要安装 ComfyUI-HiDream-Sampler 插件,原始的版本是lum3on制作的。
节点应该会自动下载模型,但是我在安装后发现并没有对应的下载日志,因为不能手动安装模型,和自己手动选择模型位置,这让我感觉有点点没有控制感,但在他们的工作流示例中已经实现了图生图的功能, 安装后在对应文件夹你应该可以找到一个 sample-workflow 的文件夹 或者访问sample-workflow 来获取。 下面的图片也已经包含了对应工作流,如果你测试成功了,可以在评论中告诉我应该怎么做。:)