HuMo模型:基于音频条件的以人为中心的视频生成
Phantom-video开发的HuMo是一个以人为中心的视频生成模型,基于Wan2.1构建。使用Whisper音频条件,支持14B和1.7B两种参数规模,用于生成人类视频。
H
HuMo
Wan2.1以人为中心音频条件Whisper基于Wan2.1并采用Whisper音频条件的以人为中心的视频生成模型。支持文本、图像和音频输入,实现精细可控的人体视频生成。提供14B fp16和1.7B fp16两种参数规模。
| 开发者 | Phantom-video |
| 架构 | 基于Wan2.1,支持多模态条件 |
| 模型规模 | 14B fp16、1.7B fp16 |
| 能力 | 以人为中心的视频生成,支持文本/图像/音频条件 |
| 音频条件器 | Whisper(通过westlast/whisper) |
概述
HuMo(人体运动)由Phantom-video开发,是一个统一的以人为中心的视频生成框架,基于Wan2.1构建。它能够从多模态输入(包括文本、图像和音频)生成高质量、精细可控的人体视频。Whisper音频条件能够实现人体运动与音频线索的精确同步,使其适用于说话头像生成、手势合成以及富有表现力的人体动画。
该模型提供两种规模:完整版14B fp16参数变体,用于最高质量;轻量级1.7B fp16参数变体,用于消费级GPU兼容性。
ComfyUI集成
HuMo与ComfyUI工作流兼容。用于条件的Whisper音频模型可在Hugging Face上的westlast/whisper找到。
Guides and workflows related to this model series.
No articles found.