HuMo模型:基于音频条件的以人为中心的视频生成

Phantom-video开发的HuMo是一个以人为中心的视频生成模型,基于Wan2.1构建。使用Whisper音频条件,支持14B和1.7B两种参数规模,用于生成人类视频。

H

HuMo

Wan2.1以人为中心音频条件Whisper

基于Wan2.1并采用Whisper音频条件的以人为中心的视频生成模型。支持文本、图像和音频输入,实现精细可控的人体视频生成。提供14B fp16和1.7B fp16两种参数规模。

开发者Phantom-video
架构基于Wan2.1,支持多模态条件
模型规模14B fp16、1.7B fp16
能力以人为中心的视频生成,支持文本/图像/音频条件
音频条件器Whisper(通过westlast/whisper)

概述

HuMo(人体运动)由Phantom-video开发,是一个统一的以人为中心的视频生成框架,基于Wan2.1构建。它能够从多模态输入(包括文本、图像和音频)生成高质量、精细可控的人体视频。Whisper音频条件能够实现人体运动与音频线索的精确同步,使其适用于说话头像生成、手势合成以及富有表现力的人体动画。

该模型提供两种规模:完整版14B fp16参数变体,用于最高质量;轻量级1.7B fp16参数变体,用于消费级GPU兼容性。

ComfyUI集成

HuMo与ComfyUI工作流兼容。用于条件的Whisper音频模型可在Hugging Face上的westlast/whisper找到。

Guides and workflows related to this model series.

No articles found.