HuMo: オーディオ条件付けによる人間中心のビデオ生成

概要

HuMo（ヒューマンモーション）は、Phantom-videoによる統合的な人間中心のビデオ生成フレームワークであり、Wan2.1をベースにしています。テキスト、画像、オーディオを含むマルチモーダル入力から、高品質で細粒度かつ制御可能な人間ビデオを生成します。Whisperオーディオ条件付けにより、人間の動きをオーディオの手がかりと正確に同期できるため、トーキングヘッド生成、ジェスチャー合成、表現豊かな人間アニメーションに適しています。

このモデルは、最大品質を提供するフルサイズの14B fp16バリアントと、コンシューマーGPUとの互換性を考慮した軽量な1.7B fp16バリアントの2つのサイズで提供されます。

ComfyUI統合

HuMoはComfyUIのワークフローと互換性があります。条件付け用のWhisperオーディオモデルは、Hugging Faceのwestlast/whisperで入手できます。