HuMo: Генерация видео, ориентированная на человека, с аудио-обуславливанием
HuMo от Phantom-video : это модель генерации видео, ориентированная на человека, построенная на базе Wan2.1. Использует аудио-обуславливание на основе Whisper для генерации видео с участием человека в версиях 14B и 1.7B.
HuMo
Wan2.1Ориентированный на человекаАудио-обуславливаниеWhisperМодель генерации видео, ориентированная на человека, построенная на базе Wan2.1 с аудио-обуславливанием на основе Whisper. Поддерживает ввод текста, изображений и аудио для детализированного управляемого создания видео с людьми. Доступна в размерах 14B fp16 и 1.7B fp16.
| Разработчик | Phantom-video |
| Архитектура | На основе Wan2.1 с мультимодальным обуславливанием |
| Размеры модели | 14B fp16, 1.7B fp16 |
| Возможности | Генерация видео, ориентированная на человека, обуславливание текстом/изображением/аудио |
| Аудио-обуславливатель | Whisper (через westlast/whisper) |
Обзор
HuMo (человеческое движение) от Phantom-video : это унифицированный фреймворк для генерации видео, ориентированный на человека, построенный на базе Wan2.1. Он создает высококачественные, детализированные и управляемые видео людей на основе мультимодальных входных данных, включая текст, изображения и аудио. Аудио-обуславливание на базе Whisper обеспечивает точную синхронизацию движений человека с аудиосигналами, что делает его подходящим для генерации говорящих голов, синтеза жестов и выразительной анимации людей.
Модель доступна в двух размерах: полная версия 14B fp16 для максимального качества и облегченная версия 1.7B fp16 для совместимости с потребительскими GPU.
Интеграция с ComfyUI
HuMo совместим с рабочими процессами ComfyUI. Модель аудио-обуславливания Whisper можно найти на Hugging Face по ссылке westlast/whisper.
Guides and workflows related to this model series.