HuMo: generación de video centrada en humanos con acondicionamiento de audio
HuMo de Phantom-video es un modelo de generación de video centrado en humanos construido sobre Wan2.1. Utiliza acondicionamiento de audio Whisper para generar videos humanos, disponible en tamaños 14B y 1.7B.
HuMo
Wan2.1Human-CentricAudio ConditioningWhisperModelo de generación de video centrado en humanos construido sobre Wan2.1 con acondicionamiento de audio Whisper. Admite entradas de texto, imagen y audio para una generación de video humano finamente controlable. Disponible en tamaños 14B fp16 y 1.7B fp16.
| Desarrollador | Phantom-video |
| Arquitectura | Basado en Wan2.1 con acondicionamiento multimodal |
| Tamaños del modelo | 14B fp16, 1.7B fp16 |
| Capacidades | Generación de video centrada en humanos, acondicionamiento de texto/imagen/audio |
| Acondicionador de audio | Whisper (a través de westlast/whisper) |
Descripción general
HuMo (Human Motion) de Phantom-video es un marco unificado de generación de video centrado en humanos construido sobre Wan2.1. Produce videos humanos de alta calidad, finos y controlables a partir de entradas multimodales que incluyen texto, imágenes y audio. El acondicionamiento de audio Whisper permite una sincronización precisa del movimiento humano con las señales de audio, lo que lo hace adecuado para generación de cabezas parlantes, síntesis de gestos y animación humana expresiva.
El modelo está disponible en dos tamaños: la variante completa de 14B fp16 para máxima calidad y la variante ligera de 1.7B fp16 para compatibilidad con GPU de consumo.
Integración con ComfyUI
HuMo es compatible con flujos de trabajo de ComfyUI. El modelo de audio Whisper para acondicionamiento se encuentra en westlast/whisper en Hugging Face.
Guides and workflows related to this model series.