DreamX-Creator 1.0: установка в ComfyUI и руководство по модели

DreamX-Creator 1.0

Генерация видеоСовместное аудио и видео2KComfyUI

DreamX-Creator 1.0 это открытый 7B-генератор от AMap, который за один проход создаёт синхронизированные видео и аудио, а также авторегрессивный 1-шаговый рефайнер, повышающий разрешение результата до 2K. Нативные V3-ноды ComfyUI открывают доступ к выпущенным генератору и рефайнеру.

GitHub Hugging Face ComfyUI Nodes arXiv

Разработчик	AMap ML (Alibaba)
Дата выпуска	2026-09
Архитектура	7B-генератор совместного аудио и видео + 5B SR-DiT рефайнер
Базовые зависимости	Wan2.2-TI2V-5B (видео VAE, текстовый энкодер UMT5-xxl)
Выход	Синхронизированные видео + аудио, до 2K после улучшения
Лицензия	Apache-2.0

Получая первый кадр и текстовый промпт, DreamX-Creator совместно моделирует специализированные по модальностям видеопоток и аудиопоток через гейтированное кросс-модальное внимание: веса кросс-внимания позволяют каждой модальности обращаться к другой, а обученный гейт управляет объёмом передаваемой между ними информации. Прогрессивное совместное обучение сохраняет синхронность движения губ, действий на экране и звуковой дорожки, а не сшивает их постфактум. Затем авторегрессивный 1-шаговый рефайнер (SR-DiT, 5B) повышает разрешение клипа до 2K, сохраняя содержимое, движение и привязку по времени к аудио, и может также улучшать внешние видео.

Установка

DreamX-Creator работает в ComfyUI через нативные V3-ноды из DreamX Creator T8. Установите пакет нод через ComfyUI Manager (поиск "DreamX Creator T8") или клонируйте его в ComfyUI/custom_nodes/ и установите его требования тем же Python, который запускает ComfyUI.

Скачайте готовый для ComfyUI набор весов в общий каталог моделей:

hf download t8star/DreamX-Creator-Comfy --local-dir ComfyUI/models/dreamx_creator

Параметр загрузчика model_root=auto выполняет поиск в checkpoints/ репозитория и в ComfyUI/models/dreamx_creator/. Набор занимает около 54 ГБ, и в его корне должны непосредственно находиться папки creator/, audio_vae/, refiner/ и wan2.2_ti2v_5b/.

Рабочие процессы

Граф генерации запускает полный загрузчик, два текстовых энкодера, латентный аудио-видео первого кадра, AV flow shifts (в выпущенном пресете 5.0 / 5.0), мультимодальный гид и сэмплер FlowMatch на обычном планировании, 20 шагов и euler; далее идут разделение AV-латента, декодирование VAE видео и аудио и экспорт видео. Отдельный граф рефайнера выполняет 2× проход, сохраняя аудио и FPS. Запрошенная длительность округляется вниз до совместимого с Wan количества кадров 4N+1.

Пакет нод включает примеры, импортируемые во фронтенд (examples/dreamx_creator_ui.json для перехода от первого кадра к синхронизированным видео и аудио и examples/dreamx_refiner_ui.json для 2× прохода повышения разрешения).

DreamX-Creator 1.0: установка в ComfyUI и руководство по модели