Полное руководство по рабочему процессу HunyuanVideo Image-to-Video GGUF, FP8 и нативной поддержке ComfyUI с примерами

6 марта 2025 года Tencent официально выпустила модель HunyuanVideo для генерации видео из изображений. Модель теперь доступна с открытым исходным кодом и размещена на HunyuanVideo-I2V.

Ниже представлена схема общей архитектуры HunyuanVideo:

ComfyUI теперь поддерживает модель HunyuanVideo-I2V на нативном уровне, а разработчики сообщества kijai и city96 обновили свои пользовательские узлы для поддержки этой модели.

Помимо официальной версии от Tencent, доступны и другие сборки, подготовленные ComfyUI Wiki:

• Официальная перепакованная версия ComfyUI (не требует плагинов): Comfy-Org/HunyuanVideo_repackaged
• Версия от Kijai (требуется ComfyUI-HunyuanVideoWrapper): Kijai/HunyuanVideo_comfy
• Версия от city96 (требуется ComfyUI-GGUF): city96/HunyuanVideo-I2V-gguf

В этой статье приведены подробные инструкции по установке моделей и примеры рабочих процессов для каждой из этих версий.

Данный материал посвящён рабочим процессам генерации видео из изображений. Если вы хотите узнать о рабочем процессе генерации видео из текста с помощью Tencent Hunyuan, ознакомьтесь с руководством по рабочему процессу Hunyuan Text-to-Video с примерами.

Официальный рабочий процесс HunyuanVideo I2V в ComfyUI

Этот рабочий процесс взят из официальной документации ComfyUI.

Перед началом работы рекомендуется ознакомиться с руководством по обновлению ComfyUI и обновить ComfyUI до последней версии, чтобы не пропустить появление следующих узлов Comfy_Core для HunyuanVideo:

• HunyuanImageToVideo
• TextEncodeHunyuanVideo_ImageToVideo

1. Файл рабочего процесса HunyuanVideo I2V

Скачайте файл рабочего процесса ниже, затем перетащите его в окно ComfyUI или используйте меню Workflows -> Open (ctrl+o) для загрузки.

Скачать рабочий процесс в формате JSON

2. Загрузка моделей HunyuanVideo I2V

Следующие модели взяты из Comfy-Org/HunyuanVideo_repackaged. Пожалуйста, скачайте эти файлы:

• llava_llama3_vision.safetensors
• clip_l.safetensors
• llava_llama3_fp16.safetensors
• llava_llama3_fp8_scaled.safetensors
• hunyuan_video_vae_bf16.safetensors
• hunyuan_video_image_to_video_720p_bf16.safetensors

После загрузки разместите файлы согласно структуре ниже и сохраните их в соответствующих папках внутри ComfyUI/models:

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   ├── llava_llama3_fp16.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors
│   └── diffusion_models/
│       └── hunyuan_video_image_to_video_720p_bf16.safetensors

3. Входное изображение

Скачайте изображение ниже и используйте его в качестве входного изображения

Проверка каждого узла рабочего процесса HunyuanVideo I2V

Ориентируйтесь на изображение ниже, чтобы проверить содержимое каждого узла и убедиться, что рабочий процесс функционирует корректно

1. Проверьте узел DualCLIPLoader:

   • Убедитесь, что clip_name1: clip_l.safetensors загружен правильно
   • Убедитесь, что clip_name2: llava_llama3_vision.safetensors загружен правильно

2. Проверьте узел Load CLIP Vision: убедитесь, что llava_llama3_vision.safetensors загружен правильно

3. В узле Load Image загрузите ранее скачанное входное изображение

4. Проверьте узел Load VAE: убедитесь, что hunyuan_video_vae_bf16.safetensors загружен правильно

5. Проверьте узел Load Diffusion Model: убедитесь, что hunyuan_video_image_to_video_720p_bf16.safetensors загружен правильно

   • Если при запуске появляется ошибка running out of memory., попробуйте установить параметр weight_dtype в тип fp8

6. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter(Ввод), чтобы запустить генерацию видео

Версия Kijai HunyuanVideoWrapper

1. Установка пользовательских узлов

Вам необходимо установить следующие пользовательские узлы:

• ComfyUI-VideoHelperSuite
• ComfyUI-WanVideoWrapper
• ComfyUI-KJNodes

Если вы не знаете, как устанавливать пользовательские узлы, ознакомьтесь с руководством по установке пользовательских узлов ComfyUI

2. Загрузка моделей

• hunyuan_video_vae_bf16.safetensors
• hunyuan_video_I2V_fp8_e4m3fn.safetensors

Скачанные файлы необходимо разместить согласно структуре ниже и сохранить в соответствующих папках внутри ComfyUI/models:

ComfyUI/
├── models/
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors
│   └── diffusion_models/
│       └── hunyuan_video_I2V_fp8_e4m3fn.safetensors

3. Файл рабочего процесса HunyuanVideo I2V

Проверка каждого узла рабочего процесса HunyuanVideo I2V

Ориентируйтесь на изображение ниже, чтобы проверить содержимое каждого узла и убедиться, что рабочий процесс функционирует корректно

1. В узле Load Image загрузите изображение, которое вы хотите использовать для генерации видео из изображения
2. В узле HunyuanVideo VAE Loader убедитесь, что файл hunyuan_video_vae_bf16.safetensors загружен корректно
3. В узле HunyuanVideo Model Loader убедитесь, что файл hunyuan_video_I2V_fp8_e4m3fn.safetensors загружен корректно
4. В узле HyVideo I2V Encode измените текст запроса (prompt), введите описание видео, которое вы хотите получить
5. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter(Ввод), чтобы запустить генерацию видео

Версия city96 GGUF

1. Установка пользовательских узлов

Вам необходимо установить следующий пользовательский узел:

• ComfyUI-GGUF

Если вы не знаете, как устанавливать пользовательские узлы, ознакомьтесь с руководством по установке пользовательских узлов ComfyUI

2. Загрузка моделей

Модель для этой версии практически такая же, как и в официальной версии Comfy, поэтому, пожалуйста, обратитесь к разделу официальной версии для ручной загрузки соответствующей модели.

Вам нужно перейти по ссылке city96/HunyuanVideo-I2V-gguf, чтобы скачать нужную модель, и сохранить соответствующий файл gguf в папку ComfyUI/models/unet:

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   ├── llava_llama3_fp16.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors
│   └── unet/
│       └── hunyuan-video-i2v-720p-Q4_K_M.gguf // Depending on the GGUF version you downloaded

3. Файл рабочего процесса HunyuanVideo I2V

Проверка каждого узла рабочего процесса HunyuanVideo I2V (city96 GGUF)

Ориентируйтесь на изображение ниже, чтобы проверить содержимое каждого узла и убедиться, что рабочий процесс функционирует корректно

1. Проверьте узел DualCLIPLoader:
   • Убедитесь, что clip_name1: clip_l.safetensors загружен корректно
   • Убедитесь, что clip_name2: llava_llama3_vision.safetensors загружен корректно
2. Проверьте узел Load CLIP Vision: убедитесь, что llava_llama3_vision.safetensors загружен корректно
3. В узле Load Image загрузите исходное изображение, которое вы подготовили ранее
4. Проверьте узел Load VAE: убедитесь, что hunyuan_video_vae_bf16.safetensors загружен корректно
5. Проверьте узел Load Diffusion Model: убедитесь, что соответствующая модель HunyuanVideo GGUF загружена корректно
6. Нажмите кнопку Run или используйте сочетание клавиш Ctrl(cmd) + Enter, чтобы запустить генерацию видео