Пошаговое руководство по workflow LTX Video

Введение в модель LTX Video

LTX Video — это модель генерации видео на архитектуре DiT с 2 миллиардами параметров. Она обладает следующими возможностями:

• Генерация в реальном времени: позволяет создавать видео быстрее, чем их воспроизведение
• Высокое качество: плавное видео с разрешением 768x512 и частотой 24 кадра в секунду
• Несколько режимов генерации: поддерживает преобразование текста в видео, изображения в видео и видео в видео

Требования к установке

Системные требования

• Python 3.10.5 или выше
• CUDA 12.2 или выше
• PyTorch >= 2.1.2

Среда ComfyUI

1. Обновите ComfyUI
   Сначала убедитесь, что ваша версия ComfyUI актуальна. Если вы не знаете, как обновить ComfyUI, обратитесь к инструкции по обновлению ComfyUI

2. Установка пользовательского узла ComfyUI-LTXVideo
   Существует два способа установки:

Способ 1: Через ComfyUI Manager (рекомендуется)

1. Откройте ComfyUI Manager
2. Введите в поиске “LTXVideo”
3. Нажмите “Установить”

Способ 2: Ручная установка

1. Перейдите в папку custom_nodes вашей установки ComfyUI
2. Клонируйте репозиторий:

git clone https://github.com/Lightricks/ComfyUI-LTXVideo

3. Установите зависимости:

pip install -r requirements.txt

Если вы не знакомы с установкой плагинов, обратитесь к инструкции по установке плагинов ComfyUI

Загрузка необходимых моделей

Вам нужно загрузить следующие файлы моделей:

Примечание:

1. Модель PixArt text encoder требует загрузки всего содержимого папки text_encoder
2. Файл модели T5 text encoder большой (примерно 9.79GB), рекомендуется использовать менеджер загрузки

Файлы рабочих процессов

Workflow Text-to-Video

Workflow Image-to-Video

Workflow Video-to-Video

Ограничения использования LTX Video

Разрешение и частота кадров

• Разрешение должно быть кратно 32
• Частота кадров должна быть кратна 8 + 1 (например, 65 кадров, 257 кадров и т.д.)
• Рекомендуемое разрешение не должно превышать 720x1280
• Рекомендуемое количество кадров не должно превышать 257 кадров

Настройка промптов

• Промпты должны быть на английском языке
• Чем более детальным будет промпт, тем лучше
• Рекомендуется включать полные описания сцен, действий и деталей

Руководство по использованию рабочих процессов

Описание основных узлов

Все рабочие процессы включают следующие базовые узлы:

1. Узел загрузки модели

• LTXVLoader: загрузка основной модели LTX Video
  • Выберите файл ltx-video-2b-v0.9.safetensors
• LTXVCLIPModelLoader: загрузка текстового энкодера
  • Выберите файл PixArt-XL-2-1024-MS/text_encoder/model-00001-of-00002.safetensors
• LTXVModelConfigurator: настройка параметров модели
  • Установите основные параметры, такие как разрешение, количество кадров и FPS
  • При необходимости включите дополнительный conditioning input

2. Узел обработки промптов

• CLIPTextEncode (Positive): кодирование положительного промпта
  • Используйте энкодер PixArt для обработки положительных промптов
• CLIPTextEncode (Negative): кодирование отрицательного промпта
  • Используйте энкодер PixArt для обработки отрицательных промптов
• CFGGuider: управление силой влияния промпта
  • Рекомендуемый диапазон значений: 2-7
  • Чем выше значение, тем ближе результат к описанию промпта

3. Узел управления сэмплированием

• KSamplerSelect: выбор сэмплера
  • Рекомендуется использовать сэмплер Euler
• BasicScheduler: настройка количества шагов сэмплирования и типа планировщика
  • Диапазон шагов: 10-25
  • Тип планировщика: normal
• RandomNoise: генерация случайного шума
  • Можно задать фиксированное значение seed для воспроизводимости результата
• SamplerCustomAdvanced: выполнение процесса сэмплирования
  • Интеграция всех параметров, связанных с сэмплированием, для финальной генерации

4. Узел вывода

• VAEDecode: декодирование сгенерированных кадров
  • Используется встроенный VAE-декодер LTX Video
• VHS_VideoCombine: объединение итогового видео
  • Настройте частоту кадров, формат и параметры кодирования выходного видео
  • Поддерживается предпросмотр сгенерированного видео

Руководство по режимам генерации LTX Video

Текст-видео (Text-to-Video)

1. Установка базовых параметров В узле LTXVModelConfigurator:

• Разрешение: 768x512
• Количество кадров: 65 (примерно 2,5 секунды)
• FPS: 25

2. Написание промптов

• Положительный промпт должен быть максимально подробным, описывать сцену, действия и детали
• В отрицательный промпт рекомендуется добавить: “worst quality, inconsistent motion, blurry, jittery, distorted, watermarks”

3. Настройка параметров сэмплирования

• Количество шагов: рекомендуется 20
• CFG: рекомендуется 4-7
• Сэмплер: Euler
• Планировщик: Normal

Изображение-видео (Image-to-Video)

В дополнение к базовым настройкам потребуется:

1. Подготовка референсных изображений

• Используйте узел LoadImage для загрузки референсных изображений
• Желательно, чтобы изображения соответствовали целевому соотношению сторон

2. Настройка параметров преобразования

• Уменьшите значение CFG (рекомендуется 3-5) для сохранения схожести с референсом
• Количество шагов сэмплирования можно уменьшить (15-20)

Видео-видео (Video-to-Video)

1. Загрузка исходного видео Используйте узел VHS_LoadVideo:

• Установите подходящую частоту кадров
• При необходимости выберите изменение разрешения

2. Тонкая настройка параметров

• Используйте более низкое значение CFG (2-4)
• Уменьшите количество шагов сэмплирования (10-15)
• При необходимости настройте параметр sigma_shift

Гайд по оптимизации LTX Video

Оптимизация параметров

1. Оптимизация промпта

   • Используйте подробные и конкретные описания
   • Включайте описание действий и переходов между сценами
   • Добавляйте термины, связанные с кинематографией

2. Оптимизация производительности

   • При необходимости уменьшайте разрешение для ускорения генерации
   • Снижайте количество кадров для тестирования
   • Используйте меньше шагов сэмплирования

3. Оптимизация качества

   • Если изображение дрожит: уменьшите значение CFG
   • Если не хватает деталей: увеличьте количество шагов сэмплирования
   • Если переходы выглядят неестественно: доработайте описание промпта

Советы по продвинутому использованию LTX Video

Создание длинных видео

• Генерируйте отдельные фрагменты по частям
• Сохраняйте единый стиль с помощью промптов
• Для склейки используйте видеоредакторы

Управление стилем

• Включайте в промпт конкретные описания художественного стиля
• Используйте референсные изображения для ориентира по стилю
• Регулируйте силу влияния стиля через значение CFG

Управление действиями

• Подробно описывайте процесс действия в промпте
• Используйте ключевые кадры как референсы
• Корректируйте частоту кадров для нужного эффекта

Примеры и шаблоны для LTX Video

Примеры сцен

1. Простой переход сцены

Положительный промпт: “A serene lake at sunrise, gentle ripples on the water surface, morning mist slowly rising, birds flying across the golden sky” Шаги сэмплирования: 20
CFG: 4

2. Сложная последовательность действий Положительный промпт: “A professional dancer performing a graceful contemporary dance sequence, flowing movements, dynamic spins and leaps, soft lighting, studio setting” Шаги сэмплирования: 25
   CFG: 5

Рекомендуется сохранять удачные комбинации параметров для дальнейшего использования. Постоянно экспериментируя и настраивая параметры, вы постепенно освоите работу с LTX Video.

Шаблон промпта для LTX Video

The turquoise waves crash against the dark, jagged rocks of the shore, sending white foam spraying into the air. The scene is dominated by the stark contrast between the bright blue water and the dark, almost black rocks. The water is a clear, turquoise color, and the waves are capped with white foam. The rocks are dark and jagged, and they are covered in patches of green moss. The shore is lined with lush green vegetation, including trees and bushes. In the background, there are rolling hills covered in dense forest. The sky is cloudy, and the light is dim.

Ссылки на ресурсы LTX Video

Официальные ресурсы LTX Video

• Официальный сайт LTX Video
• Техническая документация LTX Video
• Репозиторий LTX Video на GitHub
• Репозиторий плагина ComfyUI-LTXVideo

Загрузка моделей LTX Video

• Модель LTX Video на Hugging Face

Онлайн-сервисы LTX Video

• Демо текст-видео на Fal.ai
• Демо изображение-видео на Fal.ai

Сообщество и блоги по LTX Video

• Технический блог Lightricks
• Официальный блог ComfyUI — Введение в LTX Video

Поддержка и обратная связь

• Обратная связь по вопросам LTX Video
• Обратная связь по вопросам ComfyUI-LTXVideo