Lightricks выпускает модель генерации видео в реальном времени LTX-Video

Компания Lightricks недавно представила новую модель искусственного интеллекта для генерации видео — LTX-Video. Это первая модель генерации видео в реальном времени на основе DiT (Diffusion Transformers), способная создавать качественные видеоролики быстрее скорости их воспроизведения.

Основные возможности

• Генерация в реальном времени: создание видео с частотой 24 кадра в секунду и разрешением 768x512, скорость генерации выше скорости воспроизведения
• Поддержка режимов генерации по тексту и по изображению
• Обучение на большом наборе видеоданных, что обеспечивает реалистичность и естественность контента
• Открытый исходный код, поддержка локального запуска и интеграции с ComfyUI

Технические детали

Модель поддерживает следующие функции:

• Разрешение должно быть кратно 32
• Количество кадров должно быть в формате 8n+1 (например, 257 кадров)
• Оптимальное рабочее разрешение — ниже 720x1280
• Рекомендуемое количество кадров — менее 257
• Поддержка подробных описаний на английском языке

Открытый исходный код и развертывание

LTX-Video доступна с открытым исходным кодом на GitHub и Hugging Face:

• Репозиторий на GitHub
• Модель на Hugging Face

Разработчики могут использовать модель следующими способами:

• Онлайн-демо
• Плагин для ComfyUI
• Локальное развертывание

Эта технология генерации видео в реальном времени открывает новые возможности для творческих специалистов и создания контента. LTX-Video может быть полезна для создания трейлеров, рекламных роликов и материалов для социальных сетей, позволяя быстро реализовывать идеи в видеоформате.