FLUX 3 в ComfyUI: Image Klein, открытые веса, видео и аудио

Что такое FLUX 3?

FLUX 3 — это мультимодальная модель следующего поколения от Black Forest Labs, которая совместно обучается на изображениях, видео и аудио в рамках единой архитектуры. В отличие от предыдущих моделей FLUX, которые фокусировались исключительно на генерации изображений, FLUX 3 формирует общее представление о физическом мире: как объекты держатся вместе, как они движутся и как звучат события.

Ни одна модальность не даёт полного описания реальности. Изображения фиксируют пространственные структуры в определённый момент времени, видео восстанавливает временную динамику, аудио раскрывает причинно-следственные акустические связи, а язык связывает восприятие с инструкциями. FLUX 3 обучается на всех них одновременно, используя взаимные ограничения между модальностями для получения более согласованных и физически обоснованных результатов.

Построенный на подходе Self-Flow для эффективного выравнивания мультимодальной генерации и понимания, FLUX 3 значительно масштабирует вычислительные и данные ресурсы для одновременного обучения на видео, изображениях и аудио.

Что умеет FLUX 3?

Видео + Аудио (FLUX 3 Video: Ранний доступ уже сейчас)

FLUX 3 Video генерирует высокоразнообразные видеоклипы с нативным аудио длиной до 20 секунд в разрешении 720p за одну генерацию:

• Генерация видео по тексту с синхронизированным аудио
• Изображение-в-видео (анимация из начального кадра или визуальных референсов)
• Видео-в-видео с переносом центральных элементов (например, одного и того же персонажа) в новые сцены
• Генеративное продолжение видео-аудио из входного видео и аудио
• Ключевой кадр-в-видео для контролируемых переходов между заданными моментами
• Генерация многоязычного диалога
• Агентная связь отдельных клипов в более длинные многосценные последовательности
• Широкий спектр визуальных стилей и соотношений сторон за пределами обычного кинематографического вывода
• Выразительная мимика, физически обоснованная связь звука и событий, а также многоязычные возможности

Изображение (FLUX 3 Image Klein: открытые веса)

FLUX 3 Image теперь доступна как FLUX 3 Image Klein: модель с открытыми весами, опубликованная 2026-10-15, содержит 5,6 млрд параметров и поддерживает синтез текст-в-изображение, редактирование изображений и генерацию с несколькими референсами, а также работу в ComfyUI. Предварительные оценки показывают значительные улучшения по сравнению с предыдущими версиями FLUX в обработке сложных промптов и точности генерации текста, включая высокоточное отображение текста на нескольких языках.

Прогнозирование действий (FLUX 3 Action / FLUX-mimic: Доступ для партнёров)

Понимание мира FLUX 3 распространяется на прогнозирование действий через нативную интеграцию (на основе Self-Flow) и путём дообучения предобученного видеобэкбона как динамически-ориентированной основы. В партнёрстве с mimic robotics модель FLUX-mimic видео-действие тестируется на реальных производственных задачах на Audi для ловкого манипулирования и развёртывания в производстве.

План запуска

Предварительные оценки

В предварительных оценках предпочтений пользователей для 10-секундных видеоклипов по тексту в 720p с аудио:

Эти результаты предварительны, и команда ожидает дальнейших улучшений в ходе фазы раннего доступа. Источник: Black Forest Labs — публикация о FLUX 3.

Ссылки

• Публикация в блоге
• Страница продукта FLUX 3
• Запросить ранний доступ
• Исследование Self-Flow
• Публикация FLUX 3 x mimic
• Black Forest Labs
• Организация HuggingFace
• Документация API