Black Forest Labs выпускает FLUX.1 Kontext: набор моделей для контекстно-осведомленного редактирования изображений
29 мая 2024 года Black Forest Labs официально выпустил FLUX.1 Kontext, набор генеративных моделей flow matching, специально разработанных для генерации и редактирования изображений. В отличие от существующих моделей текст-в-изображения, серия FLUX.1 Kontext может выполнять контекстно-осведомленную генерацию изображений, позволяя пользователям использовать как текст, так и изображения в качестве входов, бесшовно извлекая и модифицируя визуальные концепции для производства новых, согласованных рендерингов.
Три версии модели FLUX.1 Kontext
FLUX.1 Kontext [pro] - Быстрое итеративное редактирование
Как пионерская модель для быстрого итеративного редактирования изображений, FLUX.1 Kontext [pro] интегрирует локальное редактирование, генеративную модификацию контекста и классические функции генерации текст-в-изображения в одной модели, сохраняя при этом фирменный высококачественный вывод FLUX.1. Модель может обрабатывать текст и референсные изображения как входы, бесшовно достигая целевых локальных правок в конкретных областях изображения и сложных трансформаций целых сцен.
FLUX.1 Kontext [max] - Максимальная производительность
Как экспериментальная модель, FLUX.1 Kontext [max] показывает значительные улучшения в следовании промптам и генерации текста, превосходя в согласованности редактирования при сохранении без компромиссов в скорости.
FLUX.1 Kontext [dev] - Версия разработки с открытым исходным кодом
FLUX.1 Kontext [dev] - это легковесный 12B диффузионный трансформер, подходящий для кастомизации, совместимый с предыдущим кодом вывода FLUX.1 [dev]. Эта версия в настоящее время в приватном бета-тестировании, и исследователи могут подать заявку на доступ через [email protected].
Основные технические особенности
Основные технические возможности FLUX.1 Kontext включают:
Сохранение согласованности персонажей: Поддержание согласованности уникальных элементов (таких как референсные персонажи или объекты) в изображениях через множественные сцены и окружения, функция, которую трудно достичь с традиционными инструментами редактирования изображений.
Локализованное редактирование: Способность делать целевые модификации конкретных элементов в изображениях без влияния на другие части, достигая точных локальных настроек.
Стилевая ссылка: Генерация новых сцен при сохранении уникального стиля референсных изображений, управляемая текстовыми промптами.
Интерактивная скорость: Крайне низкая задержка как для генерации изображений, так и для редактирования, поддерживая операции в реальном времени.
Способность итеративного редактирования: Пользователи могут продолжать добавлять инструкции на основе предыдущих правок, постепенно улучшая свое творение при сохранении качества изображения и согласованности персонажей.
Результаты бенчмарка производительности
Для валидации производительности модели Black Forest Labs провел обширные оценки производительности и составил KontextBench, бенчмарк, полученный из краудсорсинговых реальных случаев использования. Результаты оценки показывают:
- FLUX.1 Kontext [pro] показывает отличную производительность во всех шести задачах генерации контекстных изображений
- Достигает наивысших оценок в редактировании текста и сохранении персонажей
- В скорости вывода он в 8 раз быстрее существующих продвинутых моделей (таких как GPT-Image)
- Показывает конкурентоспособность в множественных измерениях качества, включая эстетику, следование промптам, генерацию текста и реализм
Ограничения использования и соображения
FLUX.1 Kontext имеет некоторые ограничения в текущей реализации:
Ограничения многоходового редактирования: Чрезмерные многоходовые сессии редактирования могут вводить визуальные артефакты и снижать качество изображения. Согласно официальным демонстрациям, после более чем шести итеративных правок сгенерированные изображения могут показывать визуальную деградацию и очевидные артефакты.
Точность следования инструкциям: Модель может иногда не следовать инструкциям точно, игнорируя конкретные требования промптов в редких случаях.
Ограничения знаний о мире: Знания модели о мире остаются ограниченными, влияя на ее способность генерировать контекстно точный контент.
Влияние процесса дистилляции: Процесс дистилляции может вводить визуальные артефакты, влияющие на верность вывода.
Официальный запуск BFL Playground
Чтобы сделать проще для пользователей тестировать и демонстрировать функции модели, Black Forest Labs одновременно запустил платформу FLUX Playground. Этот упрощенный интерфейс позволяет разработчикам и командам тестировать самые продвинутые модели FLUX без технической интеграции.
Playground предоставляет разработчикам способность валидировать случаи использования, демонстрировать функции заинтересованным сторонам и экспериментировать с продвинутой генерацией изображений в реальном времени. Будь то оценка технической осуществимости или демонстрация результатов лицам, принимающим решения, Playground предоставляет немедленный доступ для оценки возможностей FLUX перед вступлением в полную реализацию API.
Поддержка платформ и экосистема
FLUX.1 Kontext в настоящее время доступен через множественные платформы:
Платформы прямой поддержки: KreaAI, Freepik, Lightricks, OpenArt и LeonardoAI
Инфраструктурные партнеры: FAL, Replicate, Runware, DataCrunch, TogetherAI и ComfyOrg
OpenArt и KreaAI предоставили поддержку для сбора данных предпочтений.
Техническое значение и влияние
Выпуск FLUX.1 Kontext отмечает важное продвижение в технологии редактирования изображений. Этот набор моделей унифицирует функции мгновенного редактирования изображений на основе текста и генерации текст-в-изображения, предоставляя пользователям беспрецедентную творческую гибкость.
Как мультимодальная flow модель, FLUX.1 Kontext сочетает продвинутое сохранение согласованности персонажей, понимание контекста и возможности локального редактирования с мощными функциями синтеза текст-в-изображения, предоставляя мощные инструменты для профессиональных дизайнеров и создателей.
Связанные ссылки
- Официальное объявление FLUX.1 Kontext
- Платформа BFL Playground
- Учебник использования FLUX.1 Kontext в ComfyUI