Black Forest Labs 发布 FLUX.1 Kontext：支持上下文感知的图像编辑模型套件
2024年5月29日，Black Forest Labs 正式发布了 FLUX.1 Kontext，这是一套基于生成式流匹配的模型套件，专门用于图像生成和编辑。与现有的文本到图像模型不同，FLUX.1 Kontext 系列能够执行上下文感知的图像生成，允许用户同时使用文本和图像作为输入，无缝提取和修改视觉概念以产生新的、连贯的渲染效果。
FLUX.1 Kontext 三个版本详解
FLUX.1 Kontext [pro] - 快速迭代编辑
作为快速迭代图像编辑的先锋模型，FLUX.1 Kontext [pro] 在单一模型中集成了本地编辑、生成式上下文修改和经典的文本到图像生成功能，同时保持 FLUX.1 标志性的高质量输出。该模型能够处理文本和参考图像作为输入，无缝实现特定图像区域的针对性本地编辑和整个场景的复杂变换。
FLUX.1 Kontext [max] - 最高性能表现
作为实验性模型，FLUX.1 Kontext [max] 在提示词遵循度和文字生成方面有显著改进，在编辑一致性方面表现出色，同时在速度上没有任何妥协。
FLUX.1 Kontext [dev] - 开源开发版本
FLUX.1 Kontext [dev] 是一个轻量级的12B扩散变换器，适合定制化使用，与之前的 FLUX.1 [dev] 推理代码兼容。目前该版本处于私有测试阶段，研究人员可以通过 [email protected] 申请访问。
核心技术特性
FLUX.1 Kontext 的主要技术能力包括：
角色一致性保持：在多个场景和环境中保持图像中独特元素（如参考角色或物体）的一致性，这是传统图像编辑工具难以实现的功能。
本地化编辑：能够对图像中的特定元素进行针对性修改，而不影响其他部分，实现精确的局部调整。
风格参考：根据文本提示的指导，在保持参考图像独特风格的同时生成新场景。
交互式速度：无论是图像生成还是编辑，都具有极低的延迟，支持实时操作。
迭代编辑能力：用户可以在前一次编辑的基础上继续添加指令，逐步完善创作，同时保持图像质量和角色一致性。
性能基准测试结果
为了验证模型性能，Black Forest Labs 进行了广泛的性能评估，并编制了 KontextBench 基准测试，该基准来源于众包的真实世界使用案例。评估结果显示：
- FLUX.1 Kontext [pro] 在所有六项上下文图像生成任务中表现优异
- 在文本编辑和角色保持方面获得最高分
- 在推理速度方面，比现有先进模型（如 GPT-Image）快8倍
- 在美学、提示词遵循、文字生成和真实感等多个质量维度上表现出竞争力
使用限制和注意事项
FLUX.1 Kontext 在当前实现中存在一些限制：
多轮编辑限制：过度的多轮编辑会话可能引入视觉伪影，降低图像质量。根据官方演示，超过六次迭代编辑后，生成的图像可能出现视觉退化和明显的伪影。
指令遵循准确性：模型偶尔可能无法准确遵循指令，在少数情况下会忽略特定的提示要求。
世界知识限制：模型的世界知识仍然有限，这会影响其生成上下文准确内容的能力。
蒸馏过程影响：蒸馏过程可能引入影响输出保真度的视觉伪影。
BFL Playground 正式推出
为了让用户更容易测试和演示模型功能，Black Forest Labs 同时推出了 FLUX Playground 平台。这个简化的界面允许开发者和团队在无需技术集成的情况下测试最先进的 FLUX 模型。
Playground 为开发者提供了验证使用案例、向利益相关者演示功能以及实时实验先进图像生成的能力。无论是评估技术可行性还是向决策者展示结果，Playground 都能在进入完整API实施之前提供即时访问，以评估 FLUX 的能力。
平台支持和生态系统
FLUX.1 Kontext 目前可以通过多个平台访问：
直接支持平台：KreaAI、Freepik、Lightricks、OpenArt 和 LeonardoAI
基础设施合作伙伴：FAL、Replicate、Runware、DataCrunch、TogetherAI 和 ComfyOrg
OpenArt 和 KreaAI 为偏好数据收集提供了支持。
技术意义和影响
FLUX.1 Kontext 的发布标志着图像编辑技术的重要进步。该模型套件统一了基于文本的即时图像编辑和文本到图像生成功能，为用户提供了前所未有的创作灵活性。
作为多模态流模型，FLUX.1 Kontext 结合了先进的角色一致性保持、上下文理解和本地编辑能力，以及强大的文本到图像合成功能，为专业设计师和创作者提供了强大的工具。