Step1X-Edit: 开源AI图像编辑框架
2025/04/28
Step1X-Edit: 开源AI图像编辑框架
Step1X-Edit是一个新发布的开源图像编辑框架，它使用多模态大语言模型处理参考图像和用户的编辑指令，提取潜在嵌入并与扩散图像解码器集成以获得目标图像。该项目旨在提供与GPT-4o和Gemini2 Flash等闭源模型相当的性能。
主要特点
- 自然语言编辑：支持使用自然语言指令进行图像编辑，如”美颜”、“换个背景”或”改成像素风格”等
- 开源可商用：基于Apache 2.0许可证发布，可自由商用
- 灵活的硬件需求：提供FP8量化版本，降低显存需求
- 社区支持：已有多个社区版本，包括FP8量化模型
技术规格
Step1X-Edit提供了多种版本以适应不同的硬件配置：
| 模型版本 | 峰值GPU内存(512/786/1024分辨率) | 28步骤生成时间(秒) |
|---|---|---|
| 标准版 | 42.5GB / 46.5GB / 49.8GB | 5s / 11s / 22s |
| FP8量化版 | 31GB / 31.5GB / 34GB | 6.8s / 13.5s / 25s |
| 标准版+CPU分载 | 25.9GB / 27.3GB / 29.1GB | 49.6s / 54.1s / 63.2s |
| FP8量化版+CPU分载 | 18GB / 18GB / 18GB | 35s / 40s / 51s |
虽然官方推荐使用80GB显存的GPU以获得最佳性能和效率，但通过FP8量化和CPU分载技术，Step1X-Edit也可以在显存较小的显卡上运行。
在线演示
您可以通过以下链接直接体验Step1X-Edit的在线演示：
Step1X-Edit
未来计划
Step1X-Edit团队已经完成了:
- 推理代码和模型权重发布
- 在线演示(Gradio)
- FP8量化权重
计划中的功能包括:
- Diffusers集成
- ComfyUI集成
相关链接
这个开源项目的发布将使更多用户能够使用高质量的AI图像编辑功能，无需依赖闭源模型，同时其可商用的特性也为开发者提供了更多可能性。