Step1X-Edit: Фреймворк редактирования изображений ИИ с открытым исходным кодом
Step1X-Edit - это недавно выпущенный фреймворк редактирования изображений с открытым исходным кодом, который использует мультимодальные крупные языковые модели для обработки референсных изображений и инструкций редактирования пользователей, извлекая латентные встраивания и интегрируя их с диффузионным декодером изображений для получения целевого изображения. Этот проект направлен на предоставление производительности, сопоставимой с моделями с закрытым исходным кодом, такими как GPT-4o и Gemini2 Flash.
Ключевые особенности
- Редактирование на естественном языке: Поддерживает редактирование изображений через инструкции на естественном языке, такие как “украсить”, “изменить фон” или “конвертировать в пиксельный стиль”
- Открытый исходный код и коммерческое использование: Выпущен под лицензией Apache 2.0, свободно доступен для коммерческого использования
- Гибкие требования к оборудованию: Предлагает квантизированную версию FP8 для сокращения требований к памяти
- Поддержка сообщества: Уже имеет множественные версии сообщества, включая квантизированные модели FP8
Технические спецификации
Step1X-Edit предоставляет множественные версии для размещения различных конфигураций оборудования:
| Версия модели | Пиковая память GPU (разрешение 512/786/1024) | Время генерации 28 шагов (секунды) |
|---|---|---|
| Стандартная | 42.5GB / 46.5GB / 49.8GB | 5с / 11с / 22с |
| Квантизированная FP8 | 31GB / 31.5GB / 34GB | 6.8с / 13.5с / 25с |
| Стандартная+выгрузка CPU | 25.9GB / 27.3GB / 29.1GB | 49.6с / 54.1с / 63.2с |
| Квантизированная FP8+выгрузка CPU | 18GB / 18GB / 18GB | 35с / 40с / 51с |
Хотя официально рекомендуется использовать GPU с 80GB памяти для лучшей производительности и эффективности, Step1X-Edit также может работать на видеокартах с меньшей памятью через технологию квантизации FP8 и выгрузки CPU.
Онлайн-демо
Вы можете напрямую испытать Step1X-Edit через следующую ссылку:
Планы на будущее
Команда Step1X-Edit уже завершила:
- Выпуск кода вывода и весов модели
- Онлайн-демо (Gradio)
- Квантизированные веса FP8
Запланированные функции включают:
- Интеграция с Diffusers
- Интеграция с ComfyUI
Связанные ссылки
- Страница проекта на GitHub
- Модель на HuggingFace
- Квантизированная модель FP8
- Модель на ModelScope
- Технический отчет (arXiv)
- Набор данных оценки GEdit-Bench
Выпуск этого проекта с открытым исходным кодом позволит большему количеству пользователей получить доступ к высококачественным возможностям редактирования изображений ИИ без зависимости от моделей с закрытым исходным кодом, в то время как его коммерциализируемая природа предоставляет больше возможностей для разработчиков.