Step1X-Edit: Marco de edición de imágenes IA de código abierto

Step1X-Edit es un nuevo marco de edición de imágenes de código abierto que utiliza modelos de lenguaje multimodales para procesar imágenes de referencia e instrucciones de edición del usuario, extrayendo incrustaciones latentes e integrándolas con un decodificador de imagen de difusión para obtener la imagen objetivo. Este proyecto pretende ofrecer un rendimiento comparable al de modelos de código cerrado como GPT-4o y Gemini2 Flash.

Características principales

• Edición en lenguaje natural: Admite la edición de imágenes mediante instrucciones en lenguaje natural, como "embellecer", "cambiar el fondo" o "convertir a estilo pixel art"
• Código abierto y uso comercial: Publicado bajo la licencia Apache 2.0, de libre uso comercial
• Requisitos de hardware flexibles: Ofrece versión cuantizada FP8 para reducir los requisitos de memoria
• Soporte comunitario: Ya cuenta con múltiples versiones comunitarias, incluidos modelos cuantizados FP8

Especificaciones técnicas

Step1X-Edit ofrece varias versiones para adaptarse a diferentes configuraciones de hardware:

| Versión del modelo | Memoria GPU máxima (resolución 512/786/1024) | Tiempo de generación en 28 pasos (segundos) | |:

-:|:

:|:

-:| | Estándar | 42.5GB / 46.5GB / 49.8GB | 5s / 11s / 22s | | Cuantizada FP8 | 31GB / 31.5GB / 34GB | 6.8s / 13.5s / 25s | | Estándar+descarga CPU | 25.9GB / 27.3GB / 29.1GB | 49.6s / 54.1s / 63.2s | | Cuantizada FP8+descarga CPU | 18GB / 18GB / 18GB | 35s / 40s / 51s |

Aunque oficialmente se recomienda utilizar una GPU con 80GB de memoria para obtener el mejor rendimiento y eficiencia, Step1X-Edit también puede ejecutarse en tarjetas gráficas con menos memoria gracias a la cuantización FP8 y la tecnología de descarga a CPU.

Demostración en línea

Puede experimentar directamente con Step1X-Edit a través del siguiente enlace:

Planes futuros

El equipo de Step1X-Edit ya ha completado:

• Publicación del código de inferencia y pesos del modelo
• Demostración en línea (Gradio)
• Pesos cuantizados FP8

Las funcionalidades planificadas incluyen:

• Integración con Diffusers
• Integración con ComfyUI

Enlaces relacionados

• Página del proyecto en GitHub
• Modelo en HuggingFace
• Modelo cuantizado FP8
• Modelo en ModelScope
• Informe técnico (arXiv)
• Conjunto de datos de evaluación GEdit-Bench

El lanzamiento de este proyecto de código abierto permitirá a más usuarios acceder a funciones de edición de imágenes IA de alta calidad sin depender de modelos de código cerrado, mientras que su naturaleza comercializable ofrece más posibilidades a los desarrolladores.