AI Toolkit Incorpora Entrenamiento con Imágenes de Referencia para Krea 2: Entrena Conceptos de Edición tan Rápido como Modelos de Edición Dedicados
Ostris ha añadido soporte en AI Toolkit para entrenar modelos Krea 2 con imágenes de referencia, permitiendo entrenar LoRAs de estilo edición que dominan conceptos como 'haz esto un cíclope' en solo 1.750 pasos.
El 4 de julio de 2026, Ostris ha añadido soporte en AI Toolkit para entrenar Krea 2 con imágenes de referencia. Esto permite entrenar LoRAs de estilo edición directamente en Krea 2 Turbo usando el adaptador de entrenamiento — y según las pruebas de Ostris, aprende conceptos de edición tan rápido como lo haría un modelo de edición dedicado.
En resumen — AI Toolkit ahora soporta entrenamiento con imágenes de referencia para Krea 2 Turbo mediante un adaptador de entrenamiento en HuggingFace. Las LoRAs de estilo edición se entrenan en tan solo 1.750 pasos. Un nodo personalizado complementario para la inferencia en ComfyUI maneja la codificación de la imagen de referencia y el parcheado del modelo. La misma arquitectura funciona también en el modelo base Krea 2 (Raw).
Cómo Funciona
Internamente, el pipeline de entrenamiento usa el codificador de imágenes Qwen3-VL para codificar las imágenes de referencia junto con el prompt. La referencia codificada se introduce luego en el transformador de Krea 2 en el paso de tiempo 0 junto con las imágenes de entrenamiento limpias — el mismo enfoque de condicionamiento con referencia utilizado por los modelos de edición dedicados.
| Componente | Descripción |
|---|---|
| Adaptador de entrenamiento | ostris/krea2_turbo_training_adapter en HuggingFace |
| Motor de entrenamiento | AI Toolkit — configura arch: krea2 con model_kwargs.edit: true en la configuración |
| Codificación de referencia | Codificador de imágenes Qwen3-VL, reducido a 384×384 píxeles totales |
| Pasos para dominar | ~1.750 pasos (probado: concepto 'haz esto un cíclope') |
Inferencia en ComfyUI: Se Requiere Nodo Personalizado
Para la inferencia en ComfyUI, necesitarás el paquete de nodos personalizados ComfyUI-Krea2-Ostris-Edit. Proporciona dos nodos:
Text Encode Krea 2 Ostris Edit — Codifica el prompt junto con hasta 3 imágenes de referencia a través del codificador de texto Qwen3-VL de Krea 2, usando el mismo marcador de posición visual Picture N: usado durante el entrenamiento. Cuando se conecta un VAE, también codifica las imágenes de referencia mediante VAE y las adjunta como latentes de referencia.
Krea 2 Ostris Edit Model Patch — Parchea el modelo Krea 2 para que consuma los latentes de referencia del condicionamiento. Cada referencia se añade a la secuencia de tokens de imagen y se condiciona en el paso de tiempo 0 (el método index_timestep_zero). Si no hay latentes de referencia, el modelo se comporta igual que Krea 2 estándar.
Instalación
cd ComfyUI/custom_nodes
git clone https://github.com/ostris/ComfyUI-Krea2-Ostris-Edit.gitNo se requieren dependencias adicionales. Los nodos aparecen bajo la categoría ostris/krea2.
Flujo de Trabajo de Ejemplo
Load Diffusion Model (krea2) → Load LoRA → Krea 2 Ostris Edit Model Patch → KSampler
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (prompt + images + VAE) → positive
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (negative prompt) → negativeConfiguración de Entrenamiento
Para entrenar una LoRA Krea 2 de estilo edición con AI Toolkit:
- Configura
arch: krea2ymodel_kwargs.edit: trueen tu archivo de configuración de entrenamiento. - Usa datos de entrenamiento emparejados: imágenes de entrada + imágenes objetivo editadas + descripciones textuales.
- El adaptador se descarga automáticamente desde HuggingFace.
- El entrenamiento se ejecuta en GPUs de consumo con los requisitos estándar de VRAM.
Ostris lo demostró con una LoRA de prueba "haz que esta persona sea un cíclope" entrenada en Krea 2 Turbo — el modelo dominó el concepto de edición en 1.750 pasos.
Compatibilidad con el Modelo Base
Los mismos pesos de imagen de referencia también funcionan en el modelo base Krea 2 (Raw). Como explicó Ostris en respuesta a preguntas de la comunidad:
"Sí, los pesos son los mismos. Solo paso las imágenes de referencia por el codificador de imágenes Qwen-VL y las codifico con el prompt, luego introduzco las imágenes limpias con tiempo 0 en el transformador."