Skip to content
Instalar ComfyUI3. Instalar Modelos3.6 Instalar VAE

Cómo instalar modelos VAE en ComfyUI

Principios de los modelos VAE

VAE (Variational AutoEncoder) es un modelo generativo importante. Imagina que VAE es un pintor muy inteligente:

  1. Encoder: Primero, este pintor observa cuidadosamente una pintura y memoriza las características clave. Esto es como comprimir una pintura compleja en puntos clave simples.

  2. Latent Space: Estos puntos clave memorizados por el pintor forman un espacio imaginativo. En este espacio, el pintor puede combinar libremente estas características.

  3. Decoder: Luego, basándose en estos puntos clave en mente, el pintor puede recrear una pintura similar pero no idéntica. Esto es como restaurar puntos clave simples en una obra de arte compleja.

El papel de los modelos VAE en la pintura AI es ayudar al modelo a comprender y generar mejor los detalles de la imagen, especialmente al tratar con elementos visuales complejos.

Funciones de los modelos VAE

En modelos de pintura AI como Stable Diffusion, VAE es principalmente responsable de:

  1. Compresión y reconstrucción de imágenes: Comprimir imágenes de entrada en el espacio latente y luego reconstruirlas, ayudando al modelo a aprender características esenciales de la imagen.

  2. Mejora de la calidad de la imagen: Particularmente en el manejo de detalles faciales, efectos de iluminación, etc., generando imágenes más realistas y de alta calidad.

  3. Consistencia de estilo: Ayudando a mantener la consistencia del estilo general y el efecto visual de las imágenes generadas.

  4. Reducción de la complejidad computacional: Al operar en un espacio latente comprimido, puede reducir la complejidad computacional.

¿Dónde puedo descargar modelos VAE?

Los modelos VAE se pueden obtener típicamente de las siguientes fuentes:

En estas plataformas, puedes buscar “VAE” o “Stable Diffusion VAE” para encontrar modelos adecuados. Por ejemplo, en Civitai, puedes encontrar fácilmente modelos VAE correspondientes filtrando los tipos de modelo para VAE en la biblioteca de modelos. filtros_civitai

¿Cómo instalar modelos VAE?

Descargar archivos de modelos VAE

Descarga archivos de modelos VAE de las fuentes anteriores, generalmente con extensiones .pt o .safetensors.

Colocar archivos de modelos

Coloca los archivos de modelos VAE descargados en el directorio especificado de ComfyUI:

ComfyUI_windows_portable\ComfyUI\models\vae
💡

Para una mejor gestión de modelos, se recomienda crear subcarpetas en el directorio vae y organizar los archivos de modelos VAE por versiones de modelos grandes u otros métodos de clasificación. Esto se debe a que los modelos VAE para diferentes tipos de modelos de dibujo, como diferentes versiones de modelos de Stable Diffusion y modelos de dibujo Flux, pueden no ser universalmente compatibles. Por ejemplo:

ComfyUI_windows_portable\ComfyUI\models\vae\SD1.5\your_vae_model.safetensors

Reiniciar o actualizar ComfyUI

Después de colocar los archivos de modelo, reinicia ComfyUI o actualiza la interfaz web para asegurarte de que los modelos VAE recién añadidos se carguen correctamente.

Si compartes archivos de modelo con otro software de pintura AI, consulta las instrucciones sobre cómo compartir modelos en Instalando ComfyUI para copiar o vincular archivos de modelos VAE a la carpeta correspondiente.

¿Cómo usar modelos VAE en ComfyUI?

En ComfyUI, los modelos VAE se utilizan principalmente a través de los siguientes nodos:

  • VAE Decode: Se utiliza para decodificar representaciones latentes en imágenes.
  • VAE Encode: Se utiliza para codificar imágenes en representaciones latentes.
  • Load VAE: Se utiliza para cargar modelos VAE específicos.

Pasos de uso:

  1. Agrega un nodo “Load VAE” y selecciona el modelo VAE que deseas usar.
  2. Conecta el nodo “Load VAE” a otros nodos que necesiten usar VAE (como VAE Decode o VAE Encode).
  3. Configura otros nodos relacionados según las necesidades de tu flujo de trabajo.
💡

Algunos modelos de puntos de control pueden incluir ya un VAE predeterminado. Si deseas usar un VAE personalizado, asegúrate de cargar y usar explícitamente tu modelo VAE elegido en el flujo de trabajo.

  • Nodos relacionados de ComfyUI:
Nodos relacionados con VAE

Modelos VAE recomendados

Aquí hay algunas recomendaciones de modelos VAE comúnmente utilizados:

  1. vae-ft-mse-840000-ema-pruned: Un modelo VAE ampliamente utilizado adecuado para varias versiones de Stable Diffusion. Enlace de descarga

  2. kl-f8-anime2: Un modelo VAE optimizado para imágenes de estilo anime. Enlace de descarga

  3. sdxl_vae.safetensors: Un modelo VAE diseñado específicamente para SDXL (Stable Diffusion XL). Enlace de descarga

  4. orangemix.vae.pt: Un VAE ampliamente utilizado en modelos Anything V3 y V4, adecuado para generar imágenes de estilo anime. Enlace de descarga

  5. clearvae_v2.2.safetensors: Un modelo VAE destinado a mejorar la claridad de la imagen. Enlace de descarga

Puedes probar diferentes modelos VAE para ver cuál ofrece los mejores resultados para tu caso de uso específico. Recuerda, la elección del VAE puede afectar la calidad y el estilo de la imagen generada final, por lo que vale la pena dedicar tiempo a experimentar con diferentes opciones.

💡

Ten en cuenta que algunos enlaces pueden requerir que inicies sesión en las plataformas respectivas (como Hugging Face o Civitai) para descargar archivos de modelos. Además, al usar estos modelos, asegúrate de cumplir con las licencias y términos de uso relevantes.