¿Cómo instalar modelos de embeddings (Textual Inversion) en ComfyUI?
El principio de los modelos de embeddings (Textual Inversion)
Imagina que tienes una enorme caja de juguetes llena de todo tipo de juguetes, desde pequeños bloques de Lego hasta grandes osos de peluche. Sin embargo, la caja de juguetes está demasiado desordenada, y cada vez que quieres encontrar un juguete específico, como tu coche de juguete azul, tienes que revisar toda la caja, lo cual consume mucho tiempo.
El papel de los modelos de embeddings
Los modelos de embeddings son como darle a cada juguete en la caja de juguetes una etiqueta especial. Esta etiqueta no es el nombre del juguete, sino un código especial que puede decirte rápidamente qué es el juguete, su color, tamaño, forma, etc. De esta manera, cuando quieras encontrar tu coche de juguete azul, solo necesitas recordar su código especial, y podrás encontrarlo rápidamente en la caja de juguetes.
El principio de los modelos de embeddings
El principio de los modelos de embeddings es como convertir juguetes en un código especial. Este proceso se llama “embedding”. Utiliza un método matemático para convertir cada juguete (aquí, los juguetes representan datos, como imágenes, texto, etc.) en una lista de números. Esta lista es como la “huella digital” del juguete, que contiene toda la información importante del juguete.
¿Por qué usar modelos de embeddings?
Hay varios beneficios al usar modelos de embeddings:
- Recuperación rápida: Al igual que recordar el código de un juguete puede ayudarte a encontrarlo rápidamente, los modelos de embeddings pueden ayudar a las computadoras a encontrar y procesar datos rápidamente.
- Ahorra espacio: Los modelos de embeddings pueden convertir datos complejos en listas más pequeñas de números, lo que puede ahorrar espacio de almacenamiento.
- Fácil de procesar: Las listas de números son más fáciles de procesar para las computadoras porque las computadoras son naturalmente buenas en procesar números.
A través de los modelos de embeddings, las computadoras pueden procesar de manera más eficiente grandes cantidades de datos, ya sea en los campos de reconocimiento de imágenes, reconocimiento de voz o procesamiento de lenguaje natural.
El papel de los modelos de embeddings (Textual Inversion)
Se utilizan para incrustar características específicas de elementos en imágenes, como estilo de imagen, características de personajes, características de escenas, etc., para que el modelo genere imágenes que se ajusten a estas características.
¿Dónde puedo descargar modelos de embeddings (Textual Inversion)?
La mayoría de las comunidades de generadores de imágenes AI ofrecen descargas de modelos, y puedes encontrar rápidamente modelos de este tipo filtrando por Embeddings / Textual Inversion en el sitio web correspondiente.
- civitai: https://civitai.com
- liblib (China): https://www.liblib.art/
Como se muestra en la figura a continuación, al filtrar modelos en civitai, selecciona Embeddings para filtrar los modelos de embedding.
¿Cómo instalar modelos de embeddings (Textual Inversion)?
Almacena el modelo descargado en el directorio “ComfyUI\models\embeddings”, y luego reinicia o actualiza la interfaz de ComfyUI para cargar el modelo de embedding correspondiente.
Debido a que los modelos necesitan ser diferenciados por versión, para la conveniencia de tu uso posterior, te sugiero que renombres el archivo del modelo con un prefijo de versión del modelo como “SD1.5-Nombre del Modelo”, o no renombres, y crea una nueva carpeta en el directorio del modelo correspondiente, nombrada según la versión principal del modelo como “SD1.5”, y luego copia tus archivos de modelo a “ComfyUI_windows_portable\ComfyUI\models\embeddings\SD1.5”
Si estás compartiendo archivos de modelo con otras GUI, consulta la sección de modelos compartidos en instalando comfyui, y copia los archivos de modelo correspondientes a la carpeta correspondiente.
¿Cómo usar modelos de embeddings en ComfyUI?
Las palabras clave de embeddings (palabras clave de activación), generalmente en la página de introducción de detalles del modelo de embeddings, habrá palabras clave de activación, generalmente solo necesitas ingresar el prompt correspondiente en el prompt para activar el efecto de los embeddings, pero recuerda que a menudo es difícil recordar las palabras clave de activación de muchos modelos, también puedes ingresar directamente “embedding: nombre del archivo del modelo” como “embedding:EasyNegative,” en el “CLIPTextEncode” para usar el modelo.
Además, los embeddings también se dividen en el uso en palabras de prompt positivas y el uso en palabras de prompt negativas, y viceversa, para un uso específico, consulta la página de introducción de detalles del modelo correspondiente.
- Nodos relacionados de ComfyUI
- Complemento auxiliar recomendado: ComfyUI-Custom-Scripts Usando este complemento, puedes ingresar “embedding:” en el CLIP Text Encoder para ingresar rápidamente la ruta donde se encuentra el modelo de embedding.
Modelos de embeddings recomendados
He actualizado algunos embeddings recomendados en la siguiente página, puedes descargarlos según tus necesidades.