KJNodes/vaegenerated

VAELoader KJ(VAELoaderKJ)

Этот узел не только поддерживает загрузку стандартных файлов моделей VAE, но также специально интегрирует поддержку различных приближенных моделей TAESD (Tiny AutoEncoder for Stable Diffusion), включая специализированные версии для изображений (например, taesd, taesdxl) и видео (например, taehv, lighttaew2_2).

VAE Loader KJ

VAE
vae_name
COMBO
device
COMBO
weight_dtype
COMBO
KJNodes

Узел VAELoader KJ, который не только поддерживает загрузку стандартных файлов моделей VAE, но и специально интегрирует поддержку множества аппроксимационных моделей TAESD (Tiny AutoEncoder for Stable Diffusion), включая специальные версии для изображений (например, taesd, taesdxl) и видео (например, taehv, lighttaew2_2).

VAELoader KJ — это узел для загрузки моделей вариационных автоэнкодеров (VAE). Он может считывать и подготавливать файлы VAE из указанной папки с моделями для последующего использования в процессах генерации или обработки изображений. Этот узел является ключевым компонентом, связывающим файлы моделей с рабочим процессом генерации, и обеспечивает загрузку корректного VAE в вычислительную среду.

Функциональность узла

Этот узел не только поддерживает загрузку стандартных файлов моделей VAE, но и специально интегрирует поддержку множества аппроксимационных моделей TAESD (Tiny AutoEncoder for Stable Diffusion), включая специальные версии для изображений (например, taesd, taesdxl) и видео (например, taehv, lighttaew2_2). Его основной механизм заключается в сканировании каталогов vae и vae_approx, автоматическом объединении соответствующих файлов энкодера и декодера для создания полного экземпляра VAE, а также позволяет пользователю указать числовую точность и расположение устройства модели в памяти.

Описание параметров узла - VAELoader KJ

Входные соединения (Inputs)

Имя параметраТип данныхОбязательныйЗначение по умолчаниюДопустимые значения/опцииОписание
vae_nameSTRINGДа--vae_name (входной параметр): Выберите имя загружаемой модели VAE. Список имен автоматически генерируется узлом на основе сканирования папок vae и vae_approx.

Параметры элементов управления (Parameters)

Имя параметраТип данныхОбязательныйЗначение по умолчаниюДопустимые значения/опцииОписание
deviceCOMBOДаmain_device"main_device", "cpu"device (входной параметр): Указывает вычислительное устройство для загрузки модели VAE. Варианты: "main_device" (обычно GPU) или "cpu".
weight_dtypeCOMBOДаbf16"bf16", "fp16", "fp32"bf16, fp16 или fp32, используется для баланса между точностью вычислений и использованием памяти.

Выходные данные (Output)

Имя параметраТип данныхОписание
VAEVAEVAE (выходной параметр): Выводит загруженный и настроенный объект модели VAE для последующих шагов декодирования или кодирования изображений.

Сценарии использования

В типичном рабочем процессе генерации изображений из текста или изображений вы будете использовать этот узел после загрузки основной модели (например, Checkpoint). Например, чтобы сгенерировать изображение с более богатыми деталями, вы можете подключить выход VAE этого узла к соответствующему входу узла KSampler, тем самым применяя конкретный VAE для декодирования признаков латентного пространства в процессе сэмплирования.

Важные замечания

Обратите внимание, что успешная загрузка комбинированных моделей, таких как taesd, taesdxl и т.д., зависит от наличия соответствующих файлов энкодера и декодера в папке vae_approx. Кроме того, выбор типов данных с низкой точностью, таких как bf16, может сэкономить видеопамять, но в редких случаях может повлиять на численную стабильность.

Ссылка на исходный код узла VAELoader KJ

Узел VAELoader KJ взят из пакета узлов ComfyUI-KJNodes.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…