KJNodesgenerated

Intrinsic Lora Sampling(Intrinsic_lora_sampling)

Техническое ядро этого узла заключается в интеграции и применении легковесных моделей серии 'Intrinsic LoRA'.

Intrinsic lora sampling

model
lora_name
clip
vae
image
optional_latent
IMAGE
LATENT
task
depth map
text
STRING
per_batch
16
KJNodes

Узел Intrinsic Lora Sampling, технической основой которого является интеграция и применение серии облегченных моделей "Intrinsic LoRA".

Intrinsic Lora Sampling — это специализированный узел для сэмплирования внутренних свойств изображений. Он загружает определенные модели LoRA и преобразует входные обычные изображения в карты внутренних свойств, такие как карты глубины или карты нормалей. Этот узел упрощает процесс извлечения физических свойств из изображений, устраняя необходимость в сложных многоэтапных рабочих процессах.

Функциональность узла

Технической основой узла является интеграция и применение серии облегченных моделей "Intrinsic LoRA". Он принимает изображения или латентные переменные, комбинирует их с указанным типом задачи (например, оценка глубины) и текстовым промтом, генерируя соответствующее изображение внутренних свойств за один шаг сэмплирования. Узел поддерживает пакетную обработку для повышения эффективности и позволяет напрямую вводить латентные переменные, чтобы пропустить этап кодирования.

Описание параметров узла - Intrinsic Lora Sampling

Входные соединения (Inputs)

Название параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
modelMODELДа--Подключите базовую диффузионную модель для денойзинга и сэмплирования.
lora_nameFOLDER_PATHSДа--Укажите файл модели Intrinsic LoRA для загрузки и применения из встроенного списка.
clipCLIPДа--Подключите текстовый энкодер CLIP для обработки текстовых промтов.
vaeVAEДа--Подключите вариационный автоэнкодер для кодирования входного изображения в латентное представление.
imageIMAGEНет--Входное исходное изображение для обработки. Если параметр пуст, будет использован optional_latent.
optional_latentLATENTНет--Предоставьте опциональный латентный вход, чтобы пропустить этап кодирования изображения.

Параметры управления (Parameters)

Название параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
taskCOMBOДаdepth map"depth map", "surface normals", "albedo", "shad...Указывает целевое внутреннее свойство для генерации. Варианты включают depth map (карта глубины), surface normals (поверхностные нормали), albedo (альбедо) и shading (затенение).
textSTRINGДа--Предоставьте дополнительный текстовый промт для помощи в управлении процессом генерации свойств.
per_batchINTДа161 - 4096 (шаг: 1)Установите количество изображений для обработки в пакете, чтобы контролировать использование памяти. Диапазон от 1 до 4096 с шагом 1.

Выходные данные (Output)

Название параметраТип данныхОписание
IMAGEIMAGEВыводит сгенерированное изображение внутренних свойств.
LATENTLATENTВыводит полученное латентное представление после сэмплирования.

Сценарии использования

В рабочем процессе анализа материалов или 3D-реконструкции вы можете подключить реальную фотографию к этому узлу, выбрать задачу "depth map" и быстро получить карту глубины для этой сцены. Сгенерированная карта глубины может быть далее использована для синтеза новых ракурсов, настройки глубины резкости или в качестве входных данных для другого 3D-программного обеспечения.

Важные замечания

Обратите внимание, что этот узел зависит от определенной встроенной библиотеки моделей LoRA, и его эффективность ограничена возможностями этих предварительно обученных моделей. Если входное изображение не соответствует типу задачи (например, генерация карты нормалей для однотонного изображения), результат может оказаться бессмысленным.

Ссылка на исходный код узла Intrinsic Lora Sampling

Узел Intrinsic Lora Sampling взят из пакета узлов ComfyUI-KJNodes.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…