DiT Block Lora Loader (DiTBlockLoraLoader) - ComfyUI-KJNodes

Узел DiT Block Lora Loader, который технически реализован для чтения указанного файла LoRA (поддерживает `

DiT Block Lora Loader — это узел, предназначенный для загрузки и применения модулей тонкой настройки LoRA (Low-Rank Adaptation) к диффузионной модели (Diffusion Model). Его основная функция — позволить пользователю выборочно внедрять веса LoRA в различные блоки (Blocks) модели DiT (Diffusion Transformer), обеспечивая тем самым точный контроль над стилем или содержанием генерируемых данных при относительно низких вычислительных затратах.

Функциональность узла

Технически этот узел реализован путем чтения указанного файла LoRA (поддерживаются форматы .safetensors или .ckpt) и слияния его весов с соответствующими параметрами базовой диффузионной модели. Ключевой механизм заключается в поддержке выборочного применения к определенным Transformer-блокам внутри модели DiT. Это означает, что пользователь может выбрать воздействие только на определенные слои модели, а не на всю модель целиком, что открывает возможности для более тонкой настройки стиля.

Описание параметров узла - DiT Block Lora Loader

Входные соединения (Inputs)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`model`	MODEL	Да	-	-	Диффузионная модель, к которой будет применен LoRA.
`lora_name`	КОМБО	Нет	-	-	lora_name (входной параметр): Выбор имени файла LoRA из списка уже загруженных файлов для применения.
`blocks`	SELECTEDDITBLOCKS	Нет	-	-	blocks (входной параметр): Определяет конкретные блоки (Blocks) внутри модели DiT, к которым должны быть применены веса LoRA, для реализации выборочной тонкой настройки.

Параметры управления (Parameters)

Название параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`strength_model`	FLOAT	Да	1.0	-100.0 - 100.0 (шаг: 0.01)	Сила воздействия на диффузионную модель. Это значение может быть отрицательным.
`opt_lora_path`	STRING	Нет	-	-	Абсолютный путь к файлу LoRA.

Выходные данные (Output)

Название параметра	Тип данных	Описание
model	MODEL	model (выходной параметр): Выводит модифицированную диффузионную модель с примененными весами LoRA.
rank	STRING	rank (выходной параметр): Выводит возможную информацию о ранге (Rank) загруженного LoRA, обычно в виде строки.

Сценарии использования

В конкретном рабочем процессе этот узел можно подключить после загрузки базовой модели DiT (например, основы DiT для Stable Diffusion 3). Например, если вы хотите, чтобы сгенерированное изображение имело определенный художественный стиль (например, "стиль Ван Гога"), но при этом этот стиль должен влиять только на высокоуровневую семантическую структуру изображения, не изменяя его базовую композицию, вы можете использовать этот узел и с помощью параметра blocks указать конкретные модули, к которым должен быть применен LoRA.

Важные замечания

Обратите внимание, что этот узел относится к экспериментальной категории, и его стабильность и совместимость могут быть ниже, чем у основных узлов. Перед использованием убедитесь, что файл LoRA совместим с архитектурой текущей модели DiT. Установка параметра strength_model на слишком высокое или слишком низкое значение может привести к непредсказуемым результатам генерации.

Ссылка на исходный код узла DiT Block Lora Loader

Узел DiT Block Lora Loader взят из пакета узлов ComfyUI-KJNodes.

DiT Block Lora Loader(DiTBlockLoraLoader)