Diffusion Model Loader KJ (DiffusionModelLoaderKJ) - ComfyUI-KJNodes

Узел Diffusion Model Loader KJ предоставляет точный контроль над типами данных весов и типов данных вычислений при загрузке модели, поддерживая различные форматы точности от fp8 до fp32.

Diffusion Model Loader KJ — это узел для загрузки и настройки диффузионных моделей (таких как Stable Diffusion). Его основная функция — загружать файлы моделей из указанного пути и позволять пользователю настраивать числовую точность и вычислительное поведение модели во время выполнения для оптимизации производительности или совместимости.

Функции узла

Этот узел обеспечивает точный контроль над типами данных весов и типов данных вычислений при загрузке модели, поддерживая различные форматы точности от fp8 до fp32. Его ключевые технические особенности включают опциональный патч CublasLinear для использования специфичных библиотек ускорения GPU, возможность интеграции механизма SageAttention и поддержку загрузки дополнительных словарей состояний для слияния или расширения функциональности модели (например, добавление модуля VACE к видео-модели).

Описание параметров узла - Diffusion Model Loader KJ

Входные подключения (Inputs)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Допустимые значения/опции	Описание
`model_name`	COMBO	Да	-	-	Выберите файл диффузионной модели для загрузки. Этот параметр отображает все доступные модели из каталогов моделей, управляемых ComfyUI.

Параметры управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Допустимые значения/опции	Описание
`weight_dtype`	COMBO	Да	default	default, fp8_e4m3fn, fp8_e4m3fn_fast, fp8_e5m2, fp16, bf16, fp32	Используется для баланса между использованием памяти и точностью вычислений.
`compute_dtype`	COMBO	Да	default	default, fp16, bf16, fp32	Влияет на скорость вычислений и числовую стабильность.
`patch_cublaslinear`	BOOLEAN	Да	False	-	Включить или отключить аргумент cublas_ops
`sage_attention`	COMBO	Да	False	false, true	Патчить внимание в Comfy для использования sageattn.
`enable_fp16_accumulation`	BOOLEAN	Да	False	-	Включить torch.backends.cuda.matmul.allow_fp16_accumulation, требуется pytorch 2.7.0 nightly.
`extra_state_dict`	STRING	Нет	-	-	Полный путь к дополнительному словарю состояний для загрузки. Он будет объединён с основным словарём. Полезно, например, для добавления модуля VACE к WanVideoModel. Для удобного получения пути можно использовать DiffusionModelSelector.

Выходные данные (Output)

Имя параметра	Тип данных	Описание
MODEL	MODEL	Выводит загруженную и настроенную модель для использования последующими узлами.

Сценарии использования

Этот узел очень полезен в рабочих процессах, где требуется загрузить базовую модель и применить специфичные оптимизации или расширения функциональности. Например, вы можете сначала использовать этот узел для загрузки WanVideoModel, а затем с помощью параметра extra_state_dict объединить его со словарём состояний модуля VACE, чтобы построить улучшенную модель для генерации видео.

Важные замечания

Этот узел относится к экспериментальной категории. Некоторые функции (например, enable_fp16_accumulation) требуют определённых версий PyTorch (например, 2.7.0 nightly) для корректной работы. Перед использованием расширенных типов данных (таких как fp8) или функций патчинга убедитесь, что ваше аппаратное и программное обеспечение поддерживает их.

Ссылка на исходный код узла Diffusion Model Loader KJ

Узел Diffusion Model Loader KJ взят из пакета узлов ComfyUI-KJNodes.

Diffusion Model Loader KJ(DiffusionModelLoaderKJ)