TorchCompileModelWanVideoV2

Узел TorchCompileModelWanVideoV2 — это инструмент для оптимизации производительности вывода модели. Используя функцию компиляции PyTorch, он преобразует модель в более эффективный формат исполнения, направленный на повышение скорости вычислений при генерации изображений или видео. Этот узел является экспериментальным и относится к категории KJNodes/torchcompile.

Функциональность узла

На техническом уровне этот узел использует механизм torch.compile PyTorch, поддерживая различные бэкенд-компиляторы и режимы оптимизации. Он позволяет пользователю выбрать для компиляции определённые компоненты модели (например, только блоки Transformer), чтобы сократить время компиляции и повысить вероятность успеха. Внутри узел настраивает конфигурацию PyTorch Dynamo, например, ограничение размера кэша и способ обработки форм параметров, для адаптации к различному оборудованию и структурам моделей.

Описание параметров узла - TorchCompileModelWanVideoV2

Входные соединения (Inputs)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`model`	MODEL	Да	-	-	Принимает входные данные исходной модели, подлежащей оптимизации, типа MODEL. Это объект, который узел компилирует и обрабатывает.

Параметры управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`backend`	COMBO	Да	inductor	"inductor", "cudagraphs"	Выбор бэкенд-движка, используемого для компиляции PyTorch. Доступные значения: "inductor" или "cudagraphs", соответствующие различным стратегиям низкоуровневой оптимизации.
`mode`	COMBO	Да	default	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	Используется для балансировки между скоростью компиляции, использованием памяти и производительностью во время выполнения.
`fullgraph`	BOOLEAN	Да	False	-	Включить режим полного графа
`dynamic`	BOOLEAN	Да	False	-	Включить динамический режим
`compile_transformer_blocks_only`	BOOLEAN	Да	True	-	Компилировать только блоки Transformer, быстрее компиляция и меньше вероятность ошибок
`dynamo_cache_size_limit`	INT	Да	64	0 - 1024 (шаг: 1)	torch._dynamo.config.cache_size_limit
`force_parameter_static_shapes`	BOOLEAN	Нет	True	-	torch._dynamo.config.force_parameter_static_shapes

Выходные данные (Output)

Имя параметра	Тип данных	Описание
MODEL	MODEL	Выводит модель, оптимизированную с помощью компиляции PyTorch, которую можно напрямую использовать в последующих шагах генерации.

Сценарии использования

В рабочих процессах генерации видео или изображений высокого разрешения, когда пользователь обнаруживает, что вывод модели является узким местом производительности, этот узел можно вставить после загрузки модели, но перед сэмплером. Компиляция модели может ускорить последующие шаги диффузионной выборки, сокращая общее время генерации, что особенно полезно в сценариях пакетной генерации или предварительного просмотра в реальном времени.

Важные замечания

Обратите внимание, что этот узел помечен как "устаревший" (deprecated). Разработчик рекомендует использовать более продвинутый узел TorchCompileModelAdvanced в качестве замены. Это экспериментальная функция, её поведение может различаться в зависимости от версии PyTorch или аппаратной среды, поэтому перед использованием необходимо провести тщательное тестирование.

Ссылка на исходный код узла TorchCompileModelWanVideoV2

Узел TorchCompileModelWanVideoV2 взят из пакета узлов ComfyUI-KJNodes.

TorchCompileModelWanVideoV2