TorchCompileModelAdvanced

TorchCompileModelAdvanced 노드는 기술 구현 측면에서 사용자가 다양한 컴파일 백엔드(예: inductor)와 최적화 모드(예: max-autotune)를 선택할 수 있도록 합니다.

TorchCompileModelAdvanced는 확산 모델 추론 성능을 최적화하기 위한 ComfyUI 노드입니다. PyTorch의 torch.compile 기능을 사용하여 모델의 핵심 부분을 더 효율적인 형식으로 컴파일하여 이미지 생성 속도를 향상시킵니다. 이 노드는 기본 컴파일 노드보다 더 세밀한 제어 옵션을 제공합니다.

노드 기능

이 노드는 기술 구현 측면에서 사용자가 다양한 컴파일 백엔드(예: inductor)와 최적화 모드(예: max-autotune)를 선택할 수 있도록 합니다. torch._dynamo.config.cache_size_limit을 설정하여 컴파일 캐시 크기를 제어하고, 컴파일 속도와 최적화 효과의 균형을 맞추기 위해 선택적으로 모델의 Transformer 블록만 컴파일할 수 있습니다.

노드 파라미터 설명 - TorchCompileModelAdvanced

연결 입력 (Inputs)

파라미터 이름	데이터 타입	필수	기본값	범위/옵션	설명
`model`	MODEL	예	-	-	최적화할 확산 모델을 입력으로 받아 컴파일 처리의 대상으로 사용합니다.

컨트롤 파라미터 (Parameters)

파라미터 이름	데이터 타입	필수	기본값	범위/옵션	설명
`backend`	COMBO	예	inductor	"inductor", "cudagraphs"	PyTorch 컴파일에 사용할 백엔드 엔진을 선택합니다. 선택 가능한 값은 `inductor` 또는 `cudagraphs`입니다.
`mode`	COMBO	예	default	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	최적화 모드.
`dynamic`	COMBO	예	false	"auto", "true", "false"	동적 형태 추적 활성화 (`true`, `false` 또는 `auto`).
`fullgraph`	BOOLEAN	예	False	-	전체 그래프 모드 활성화
`compile_transformer_blocks_only`	BOOLEAN	예	True	-	Transformer 블록만 컴파일하여 더 빠른 컴파일과 적은 오류 발생
`dynamo_cache_size_limit`	INT	예	64	0 - 1024 (단계: 1)	torch._dynamo.config.cache_size_limit
`debug_compile_keys`	BOOLEAN	예	False	-	torch.compile에 사용된 컴파일 키 출력
`disable_dynamic_vram`	BOOLEAN	아니오	False	-	동적 VRAM 관리를 비활성화하여 메모리 조각화를 줄입니다.

출력 (Output)

파라미터 이름	데이터 타입	설명
MODEL	MODEL	컴파일 및 최적화된 모델을 출력하여 후속 이미지 생성 단계에 사용합니다.

사용 시나리오

구체적인 응용에서, 사용자가 생성 속도를 중시하는 워크플로를 구축할 때, 이 노드를 로드된 모델 뒤에 연결할 수 있습니다. 컴파일 모드 및 동적 형태 추적 등의 파라미터를 조정함으로써, 사용자는 모델 자체를 수정하지 않고도 다양한 하드웨어(예: NVIDIA GPU)에서 최상의 추론 성능을 얻기 위해 시도할 수 있습니다.

주의사항

이 노드는 실험적 기능으로 표시되어 있으며, 그 동작은 PyTorch 버전 업데이트에 따라 변경될 수 있습니다. 부적절한 파라미터 조합은 컴파일 실패나 실행 오류를 초래할 수 있으므로, 중요한 워크플로에서 사용하기 전에 충분히 테스트하는 것이 좋습니다.