TorchCompileModelFluxAdvancedV2

TorchCompileModelFluxAdvancedV2 노드는 지원 중단되었습니다 – 대신 TorchCompileModelAdvanced를 사용하세요. 기술 구현 상 이 노드는 입력된 모델을 복제하고 그 내부의 확산 모델 부분에 torch.compile을 적용합니다.

TorchCompileModelFluxAdvancedV2는 모델 추론을 최적화하고 가속화하는 데 사용되는 노드입니다. PyTorch의 torch.compile 기능을 사용하여 주어진 확산 모델을 컴파일하여, 이미지 생성 시 모델의 실행 효율성을 높이는 것을 목표로 합니다. 이 노드는 다양한 컴파일 옵션을 제공하여 사용자가 하드웨어와 요구 사항에 따라 최적화 전략을 조정할 수 있도록 합니다.

노드 기능

기술 구현 상 이 노드는 입력된 모델을 복제하고 그 내부의 확산 모델 부분에 torch.compile을 적용합니다. inductor와 같은 다양한 백엔드와 max-autotune과 같은 컴파일 모드를 지원하며, 모델 내 특정 모듈(예: 단일/이중 어텐션 블록)을 컴파일할지 여부를 제어할 수 있습니다. 또한, PyTorch Dynamo의 캐시 크기 및 형태 강제 정적화와 같은 저수준 매개변수를 구성하여 더 세밀한 성능 튜닝을 구현할 수 있습니다.

노드 매개변수 설명 - TorchCompileModelFluxAdvancedV2

연결 입력 (Inputs)

매개변수 이름	데이터 타입	필수	기본값	범위/옵션	설명
`model`	MODEL	예	-	-	최적화할 모델 입력을 받습니다. 이 매개변수는 노드의 핵심 입력으로, 일반적으로 상류의 모델 로드 노드에서 가져옵니다.

컨트롤 매개변수 (Parameters)

매개변수 이름	데이터 타입	필수	기본값	범위/옵션	설명
`backend`	COMBO	예	inductor	"inductor", "cudagraphs"	PyTorch 컴파일에 사용할 백엔드 엔진을 선택합니다. `inductor`(기본값) 또는 `cudagraphs` 중 선택할 수 있으며, 이는 저수준 최적화 구현 방식을 지정합니다.
`mode`	COMBO	예	default	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	컴파일 시간, 메모리 사용량 및 실행 속도 사이의 균형을 맞추기 위해 사용되는 컴파일 모드를 선택합니다. 옵션으로는 `default`, `max-autotune`, `max-autotune-no-cudagraphs`, `reduce-overhead`가 있습니다.
`fullgraph`	BOOLEAN	예	False	-	전체 그래프 모드 활성화
`double_blocks`	BOOLEAN	예	True	-	이중 블록 컴파일
`single_blocks`	BOOLEAN	예	True	-	단일 블록 컴파일
`dynamic`	BOOLEAN	예	False	-	동적 모드 활성화
`dynamo_cache_size_limit`	INT	아니오	64	0 - 1024 (단계: 1)	torch._dynamo.config.cache_size_limit
`force_parameter_static_shapes`	BOOLEAN	아니오	True	-	torch._dynamo.config.force_parameter_static_shapes

출력 (Output)

매개변수 이름	데이터 타입	설명
MODEL	MODEL	`torch.compile`로 컴파일 및 최적화된 모델을 출력하며, 이후 샘플링 또는 처리 노드에서 사용할 수 있습니다.

사용 시나리오

이미지 생성 워크플로에서 이 노드는 모델 로드 노드 이후, 샘플러 노드 이전에 배치할 수 있습니다. 예를 들어, Stable Diffusion 모델을 로드한 후 이 노드를 통해 컴파일 최적화를 수행하고, 최적화된 모델을 샘플러에 전달하여 이미지 생성을 수행함으로써 더 빠른 생성 속도를 기대할 수 있습니다.

주의사항

이 노드는 "지원 중단됨"으로 표시되어 있으며, 개발자는 대체 노드인 TorchCompileModelAdvanced의 사용을 권장합니다. 이 노드는 아직 실험 단계에 있으며, 최적화 효과는 모델, 하드웨어 및 구체적인 매개변수에 따라 크게 달라질 수 있습니다.