Model Patch Torch Settings (ModelPatchTorchSettings) - ComfyUI-KJNodes

Model Patch Torch Settings 노드는 기술적으로 입력된 모델을 복제하고, 여기에 ON_PRE_RUN 및 ON_CLEANUP 콜백 함수를 바인딩하여 구현됩니다.

Model Patch Torch Settings는 실험적 노드로, 사용자가 모델 실행 전후에 PyTorch의 저수준 계산 설정을 동적으로 수정할 수 있게 해줍니다. 핵심 기능은 콜백 함수를 추가하여 모델 실행 전에 특정 성능 최적화 옵션을 활성화하고, 실행 후 원래 상태로 복원함으로써 모델 계산 동작을 세밀하게 제어하는 것입니다.

노드 기능

이 노드는 기술적으로 입력된 모델을 복제하고, 여기에 ON_PRE_RUN 및 ON_CLEANUP 콜백 함수를 바인딩하여 구현됩니다. 현재는 주로 torch.backends.cuda.matmul.allow_fp16_accumulation 설정을 제어하는 것을 지원하며, 이 설정은 CUDA 행렬 곱셈 연산에서 반정밀도(fp16) 누적 사용을 허용할지 여부에 영향을 줍니다. 이 기능은 PyTorch 2.7.0 이상 버전(예: 최신 테스트 버전(nightly))을 필요로 하며, 그렇지 않으면 노드에서 오류가 발생합니다.

노드 파라미터 설명 - Model Patch Torch Settings

연결 입력 (Inputs)

파라미터 이름	데이터 타입	필수	기본값	범위/옵션	설명
`model`	MODEL	예	-	-	입력 파라미터 `model`: 처리할 모델을 입력받습니다. 노드는 이 모델에 PyTorch 설정을 수정하는 콜백 함수를 추가합니다.

컨트롤 파라미터 (Parameters)

파라미터 이름	데이터 타입	필수	기본값	범위/옵션	설명
`enable_fp16_accumulation`	BOOLEAN	예	False	-	torch.backends.cuda.matmul.allow_fp16_accumulation을 활성화합니다. pytorch 2.7.0 최신 테스트 버전(nightly) 이상이 필요합니다.

Output

파라미터 이름	데이터 타입	설명
MODEL	MODEL	출력 파라미터 `MODEL`: 콜백 함수가 부착된 새로운 모델 인스턴스를 출력하며, 이후 이미지 생성 워크플로에 사용됩니다.

사용 시나리오

복잡한 모델 추론이나 VRAM 사용 최적화가 필요한 워크플로에서 이 노드는 매우 유용합니다. 예를 들어, 대규모 Stable Diffusion 모델을 사용하여 이미지를 생성하고, 계산 속도 향상이나 VRAM 사용량 감소를 위해 fp16 누적을 활성화해보고 싶을 때, 이 노드를 모델 로딩 노드 이후, 샘플러 노드 이전에 삽입하고 논리값 파라미터를 토글하여 성능 차이를 테스트할 수 있습니다.

주의사항

이 노드는 "실험적"으로 표시되어 있으며, 안정성과 호환성이 코어 노드만큼 좋지 않을 수 있습니다. 가장 중요한 제한 사항은 torch.backends.cuda.matmul.allow_fp16_accumulation 속성을 지원하는 PyTorch 버전(즉, 2.7.1 이상)에서 실행되어야 한다는 점이며, 그렇지 않으면 워크플로가 실행되지 않습니다.

Model Patch Torch Settings 노드 소스 코드 링크

Model Patch Torch Settings 노드는 ComfyUI-KJNodes 노드 패키지에서 제공됩니다.

Model Patch Torch Settings(ModelPatchTorchSettings)