설명
확산 모델의 어텐션 메커니즘을 플래시 어텐션(flash_attn 라이브러리 사용)으로 패치하는 실험적 노드입니다. ComfyUI의 기본 SDPA 대체와 달리 이 노드는 직접 플래시 어텐션을 강제합니다. 패치를 비활성화하려면 이 노드를 실행 건너뛰기하거나 연결을 끊으세요. flash_attn 파이썬 패키지가 설치되어 있어야 합니다(pip install flash-attn 실행).
입력
| 이름 | 유형 | 필수 | 기본값 | 설명 |
|---|---|---|---|---|
model | MODEL | 예 | – | 패치할 확산 모델입니다. 어텐션 레이어가 플래시 어텐션 연산으로 교체됩니다. |
allow_compile | BOOLEAN | 아니요 | 거짓 | 참으로 설정하면 플래시 어텐션 커널을 컴파일할 수 있습니다(예: PyTorch의 torch.compile 사용). 잠재적 성능 향상을 위해 사용하지만 시작 시간과 메모리 사용량이 늘어날 수 있습니다. 호환 환경에서만 활성화하세요. |
출력
| 이름 | 유형 | 설명 |
|---|---|---|
MODEL | MODEL | 플래시 어텐션이 활성화된 패치된 모델입니다. |
사용 참고 사항
- 이 노드는 실험적이며 모든 모델 아키텍처나 CUDA 구성에서 작동하지 않을 수 있습니다.
flash_attn라이브러리가 환경에 설치되어 있어야 합니다. 설치 명령어:pip install flash-attn(CUDA 호환 torch 빌드 필요).- 오류가 발생하면 노드를 실행 건너뛰기하여 기본 어텐션 메커니즘으로 되돌리세요.
allow_compile옵션은 기본적으로 꺼져 있습니다. 의미를 이해한 경우에만 활성화하세요 (첫 추론 시간 증가, 잠재적 불안정성).
댓글
GitHub로 로그인하고 토론에 참여하세요.