설명
이 노드는 LTXV 모델 내부의 피드포워드 활성화를 청크로 나누어 최고 VRAM 사용량을 줄입니다. 실험적이며 모델 출력을 변경할 수 있습니다!! 주의해서 사용하고 수정되지 않은 모델과 결과를 확인하세요. 활성화를 더 작은 조각으로 분할하면 메모리 한도를 초과하지 않고 더 큰 해상도나 시퀀스를 처리할 수 있지만, 수치 정밀도(특히 어텐션 또는 정규화 경로에서)를 변경하여 최종 출력 품질에 영향을 줄 수 있습니다.
입력
| 입력 | 타입 | 필수 | 기본값 | 범위 | 설명 |
|---|---|---|---|---|---|
model | MODEL | 예 | – | – | 수정할 LTXV 모델. |
chunks | INT | 예 | 2 | [1, 100], step 1 | 피드포워드 활성화를 청크로 나누어 최고 VRAM 사용량을 줄이는 청크 수입니다. 값이 높을수록 피크 메모리를 더 줄일 수 있지만 실행 시간이 늘어나고 출력이 변경될 수 있습니다. 값이 1이면 청크 분할이 완전히 비활성화됩니다. |
dim_threshold | INT | 예 | 4096 | [0, 16384], step 256 | 청크 분할을 적용할 차원 임계값입니다. 이 임계값 이상의 은닉 크기를 가진 레이어만 청크로 분할됩니다. 0으로 설정하면 모든 레이어가 청크로 분할됩니다(최대 메모리 절약, 출력 변경 위험 최대). |
출력
| 출력 | 타입 | 설명 |
|---|---|---|
model | MODEL | 주어진 파라미터에 따라 청크 분할된 피드포워드 활성화가 적용된 수정된 LTXV 모델. |
사용 참고 사항
- 이 노드는 제한된 VRAM에 매우 큰 LTXV 모델 변형이나 고해상도 생성 워크플로를 맞추기 위해 고급 사용자를 대상으로 합니다.
- 청크 분할이 피드포워드 블록 내 연산 순서를 변경하기 때문에, 수치 결과는 패치되지 않은 모델과 비트 단위로 동일하지 않습니다. 프로덕션에서 청크 분할된 버전에 의존하기 전에 항상 대표적인 프롬프트로 출력을 테스트하세요.
dim_threshold를 사용하면 가장 큰(메모리 사용량이 많은) 레이어로 청크 분할을 제한할 수 있습니다. 일반적인 LTXV 모델의 경우dim_threshold를4096으로 설정하면 가장 큰 레이어만 청크 분할되어 메모리 절약과 출력 충실도 사이의 균형을 유지합니다.chunks를8–16이상으로 늘리면 일반적으로 메모리 수익이 감소하고 오버헤드가 증가할 수 있습니다.2–8은 대부분의 사용 사례에 적합한 실용적인 범위입니다.- 예상치 못한 아티팩트나 메모리 부족 오류가 발생하면
chunks값을 낮추거나dim_threshold를 높이세요.
댓글
GitHub로 로그인하고 토론에 참여하세요.