LTX2 어텐션 튜너 패치(LTX2AttentionTunerPatch)

설명

실험적! 이 노드는 LTX2 모델의 포워드 패스를 패치하여 모달리티별 어텐션 크기 조절 계수를 적용합니다. 또한 패치되지 않은 포워드 패스에 비해 최대 VRAM 사용량을 줄입니다. 생성 중 비디오 및 오디오 어텐션 스트림의 영향을 미세 조정하는 데 사용하세요.

입력

• model (MODEL, 필수) – 패치할 LTX2 모델입니다. ComfyUI에 로드된 호환 모델이어야 합니다.

• blocks (STRING, 필수, 기본값: "") – 패치를 적용할 트랜스포머 블록 인덱스의 쉼표로 구분된 목록입니다. 비워두면 모든 블록에 적용됩니다. 예: "0,2,4"는 블록 0, 2, 4만 패치합니다.

• video_scale (FLOAT, 기본값: 1.0, 범위: 0.0 – 100.0, 단계: 0.01) – 비디오 간 어텐션(비디오 모달리티 내 자기 어텐션)의 크기 조절 계수입니다.

• audio_scale (FLOAT, 기본값: 1.0, 범위: 0.0 – 100.0, 단계: 0.01) – 오디오 간 어텐션(오디오 모달리티 내 자기 어텐션)의 크기 조절 계수입니다.

• audio_to_video_scale (FLOAT, 기본값: 1.0, 범위: 0.0 – 100.0, 단계: 0.01) – 오디오에서 비디오로의 교차 어텐션 크기 조절 계수입니다. 오디오 정보가 비디오 표현에 영향을 미치는 정도를 제어합니다. (도구 설명: "비디오 어텐션 크기 조절 계수." – 오디오가 비디오 어텐션에 미치는 영향을 간략히 나타낸 것입니다.)

• video_to_audio_scale (FLOAT, 기본값: 1.0, 범위: 0.0 – 100.0, 단계: 0.01) – 비디오에서 오디오로의 교차 어텐션 크기 조절 계수입니다. 비디오 정보가 오디오 표현에 영향을 미치는 정도를 제어합니다. (도구 설명: "오디오 어텐션 크기 조절 계수." – 대응되는 간략 표현입니다.)

• triton_kernels (BOOLEAN, 기본값: 참) – 활성화하면 norm+scale+shift 및 RoPE 적용 연산에 Triton 퓨즈드 커널을 사용합니다. 이 경우 매우 약간 더 빠를 수 있지만, Triton이 설치된 호환 환경이 필요합니다. 오류가 발생하거나 순수 PyTorch 폴백을 선호하는 경우 비활성화하세요.

출력

• MODEL – 어텐션 크기 조절 수정이 적용된 패치된 LTX2 모델입니다.

사용 참고 사항

• 이 노드는 실험적입니다. 워크플로를 백업하고 결과를 신뢰하기 전에 충분히 테스트하세요.
• 노드가 포워드 패스를 수정하므로, 패치된 모델은 최대 VRAM 소비를 줄이는 커스텀 어텐션 구현을 사용합니다. 더 큰 생성이나 메모리가 제한된 경우 유용합니다.
• blocks 입력을 사용하면 특정 트랜스포머 블록만 선택적으로 패치할 수 있습니다. 이를 통해 효과를 격리하거나 패치의 성능 영향을 줄일 수 있습니다.
• 모든 크기 조절 계수는 softmax 이전에 원시 어텐션 로짓에 대한 승수로 작용합니다. 1.0 값은 어텐션을 변경하지 않으며, 1.0보다 큰 값은 해당 모달리티의 기여도를 증폭하고, 1.0보다 작은 값은 억제합니다.
• 네 가지 크기 조절 계수(비디오, 오디오, 오디오→비디오, 비디오→오디오)를 통해 모달리티 내부 및 모달리티 간 어텐션을 독립적으로 제어할 수 있습니다. 예를 들어, 비디오 생성을 오디오 트랙에 더 민감하게 만들려면 audio_to_video_scale을 높이세요.
• 모달리티 간 조정이 필요하지 않으면 audio_to_video_scale과 video_to_audio_scale을 1.0으로 두고 video_scale과 audio_scale만 조정하세요.
• triton_kernels 옵션은 일반적으로 활성화된 상태로 두는 것이 안전합니다. 패치된 포워드 패스를 약간만 가속화합니다. Triton이 설치되지 않았거나 호환성 문제를 일으키는 경우 비활성화하세요.