pi-H3, ComfyUI에서 MiniMax H3 비디오를 단 2~4 스텝으로 생성

ComfyUI Wikinews

pi-H3 어댑터는 오디오가 포함된 MiniMax H3 비디오를 ComfyUI에서 2 또는 4 스텝으로 단축하며, VAE 디코더를 건너뛰는 실험적 경로도 제공합니다. 가중치가 공개되었습니다.

pi-H3는 MiniMax H3를 오디오가 동기화된 비디오를 생성하는 2스텝 또는 4스텝 생성기로 증류합니다. 가중치, 추론 코드, ComfyUI 노드는 11월 21일에 공개되었습니다. 저자는 Stanford 연구원 Hansheng Chen, Gordon Wetzstein, Leonidas Guibas와 작업의 일부를 Luma AI에서 수행한 두 명의 공동 저자입니다.

클레이 베이커, 1344x768에서 2스텝, 스테레오 오디오 포함 5초, 프로젝트 자체 갤러리에서.

제공되는 것

1344x768, 24 fps, 오디오 포함pi-H3 2스텝pi-H3 4스텝Sol-H3 4스텝
5초 비디오3.81초7.30초9.48초
10초 비디오9.16초17.56초24.31초
15초 비디오18.58초36.41초44.96초

B200 한 대에서 텍스트 인코딩부터 디코딩된 비디오와 오디오까지 측정한 종단 간 수치로, 저자들의 측정값과 Sol-H3의 공개된 수치를 비교한 것입니다.

두 가지 어댑터 제품군이 제공됩니다: 여전히 H3 VAE를 통해 디코딩하는 일반 2/4스텝 버전과, 마지막 디노이징 스텝에서 픽셀을 예측해 VAE 디코더를 완전히 건너뛰는 DWD 버전입니다. DWD 버전은 ComfyUI용 INT8 ConvRot으로 제공됩니다. 버전 1.0에서는 DWD 리파이너를 컨볼루션 네트워크에서 윈도우 어텐션을 사용하는 더 가벼운 트랜스포머로 교체했으며, 저자들은 이것이 더 부드러운 세부 모션과 더 나은 2스텝 일관성을 제공한다고 말합니다.

ComfyUI에서 실행하기

  1. ComfyUI Manager를 통해 ComfyUI-piFlow를 설치하거나 custom_nodes에 복제하세요. ComfyUI 0.45.0 이상이 필요하며, 서드파티 pi-H3 또는 pi-Flow 확장이 있다면 먼저 제거해야 합니다.
  2. 저장소의 workflows 폴더에서 pi-H3-DWD.json 또는 pi-H3.json을 불러오세요. pi-H3 Adapter 노드에서 2스텝과 4스텝을 전환하고 그에 맞는 pi-Flow 스케줄러 값을 설정합니다.
  3. pi_h3_2step_dwd_adapter_int8_convrot.safetensors(또는 4스텝 파일)를 models/loras/에 넣고, Comfy-Org/MiniMax-H3의 minimax_h3_fl2va_pruned_int8_convrot.safetensors와 함께 사용하세요. DWD 워크플로는 키프레임에만 비디오 VAE가 필요하고, 오디오 VAE는 평소처럼 사용합니다.
RTX 3090, DWD 2스텝, INT85초10초15초
864x48015.5초37.3초69.2초
1344x76838.5초97.6초186.1초

지원되는 것은 FL2VA 트렁크뿐입니다: 텍스트, 첫 프레임, 마지막 프레임, 또는 둘 다. Ref2VA 어댑터가 없으므로 참조 이미지 조건화는 지원되지 않습니다.

테스터들의 평가

  • Kijai는 두 어댑터를 ComfyUI용 표준 H3 LoRA 키로 변환했으며, 최근 증류 모델들 중 "지금까지 가장 좋은 2스텝 모델"이라고 평가했습니다. DWD에 대해서는 더 신중한데, INT8 Sol VAE를 사용할 때 5초 768p 클립에서 디코더를 건너뛰어 절약된 시간이 1초 미만이었고 DWD 출력이 VAE로 디코딩한 프레임보다 나빠 보였다고 합니다.
  • JohnDopamine은 같은 프롬프트와 노이즈로 VAE와 DWD를 비교했습니다. DWD는 2스텝에서 더 잘 버텼고, VAE는 4스텝 이상에서 더 좋았으며, 그의 결론은 일반적인 사용에는 2스텝의 일반 어댑터로 충분하다는 것이었습니다.
  • boop은 VAE와 함께 사용한 2스텝 어댑터가 괜찮아 보였고 오디오도 예상보다 좋았다고 보고했지만, 빠른 움직임에 대해서는 아직 테스트하지 않았습니다.
  • DWD 버전에 다른 H3 LoRA를 중첩하면 역효과가 날 수 있습니다. 이 버전은 픽셀 헤드를 통해 블록 46~49도 학습하므로, 그 없이 학습된 어댑터는 충돌할 수 있습니다 (Kijai).
수중 재즈 클럽

VAE 디코더 없이 2스텝으로 렌더링한 14초 영상의 한 프레임.

수중 재즈 클럽, 2스텝, VAE 디코더 없음, 1344x768, 14초.

다운로드

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
pi-H3, ComfyUI에서 MiniMax H3 비디오를 단 2~4 스텝으로 생성 | ComfyUI Wiki