ComfyUI H3 Motion Context Auto-Chain: 한 번의 실행으로 긴 립싱크 영상 생성
ComfyUI-H3-Motion-Context의 애드온으로 MiniMax H3 립싱크 클립을 자동 연결합니다. 오디오를 분할하고 잠재 컨텍스트로 모션과 오디오를 이어받아 하나의 MP4로 이어붙입니다.
작성자가 게시한 자동 체인 립싱크 데모의 예시 프레임.
해결하는 문제
MiniMax H3 생성은 약 20초 클립으로 제한되므로, 그보다 긴 립싱크 영상은 보통 ComfyUI 실행을 수동으로 이어 붙여야 합니다. 20초마다 새 생성을 시작하고, VRAM에 맞게 크기를 조정하고, 나중에 조각을 수동으로 합치는 식입니다. Auto-Chain 애드온은 이 반복 작업을 자동화합니다. 전체 오디오를 클립 크기로 분할하고, 끊김 없는 최종 이어붙이기를 위해 원본 타임라인을 유지하며, 다음 클립을 자동으로 큐에 넣고, H3의 잠재 컨텍스트를 통해 비디오와 오디오 연속성을 이어받아 각 클립이 이전 클립에서 이어지게 합니다.
작성자의 데모 (YouTube의 TBG ETUR)는 클립별 프롬프트로 구동되는 카메라 움직임을 포함해, 연결된 클립으로 만든 긴 립싱크 영상을 보여 줍니다:
포함된 노드
| 노드 | 기능 |
|---|---|
| H3 Auto Chain Audio | 오디오를 클립 크기로 분할하고 현재 클립의 오디오, 프롬프트, 클립 번호, 체인 설정을 출력 |
| H3 Auto Chain Load Latent | Motion Context 노드에 이전 클립의 H3 비디오/오디오 잠재 표현을 로드 |
| H3 Auto Chain Save Latent | 현재 샘플러 출력을 이어가기 위한 번호 슬롯에 저장 |
| H3 Auto Chain Frame Reference | 참조 이미지 제공: 모든 클립에서 초기 이미지, 이전 클립의 마지막 프레임(last_frame, 권장), 또는 클립 1에만 |
| H3 Auto Chain Motion Context | 이어지는 클립에서는 원래 Motion Context 노드에 위임하고, 첫 클립은 통과 |
| H3 Auto Chain + Stitch | 현재 클립 저장, 마지막 프레임 추출, 다음 클립 큐잉, 체인 완료 시 모든 클립을 하나의 MP4로 이어붙임 |
클립별 프롬프트는 공유 style_prompt와 번호가 매겨진 clip_prompts([1] The character walks through a rainy city street., [2] The character enters a warm cafe., ...)로 작동하며, 각 클립 세그먼트는 자체 출력 파일을 가지므로 같은 chain_id로 체인을 재개하거나 특정 클립만 다시 렌더링할 수 있습니다.
예시 워크플로우
저장소에는 애드온 노드를 원본 H3 Motion Context 패키지에 연결하는 완전한 립싱크 워크플로우가 포함되어 있습니다:
권장 시작 설정: 20초 청크, 24fps, 컨텍스트 프레임 22개, last_frame 참조 모드.
설치
이 애드온은 원본 ComfyUI-H3-Motion-Context 패키지와 작동하는 MiniMax H3 비디오 워크플로우가 필요합니다. 두 폴더를 모두 ComfyUI/custom_nodes/에 설치하고 ComfyUI를 다시 시작합니다:
ComfyUI/custom_nodes/ComfyUI-H3-Motion-Context-orig/
ComfyUI/custom_nodes/ComfyUI-H3-Motion-Context-Auto-Chain-addon/실험적인 수정 버전 H3 포크는 원본 패키지 및 이 애드온과 함께 설치하면 안 됩니다. 중복 노드 ID를 등록하기 때문입니다.
이용 방법
- 코드: Ltamann/ComfyUI-H3-Motion-Context-Auto-Chain-addon(GitHub)
- 워크플로우:
example_workflows/의MiniMax H3 Lipsync.json - 데모: TBG ETUR(YouTube)
댓글
GitHub로 로그인하고 토론에 참여하세요.