H3 Motion: 피사체에 키프레임을 지정하고 MiniMax H3로 애니메이트하기

이동 단계. 선택된 모든 피사체는 고유한 색상의 경로와 키를 가지며, 클립 길이는 H3의 프레임 그리드에 맞춰집니다.

이것은 또 다른 H3 Motion Context가 아닙니다. 그 노드 팩은 완료된 클립을 이어 붙여 컷을 넘어 모션이 계속되게 합니다. 반면 H3 Motion은 하나의 클립에서 작업하며 그 안의 피사체를 움직입니다.

사진: 선택, 분리, 경로 드래그

클립 길이는 H3가 샘플링하는 그리드인 17프레임 단위로 3.0초에서 15.1초까지이며, 첫 프레임은 항상 원본 사진입니다. 경로는 배경 재시도 후에도 유지되므로, 분리가 실패한 뒤에 피사체를 다시 그릴 필요가 없습니다.

선택 단계. 프롬프트가 후보를 찾고, 포인트가 최종 마스크를 결정합니다.

동영상: 프레임이 아니라 마스크를 애니메이트

클립의 일부 위에 사각형이나 타원을 그립니다. 마스크는 동일한 경로 도구로 직접 애니메이트할 수도 있고, 오브젝트를 따라가도록 지정할 수도 있습니다. SAM 3.1이 첫 프레임에서 이를 세그먼트하고 코어 SAM3_VideoTrack 노드가 이를 전파하며, 앱은 면적이나 위치가 급변하는 프레임을 거부합니다. 무엇이 나타나야 하는지 설명하고, 선택적으로 참조 이미지를 제공하세요. 참조 이미지는 설명에서 생성하거나 마스크 내부의 현재 프레임을 편집해 만들 수 있습니다. H3의 ref2va 모델이 한 번의 샘플링 패스로 마스크 영역을 재생성하고, 앱이 페더 처리된 가장자리로 결과를 다시 합성하며 원본 오디오를 유지하거나 참조하거나 교체합니다.

저장소의 웹 에셋에 포함된 데모 클립(1280×720, 4초).

실행 방법

이 앱은 소스만 제공됩니다. 복제한 뒤 npm install, npm run dev를 실행하고 http://127.0.0.1:5180을 엽니다. 이미 8188 포트에서 실행 중인 ComfyUI에 연결하며 API 프록시를 직접 시작합니다. ComfyUI를 실행하거나 모델을 다운로드하지는 않습니다. 두 번째 터미널에서 npm run check-env를 실행하면 모든 노드와 모델 파일이 있는지 확인할 수 있습니다.

ComfyUI(README는 v0.41.0-18에서 테스트되었습니다), vloTimeToMove, vloSAM3RefineMask, vloMaskToLatentMask 노드를 위한 ComfyUI-vlo 0.3.0 이상, Node 22.12 이상, 그리고 uv가 필요합니다. 두 H3 워크플로 모두 Comfy Kitchen INT8 어텐션을 사용하므로 NVIDIA 또는 AMD GPU가 필요합니다. README에는 열한 개 파일에 대한 정확한 hf download 명령이 나열되어 있습니다. SAM 3.1, Qwen Image 2.1과 그 Qwen3-VL 인코더 및 VAE, H3 fl2va 및 ref2va diffusion 모델, H3 텍스트 인코더와 두 VAE, 그리고 Pika Flex LoRA입니다.

제한 사항

• 네이티브 Windows는 테스트되지 않았으며, 테스트된 경로는 WSL입니다. 호스팅 Comfy API 배포 방식이 설명되어 있지만 이 역시 테스트되지 않았습니다.
• 사진과 동영상은 1:4에서 4:1 사이여야 합니다. 4:1보다 넓은 비율은 768p로 제공할 수 없기 때문입니다.
• 아직 태그된 릴리스가 없으며, 마지막 커밋은 11월 3일입니다.

이용 정보

• 프로젝트: github.com/PxTicks/h3-motion
• 사용 워크스루: docs/usage.md
• 파이프라인 노트: docs/how-it-works.md
• 필수 노드 팩: ComfyUI-vlo