LanPaint 2.0.0: MiniMax H3 비디오 및 오디오 인페인팅

LanPaint가 8월 9일 버전 2.0.0을 출시하며 전용 MiniMax H3 비디오 및 오디오 인페인팅 파이프라인을 추가했습니다. LanPaint는 TMLR 논문 LanPaint: Training-Free Diffusion Inpainting with Asymptotically Exact and Fast Conditional Sampling의 학습이 필요 없는(training-free) 인페인팅 샘플러를 ComfyUI로 구현한 것이며, 이번 메이저 버전에서는 H3 비디오와 동반 오디오 스트림을 단일 패스로 복구할 수 있습니다.

AV 파이프라인 작동 방식

새 파이프라인은 하나의 편집기 세션에서 비디오 마스크와 오디오 구간을 칠하고, 두 스트림을 하나의 중첩 잠재 데이터로 인코딩한 다음 단일 샘플러 패스를 실행합니다:

1. LanPaint_VideoMaskEditor: 비디오를 선택하고 키프레임에 프레임별 마스크를 칠합니다(사이 프레임은 SDF로 보간됩니다). 그런 다음 파형 위에서 오디오 구간을 드래그합니다. 마스크 1은 재생성, 0은 유지를 의미합니다.
2. LanPaint_AVEncode: 비디오 프레임과 오디오 트랙을 마스크가 첨부된 하나의 중첩 잠재 데이터로 인코딩합니다.
3. 샘플러: 평소와 같이 실행합니다. 오디오 스트림은 자체적으로 이동된 시그마 스케줄에 따라 노이즈를 제거합니다.
4. LanPaint_AVDecode: 인페인팅된 비디오를 마스크 블렌딩 경계에서 원본과 병합하고, 마스크된 구간 안의 인페인팅된 오디오를 짧은 크로스페이드로 병합합니다. 소스 fps와 비트 심도는 유지됩니다.

또한 마스크를 비디오 자체로 내보낼 수 있습니다. 편집기의 마스크 비디오 내보내기 버튼은 파일 메타데이터에 마스크가 포함된 <name>_masked.mp4 복사본을 리먹싱하므로, 마스크된 클립은 나중에 다시 열거나 칠한 내용을 잃지 않고 공유할 수 있습니다.

ComfyUI에서 사용하는 방법

LanPaint를 일반 커스텀 노드로 설치하고(ComfyUI 매니저를 사용하거나 git clone https://github.com/scraed/LanPaint를 ComfyUI/custom_nodes/에 복제), MiniMax H3 모델 파일을 다운로드한 다음 공식 AV 인페인팅 예제를 로드합니다:

LanPaint MiniMax H3 AV 인페인팅 워크플로 다운로드

워크플로는 LanPaint Sampler Custom (Advanced) 노드를 사용합니다. 참고로 README의 리소스 표에는 20스텝으로 480p880p에서 4081프레임 인페인팅 시 약 38~43GB의 VRAM이 필요한 것으로 나와 있으므로, 24GB 카드는 더 짧은 클립을 처리할 수 있고 고VRAM 환경에서는 더 긴 클립까지 처리할 수 있습니다.

사용 가능 여부

LanPaint 2.0.0은 무료 오픈소스 ComfyUI 확장입니다(GitHub, ComfyUI Registry). 이번 업데이트에는 최신 ComfyUI 릴리스에 대한 호환성 수정도 포함되어 있습니다. 샘플러는 MiniMax H3 외에도 SDXL, FLUX, Hunyuan, Qwen-Image, Krea 2, Z-Image, Ideogram 4, Wan 2.2 인페인팅 워크플로를 계속 지원합니다.