TaoMate-H3-FL2VA: MiniMax H3용 스트리밍 첫/마지막 프레임 LoRA

알리바바의 TaoLive AIGC 팀은 10월 15일 TaoMate-H3-FL2VA를 공개했습니다. 이는 MiniMax H3용 스트리밍 TaoMate-H3 런타임에 첫/마지막 프레임 제어를 추가하는 3-step LoRA입니다 (가중치 | 코드). 팀은 이를 "우리가 아는 한 최초의 실시간 스트리밍 첫/마지막 프레임-오디오-비디오(FL2VA) 모델"이라고 부릅니다. 생성은 여전히 블록 단위로 이루어지고 지속적인 오디오-비디오 KV 캐시를 유지하지만, 이제 클립은 선택한 첫 프레임에서 시작할 뿐만 아니라 선택한 마지막 프레임에 도달해야 합니다.

seated_001 FL2VA 예제의 공식 미리보기: 첫 번째와 마지막 키프레임으로부터 생성된 30초 스트리밍 클립입니다.

이전 T2AV 릴리스는 프롬프트만으로 생성했습니다. FL2VA는 동일한 런타임에 전역 종료 지점 데드라인을 추가하므로, 3단계 디노이징 블록이 최종 키프레임에 도달해야 하면서 동시에 음성, 사운드 효과, 비디오는 하나의 동기화된 타임라인에 유지됩니다.

seated_001의 공식 30초 비교 영상: 세 번의 연속 스트리밍 요청에 걸쳐 생성된 770개 프레임입니다.

공개된 내용

• TaoLiveAIGC/TaoMate-H3-FL2VA의 FL2VA LoRA 어댑터: rank 128, 알파 128, step-300 온라인 생성기 가중치를 float32로 유지합니다. 이 어댑터는 T2AV 릴리스와 동일한 3개 파일 구성(config.json, adapter_config.json, adapter_model.safetensors)으로 제공되며, 옵티마이저 상태, EMA, 학습 전용 스코어 모델은 제외됩니다. T2AV 어댑터는 step-3000 생성기 EMA 체크포인트였습니다.
• TaoMate-H3 저장소의 src/taomate-fl2av에 있는 전용 FL2VA 추론 서브프로젝트로, seated_001(가족 거실에서의 좌식 프레젠테이션)이라는 작업 예제 하나가 포함되어 있습니다.

세 가지 모드 모두 24 fps, 768x1376에서 3단계 디노이징, 최근 7개 클린 AV-KV 창, 원샷 전체 클립 디코딩으로 실행됩니다. 문서화된 30초 실행은 step-300 온라인 생성기 LoRA, 85프레임 최종 블록, 오디오용으로 동결된 Base10 티처를 사용합니다.

예제 케이스는 두 개의 키프레임을 함께 제공하므로, 조건화 입력이 README에만 설명된 것이 아니라 측정된 실행의 일부입니다:

ComfyUI에서 실행하기

FL2VA 경로는 이미 ComfyUI 코어에 존재합니다. MiniMax H3 이미지 → 비디오 노드는 프롬프트, 너비, 높이, 프레임 길이와 함께 선택적 first_frame 및 last_frame 입력을 받고, 긍정 조건화와 오디오-비디오 잠재 데이터를 반환합니다. t2va와 fl2va 조건화를 모두 처리합니다. 로컬 생성에 어댑터를 사용하는 데 스트리밍 런타임, 스테이지 병렬 런처, 다중 GPU 설정은 필요하지 않습니다. 어댑터 자체는 ComfyUI 키 레이아웃이어야 하며, 커뮤니티 변환본은 릴리스 후 몇 시간 내에 등장했습니다:

• Kijai의 MiniMax-H3-experimental 저장소에는 minimax_h3_taomate_fl2va_3step_avg_rank_19_bf16.safetensors(약 176 MB)가 포함되어 있으며, 다른 MiniMax H3 실험 LoRA 옆에 배치된 rank 평균 빌드입니다.
• austinit/TaoMate-H3-FL2VA-ComfyUI는 전체 rank-128 BF16 빌드(1.24 GB)와 평균 rank-19 BF16 빌드(169 MB)를 모두 공개합니다. 업로더는 3 스텝, CFG 1.0, LoRA 강도 1.0, Euler 샘플러로 시작할 것을 권장하며, 더 작은 빌드가 테스트에서 정상 작동한다고 보고합니다.
• 이미 T2AV 변환본을 호스팅하던 저장소인 Robert1212star/TaoMate-H3-3Step-ComfyUI는 같은 날 FL2VA 가중치를 BF16(약 1.24 GB)으로 추가했습니다.

커뮤니티 반응

r/StableDiffusion의 논의에서는 TaoMate 3-step 제품군을 일상적인 MiniMax H3 가속기로 활용하는 의견이 많습니다. 한 댓글 작성자는 "생성의 99%"에 사용하는 기본 LoRA라고 부르고, 또 다른 이는 LoRA 강도를 0.6으로 낮추고 er_sde와 함께 베타 샘플러로 전환한 뒤 모션이 더 자연스러워졌다고 보고합니다. 리파이너 패스로 사용할 때는 이전 T2AV 어댑터를 선호하는 사람들도 있습니다. 빠르고 큰 움직임은 여전히 이 제품군의 알려진 약점으로, 댓글 작성자들은 춤이나 격한 액션 장면이 저하된다고 보고하며 이는 T2AV 관련 글과도 일치합니다. 한 테스터는 FL2VA 어댑터 카드에 optimizer_step: 300이 적혀 있고 T2AV 릴리스는 step 3000이라고 지적하며, 새 어댑터가 더 긴 실행이 아니라 더 짧은 실행이라는 점을 언급했습니다.

사용 가능 여부

공식 런타임은 Linux 전용이며 NVIDIA Hopper(SM90) GPU를 대상으로 합니다. 저장소는 FL2VA 예제를 8개 GPU에서 TP2 및 SP4 시퀀스 병렬 처리를 사용하는 단일 노드 실행으로, 그리고 4개 및 8개 GPU 구성 모두에 대한 단일 노드 추론으로 문서화합니다. ComfyUI 사용자는 MiniMax H3 베이스 모델과 위의 LoRA 변환본 중 하나만 있으면 됩니다. 동일 제품군의 참조-오디오-비디오(Ref2AV) 가중치는 여전히 대기 중으로 표시되어 있습니다.