LingBot-Video: 체화된 지능을 위한 최초의 오픈소스 MoE 비디오 기반 모델

news

Ant Group의 Robbyant가 LingBot-Video를 오픈소스로 공개했습니다. 30B-A3B MoE 비디오 생성 모델로 RBench에서 SOTA를 달성했으며 Apache 2.0 라이선스로 제공됩니다.

Ant Group의 체화된 AI 자회사 Robbyant(Ant Lingbo)가 체화된 지능에 특화된 최초의 대규모 MoE(Mixture-of-Experts) 비디오 기반 모델인 LingBot-Video를 오픈소스로 공개했습니다. 이번 릴리스에는 30B-A3B MoE 모델과 1.3B 밀집 모델, 코드 및 프롬프트 재작성기가 포함되어 있으며, 모두 Apache 2.0 라이선스로 제공됩니다.

아키텍처 및 설계

LingBot-Video는 DiT 기반 아키텍처에 희소 MoE를 적용하여 총 30B 용량을 유지하면서 토큰당 3B 파라미터만 활성화합니다. 이 설계는 유사한 성능의 밀집 모델보다 약 3배 빠른 추론을 실현합니다. 이 모델은 세 가지 생성 모드를 지원합니다.

  • 텍스트 기반 이미지 생성(T2I)
  • 텍스트 기반 비디오 생성(T2V)
  • 텍스트-이미지 기반 비디오 생성(TI2V)

품질 향상을 위해 별도의 리파이너(refiner) 모델이 포함되어 있으며, Qwen3.6-27B 기반 프롬프트 재작성기를 통해 일반 텍스트 프롬프트를 구조화된 JSON 캡션으로 변환합니다.

학습 데이터 및 보상 시스템

이 모델은 대규모 웹 비디오 데이터와 70,000시간 이상의 체화된 데이터(물리적 움직임, 인간 행동, 로봇 작업, 개방형 창작 포함)를 통합하여 학습되었습니다. 다중 보상 시스템은 세 가지 차원을 최적화합니다.

  • 높은 심미성 — 시각적 품질
  • 물리적 합리성 — 실제 세계 물리 법칙 준수
  • 작업 완료 — 체화된 AI 작업에 대한 유용성

벤치마크 성능

RBench 리더보드에서 LingBot-Video는 모든 오픈소스 모델 중 1위를 차지하며 Cosmos3 Super, LongCat-Video, Wan 2.2 A14B, HunyuanVideo 1.5를 능가합니다. 평균 점수 0.620을 기록했으며, 특히 조작 작업(0.578), 장기 작업(0.634), 사족 보행 시나리오(0.758)에서 뛰어난 성능을 보여줍니다.

이 모델은 또한 여러 폐쇄형 시스템(Wan 2.6, Seedance 1.5 Pro, Veo 3 등)을 여러 카테고리에서 능가합니다.

ComfyUI 통합

ComfyUI 창시자 comfyanonymous가 이미 LingBot-Video 기본 지원을 위한 WIP 풀 리퀘스트를 열었으며, 이는 곧 ComfyUI에 직접 통합될 예정임을 의미합니다.

함께 공개된 LingBot-World 2.0

LingBot-Video와 함께 Robbyant는 LingBot-World 2.0도 공개했습니다. 이는 1시간 분량의 실시간 생성을 가능하게 하는 세계 모델로, 디지털 지능과 물리적 세계 이해를 연결하는 중요한 진전입니다.

이용 가능성

모델은 Hugging Face에서 확인할 수 있습니다.

소스 코드 및 추론 스크립트: github.com/Robbyant/lingbot-video

연구 논문: arXiv:2607.07675

LingBot-Video: 체화된 지능을 위한 최초의 오픈소스 MoE 비디오 기반 모델 | ComfyUI Wiki