LingBot-Video: первая открытая базовая MoE-модель генерации видео для воплощённого интеллекта

Дочерняя компания Ant Group по воплощённому ИИ Robbyant (Ant Lingbo) открыла исходный код LingBot-Video — первой крупномасштабной базовой модели генерации видео на основе смеси экспертов (MoE), специально созданной для воплощённого интеллекта. В релиз входят модель MoE (30B-A3B), плотная модель 1.3B, а также код и улучшатель промптов — всё под лицензией Apache 2.0.

Архитектура и дизайн

LingBot-Video использует архитектуру на основе DiT с разреженным MoE, активируя всего 3B параметров на токен при общем объёме 30B. Такая конструкция обеспечивает прирост скорости инференса примерно в 3 раза по сравнению с плотными моделями аналогичной мощности. Модель поддерживает три режима генерации:

Текст в изображение (T2I)
Текст в видео (T2V)
Текст + изображение в видео (TI2V)

Отдельная модель рефайнера предназначена для улучшения качества, а улучшатель промптов на основе Qwen3.6-27B преобразует обычные текстовые запросы в структурированные JSON-подписи.

Обучающие данные и система вознаграждений

Модель обучалась на массивных данных веб-видео, объединённых с 70 000+ часов данных воплощённого интеллекта, охватывающих физическое движение, действия человека, задачи роботов и открытое творчество. Мультивознаграждаемая система оптимизируется по трём измерениям:

Высокая эстетика — визуальное качество
Физическая рациональность — соответствие законам реального мира
Выполнение задачи — полезность для задач воплощённого ИИ

Производительность на бенчмарках

На таблице лидеров RBench LingBot-Video занимает #1 среди всех открытых моделей, превосходя Cosmos3 Super, LongCat-Video, Wan 2.2 A14B и HunyuanVideo 1.5. Модель достигает среднего балла 0.620, особенно выделяясь в задачах манипуляции (0.578), долгосрочных задачах (0.634) и сценариях четвероногих роботов (0.758).

Модель также превосходит несколько закрытых систем, включая Wan 2.6, Seedance 1.5 Pro и Veo 3, во многих категориях.

Интеграция с ComfyUI

Создатель ComfyUI comfyanonymous уже открыл Pull Request в работе (WIP) для нативной поддержки LingBot-Video, что говорит о скорой прямой интеграции с ComfyUI.

Сопроводительный релиз: LingBot-World 2.0

Наряду с LingBot-Video, Robbyant также представил LingBot-World 2.0 — мировую модель, способную к часовой генерации в реальном времени. Это важный шаг к объединению цифрового интеллекта с пониманием физического мира.

Доступность

Модели доступны на Hugging Face:

MoE (30B-A3B): robbyant/lingbot-video-moe-30b-a3b
Dense (1.3B): robbyant/lingbot-video-dense-1.3b
Rewriter LoRA: robbyant/lingbot-video-rewriter-lora

Исходный код и скрипты инференса: github.com/Robbyant/lingbot-video

Научная статья: arXiv:2607.07675