LingBot-Video : premier modèle de fondation vidéo MoE open-source pour l'intelligence incarnée
Robbyant, filiale d'Ant Group, publie en open-source LingBot-Video, un modèle de génération vidéo MoE 30B-A3B atteignant l'état de l'art sur RBench sous licence Apache 2.0.
La filiale d'Ant Group dédiée à l'IA incarnée, Robbyant (Ant Lingbo), a publié en open-source LingBot-Video, le premier modèle de fondation vidéo à mélange d'experts (MoE) à grande échelle conçu pour l'intelligence incarnée. La publication inclut à la fois un modèle MoE 30B-A3B et un modèle dense 1,3B, ainsi que le code et un réécrivain de prompts, le tout sous licence Apache 2.0.
Architecture et conception
LingBot-Video utilise une architecture basée sur DiT avec un MoE parcimonieux, n'activant que 3 milliards de paramètres par token tout en maintenant une capacité totale de 30 milliards. Cette conception permet une inférence environ 3 fois plus rapide que les modèles denses de capacités similaires. Le modèle prend en charge trois modes de génération :
- Texte vers image (T2I)
- Texte vers vidéo (T2V)
- Texte et image vers vidéo (TI2V)
Un modèle de raffinement séparé est inclus pour l'amélioration de la qualité, et un réécrivain de prompts basé sur Qwen3.6-27B convertit les prompts en texte brut en légendes JSON structurées.
Données d'entraînement et système de récompense
Le modèle a été entraîné sur des données vidéo web massives intégrées à plus de 70 000 heures de données incarnées, couvrant le mouvement physique, l'action humaine, les tâches robotiques et la création ouverte. Un système de multi-récompenses optimise selon trois dimensions :
- Haute esthétique — qualité visuelle
- Rationnalité physique — respect de la physique du monde réel
- Réalisation de la tâche — utilité pour les tâches d'IA incarnée
Performances sur les benchmarks
Sur le classement RBench, LingBot-Video se classe n°1 parmi tous les modèles open-source, surpassant Cosmos3 Super, LongCat-Video, Wan 2.2 A14B et HunyuanVideo 1.5. Il obtient un score moyen de 0,620, excellent notamment dans les tâches de manipulation (0,578), les tâches à long horizon (0,634) et les scénarios quadrupèdes (0,758).
Le modèle surpasse également plusieurs systèmes propriétaires, dont Wan 2.6, Seedance 1.5 Pro et Veo 3 dans plusieurs catégories.
Intégration ComfyUI
Le créateur de ComfyUI, comfyanonymous, a déjà ouvert une demande d'extraction en cours pour le support natif de LingBot-Video, ce qui indique qu'une intégration directe est en route.
Publication accompagnatrice : LingBot-World 2.0
Parallèlement à LingBot-Video, Robbyant a également dévoilé LingBot-World 2.0, un modèle du monde capable de génération en temps réel d'une heure. Cela marque une étape importante vers le rapprochement de l'intelligence numérique et de la compréhension du monde physique.
Disponibilité
Les modèles sont disponibles sur Hugging Face :
- MoE (30B-A3B) : robbyant/lingbot-video-moe-30b-a3b
- Dense (1,3B) : robbyant/lingbot-video-dense-1.3b
- Rewriter LoRA : robbyant/lingbot-video-rewriter-lora
Code source et scripts d'inférence : github.com/Robbyant/lingbot-video
Article de recherche : arXiv:2607.07675