Meituan ouvre le code source de LongCat 2.0 : un modèle MoE de 1,6 billion de paramètres entraîné sur des ASIC IA
Meituan publie LongCat 2.0, un modèle de langage MoE de 1,6 billion de paramètres avec une fenêtre de contexte d'un million de tokens, entièrement entraîné sur du matériel ASIC IA. Les poids du modèle seront bientôt disponibles sous licence MIT.
Le 30 juin 2026, Meituan (美团) a dévoilé LongCat 2.0, un modèle de langage massif de type Mixture-of-Experts avec 1,6 billion de paramètres au total et environ 48 milliards de paramètres activés par jeton. Le modèle est sous licence MIT et représente l'un des plus grands modèles à poids ouverts jamais publiés.
Les poids du modèle ne sont pas encore disponibles : l'équipe indique « poids bientôt disponibles » sur le dépôt HuggingFace. Cet article couvre l'annonce et l'architecture.
Spécifications clés
| Spécification | Détail |
|---|---|
| Architecture | Mixture-of-Experts (MoE) |
| Paramètres totaux | 1,6 billion |
| Paramètres activés | ~48 milliards par jeton |
| Fenêtre de contexte | 1 million de tokens (LongCat Sparse Attention) |
| Données d'entraînement | Plus de 35 billions de tokens |
| Matériel d'entraînement | Superpods ASIC IA (pas de GPU NVIDIA) |
| Licence | MIT |
Signification : entraînement sur ASIC IA
L'un des aspects les plus notables de LongCat 2.0 est que l'entraînement complet et le déploiement à grande échelle ont été réalisés entièrement sur des superpods ASIC IA : des puces d'accélération IA personnalisées plutôt que des GPU NVIDIA. Le pré-entraînement a couvert des millions d'heures d'accélérateur sur plus de 35 billions de tokens, sans retours en arrière ni pics de perte irrécupérables, démontrant une capacité d'entraînement à l'échelle de la frontière sur du matériel alternatif.
Points forts de l'architecture
LongCat 2.0 introduit LongCat Sparse Attention, conçu pour gérer efficacement les tâches à long contexte. Le modèle a été entraîné sur des centaines de milliards de tokens de données avec un contexte d'un million de tokens. Combiné à un post-entraînement dédié, cela donne à LongCat 2.0 de bonnes performances sur les tâches de codage et les tâches agentiques.
Statut
Le dépôt HuggingFace (meituan-longcat/LongCat-2.0) est en ligne avec la documentation et les spécifications, mais les poids du modèle n'ont pas encore été publiés. L'équipe a indiqué que les poids suivront.
Liens
- Dépôt HuggingFace
- Article de blog technique
- Licence : MIT