Meituan открывает исходный код LongCat 2.0: модель MoE с 1,6 триллиона параметров, обученная на AI ASIC
Meituan выпускает LongCat 2.0, языковую модель MoE с 1,6 триллиона параметров и окном контекста в 1 миллион токенов, полностью обученную на оборудовании AI ASIC. Веса модели скоро будут доступны под лицензией MIT.
30 июня 2026 года Meituan (美团) представила LongCat 2.0 — массивную языковую модель Mixture-of-Experts с 1,6 триллиона общих параметров и примерно 48 миллиардов активированных параметров на токен. Модель лицензирована по MIT и представляет собой одну из крупнейших моделей с открытыми весами, когда-либо выпущенных.
Веса модели пока недоступны: команда отмечает «weights coming soon» в репозитории HuggingFace. Эта статья охватывает анонс и архитектуру.
Ключевые характеристики
| Характеристика | Значение |
|---|---|
| Архитектура | Mixture-of-Experts (MoE) |
| Общее количество параметров | 1,6 триллиона |
| Активированные параметры | ~48 миллиардов на токен |
| Окно контекста | 1 миллион токенов (LongCat Sparse Attention) |
| Обучающие данные | Более 35 триллионов токенов |
| Оборудование для обучения | Суперподы AI ASIC (не GPU NVIDIA) |
| Лицензия | MIT |
Значение: обучение на AI ASIC
Одним из наиболее заметных аспектов LongCat 2.0 является то, что как полный цикл обучения, так и масштабное развертывание были полностью построены на суперподах AI ASIC — собственных чипах-ускорителях AI, а не на GPU NVIDIA. Предварительное обучение охватило миллионы часов работы ускорителей на более чем 35 триллионах токенов без откатов или невосстановимых всплесков потерь, что демонстрирует возможность обучения на передовом масштабе на альтернативном оборудовании.
Основные моменты архитектуры
LongCat 2.0 представляет LongCat Sparse Attention, разработанное для эффективной обработки задач с длинным контекстом. Модель обучалась на сотнях миллиардов токенов данных с контекстом в 1M. В сочетании с специальным пост-обучением это обеспечивает LongCat 2.0 высокую производительность в задачах кодирования и агентских задачах.
Статус
Репозиторий HuggingFace (meituan-longcat/LongCat-2.0) активен с документацией и спецификациями, но веса модели пока не выпущены. Команда указала, что веса последуют.
Ссылки
- Репозиторий HuggingFace
- Технический пост в блоге
- Лицензия: MIT