메이투안, AI ASIC에서 학습된 1.6조 파라미터 MoE 모델 LongCat 2.0 오픈소스화
메이투안이 1.6조 파라미터와 100만 토큰 컨텍스트 창을 갖춘 MoE 언어 모델 LongCat 2.0을 출시했습니다. 전적으로 AI ASIC 하드웨어에서 학습되었으며, 모델 가중치는 MIT 라이선스로 곧 제공될 예정입니다.
2026년 6월 30일, **메이투안(美团)**이 LongCat 2.0을 공개했습니다. 이는 총 1.6조 파라미터와 토큰당 약 480억 개의 활성화된 파라미터를 가진 거대 Mixture-of-Experts 언어 모델입니다. 이 모델은 MIT 라이선스로 배포되며, 공개된 오픈 가중치 모델 중 가장 큰 규모 중 하나입니다.
아직 모델 가중치가 제공되지는 않았으며, 팀은 HuggingFace 저장소에 "가중치 곧 출시 예정"이라고 명시했습니다. 이 문서는 발표 내용과 아키텍처를 다룹니다.
주요 사양
| 사양 | 세부 내용 |
|---|---|
| 아키텍처 | Mixture-of-Experts (MoE) |
| 총 파라미터 | 1.6조 |
| 활성화된 파라미터 | 토큰당 ~480억 |
| 컨텍스트 창 | 100만 토큰 (LongCat Sparse Attention) |
| 학습 데이터 | 35조 이상의 토큰 |
| 학습 하드웨어 | AI ASIC 슈퍼팟 (NVIDIA GPU 아님) |
| 라이선스 | MIT |
의의: AI ASIC 학습
LongCat 2.0의 가장 주목할 만한 측면 중 하나는 전체 학습 실행과 대규모 배포가 전적으로 AI ASIC 슈퍼팟에서 이루어졌다는 점입니다. 이는 NVIDIA GPU가 아닌 맞춤형 AI 가속기 칩입니다. 사전 학습은 35조 개가 넘는 토큰에 걸쳐 수백만 개의 가속기-시간 동안 롤백이나 복구 불가능한 손실 급증 없이 진행되었으며, 이는 대체 하드웨어에서 최첨단 규모의 학습 능력을 입증했습니다.
아키텍처 하이라이트
LongCat 2.0은 LongCat Sparse Attention을 도입하여 긴 컨텍스트 작업을 효율적으로 처리합니다. 이 모델은 수천억 개의 토큰으로 구성된 100만 컨텍스트 데이터로 학습되었습니다. 전용 사후 학습과 결합되어 LongCat 2.0은 코딩 및 에이전트 작업에서 뛰어난 성능을 발휘합니다.
상태
HuggingFace 저장소(meituan-longcat/LongCat-2.0)는 문서와 사양이 제공된 상태로 활성화되어 있지만, 모델 가중치는 아직 공개되지 않았습니다. 팀은 가중치가 곧 제공될 것이라고 밝혔습니다.
링크
- HuggingFace 저장소
- 기술 블로그 게시글
- 라이선스: MIT