Rumik OSS 1: 22개 인도 언어를 지원하는 3B 오픈 TTS

개요

rumik-oss 1은 mimi 코덱의 이산 음성 토큰으로 tiny aya fire를 확장한 모델입니다. 텍스트 조건화와 오디오 생성은 하나의 오토리그레시브 시퀀스를 공유합니다. 모델은 오디오 프레임마다 8개의 코드북 토큰을 코드북 순서대로 예측하고, 이후 고정된(frozen) mimi 디코더가 24 kHz 파형을 재구성합니다.

제공되는 네 가지 음성(Ira, Aisha, Siya, Zoya)은 각각 22개 언어 전체에서 동작하며, 이는 하나의 음성을 단일 언어에 묶는 TTS 모델과 다릅니다. <description="..."> 접두사가 어조(행복, 슬픔, 분노, 흥분, 전문적), 억양, 속도를 제어하며, 인라인 태그는 특정 단어 위치에 웃음, 킥킥거림, 한숨을 배치합니다:

<description="excited, Hindi accent, fast pace"> जल्दी आओ, हमारा नाम लिस्ट में है! <laugh> आज घर में जश्न होगा।

아키텍처: 고정된 mimi 디코더가 디코딩하는 프레임 우선(frame-major) 코덱 토큰 예측.

벤치마크

팀은 모델과 함께 세 가지 새로운 벤치마크를 공개했으며, 모두 공개 코드와 샘플별 결과를 제공합니다:

NoVA에서 rumik-oss 1은 요청된 웃음과 한숨을 올바른 단어 위치에 렌더링하는 신뢰도가 ElevenLabs v3(0.705)와 Gemini 3.1 Flash TTS(0.664)보다 높으며, Grok TTS와 Inworld tts-2에만 뒤처집니다. README의 오디오 샘플은 힌디어, 영어, 텔루구어, 타밀어, 벵골어, 칸나다어, 펀자브어 전반에서 네 가지 음성을 모두 보여주며, 코드 스위칭 힌디어-영어 및 텔루구어-영어 생성도 포함합니다.

한계

학습 발화는 최대 30초이므로, 팀은 35초를 초과하는 발화 생성은 권장하지 않습니다. 또한 요청하지 않은 발성이 출력의 2.9~5.4%에서 나타납니다. 오디오 토큰은 번들된 mimi 코덱으로 디코딩해야 하며, 표준 transformers.pipeline("text-to-speech") 경로는 지원되지 않습니다.

사용 가능 여부

가중치는 Hugging Face에 CC-BY-NC 4.0(연구 및 비상업적 사용)으로 공개되어 있으며, 별도 라이선스의 mimi 코덱과 함께 제공됩니다. Apple Silicon용 MLX 양자화 빌드도 있습니다. Hugging Face Space에서는 인터랙티브 데모를 실행할 수 있습니다. 아직 네이티브 ComfyUI 통합은 없으며, 이 모델은 저장소의 원샷(one-shot) 생성 예시를 통한 Python 추론을 대상으로 합니다.