Rumik OSS 1: 22のインド系言語に対応する3BオープンTTSモデル

概要

rumik-oss 1は、mimiコーデックの離散音声トークンによってtiny aya fireを拡張します。テキスト条件付けと音声生成は単一の自己回帰シーケンスを共有します。モデルは音声フレームごとに8つのコードブックトークンをコードブック順に予測し、その後、凍結されたmimiデコーダが24 kHzで波形を再構成します。

提供される4つの音声（Ira、Aisha、Siya、Zoya）は、いずれも22言語すべてで発話できます。これは、1つの音声を1つの言語に紐付けるTTSモデルとは異なります。<description="..."> プレフィックスはトーン（happy、sad、angry、excited、professional）、アクセント、ペースを制御し、インラインタグは特定の単語の位置に笑い、含み笑い、ため息を配置します。

<description="excited, Hindi accent, fast pace"> जल्दी आओ, हमारा नाम लिस्ट में है! <laugh> आज घर में जश्न होगा।

アーキテクチャ: フレーム優先のコーデックトークン予測を、凍結されたmimiデコーダがデコードします。

ベンチマーク

チームはモデルと合わせて3つの新しいベンチマークを公開しました。いずれも公開コードとサンプルごとの結果が付属しています。

NoVAでは、rumik-oss 1は要求された笑いやため息を正しい単語の位置にレンダリングする精度でElevenLabs v3（0.705）やGemini 3.1 Flash TTS（0.664）を上回り、Grok TTSとInworld tts-2にのみ後れを取っています。READMEの音声サンプルでは、ヒンディー語、英語、テルグ語、タミル語、ベンガル語、カンナダ語、パンジャブ語にわたる4つの音声すべてが紹介されており、コードスイッチングされたヒンディー語・英語やテルグ語・英語の生成も含まれます。

制限事項

トレーニングの発話は最長30秒であるため、チームは35秒を超える発話の生成を推奨していません。また、要求していない発声が出力の2.9～5.4%に現れます。音声トークンは同梱のmimiコーデックでデコードする必要があり、標準の transformers.pipeline("text-to-speech") パスはサポートされていません。

入手方法

ウェイトはHugging FaceでCC-BY-NC 4.0（研究および非商用利用）のもと、別途ライセンスされたmimiコーデックとともに公開されています。さらにApple Silicon向けのMLX量子化ビルドもあります。Hugging Face Spaceではインタラクティブなデモを実行できます。ネイティブのComfyUI統合はまだありません。このモデルは、リポジトリのone-shot generationの例を通じたPython推論を対象としています。