IndexTTS-2.5: 5言語対応のゼロショットTTSモデル、感情制御を搭載
ComfyUI Wikinews
BilibiliのIndexTeamがIndexTTS-2.5をリリース: 中国語、英語、日本語、スペイン語、アラビア語に対応したゼロショット音声クローンと感情制御・話速制御を搭載。
IndexTTS-2.5 (HuggingFace | GitHub | Demo) は、BilibiliのIndexTeamによる新リリースです。単一の参照音声クリップから声をクローンするゼロショットTTSモデルで、中国語、英語、日本語、スペイン語、アラビア語に対応し、クロスリンガル音声転送と感情制御を備えています。
概要
IndexTTS-2.5は、GPTバックボーンを基盤とする自己回帰型ゼロショットTTSモデルで、フローマッチング方式の音声-to-メルデコーダとBigVGANボコーダを組み合わせています(GPTバックボーンは約0.8Bパラメータ)。参照音声プロンプトとテキストから22.05kHzの音声を合成し、クローンした音色を維持しながら感情を独立して制御できます。
IndexTTS-2と比較して、新バージョンでは中国語と英語に加えて日本語、スペイン語、アラビア語を追加サポートし、推論が高速化し、話速制御に対応し、発音の制御性も向上しています。
主な特徴
- ゼロショット音声クローン:単一の参照音声クリップから声をクローン。ファインチューニングは不要です。
- 5言語対応:中国語、英語、日本語、スペイン語、アラビア語。クロスリンガル音声転送に対応(クローンした声で対応する全言語を話せます)。
- 感情制御:音色から分離された8つの浮動小数点値からなる感情ベクトル
[happy, angry, sad, afraid, disgusted, melancholic, surprised, calm]により、音声の感情表現を調整します。 - 話速制御:合成音声の話す速さを調整できます。
- 発音制御:中国語のピンイン、英語のCMU音素、日本語のかなを
<word|reading>表記でインライン指定でき、正確な発音を実現できます。 - 約6GBのVRAM:bf16推論により、コンシューマー向けGPUで動作します。
ComfyUIサポート
IndexTTS-2.5はComfyUIのコアには組み込まれていませんが、コミュニティ製のカスタムノードが利用可能です。
- BSAI_ComfyUI_IndexTTS-2.5:
ComfyUI/custom_nodes/にインストールすることで、ComfyUIグラフからIndexTTS-2.5を実行できます。 - ComfyUI_JR_IndexTTS25:独自のWebUIを備えた代替コミュニティノードパックです。
入手方法
モデルは推論ライブラリと設定ファイルとともにHuggingFaceで公開されています。公式の IndexTTS-2.5 Demo space(Gradio)ではコード不要のインターフェースを利用でき、コードリポジトリは vLLM recipes による本番環境へのデプロイにも対応しています。
git clone https://github.com/index-tts/index-tts.git && cd index-tts
pip install -U uv && uv sync --all-extras
hf download IndexTeam/IndexTTS-2.5 --local-dir=checkpoints補助モデル(w2v-bert-2.0、MaskGCTセマンティックコーデック、CAMPPlus、BigVGAN)は初回実行時に自動的にダウンロードされます。論文は arXiv:2601.03888 から参照できます。
コメント
GitHubでサインインしてディスカッションに参加しましょう。