IndexTTS-2.5: 5言語対応のゼロショットTTSモデル、感情制御を搭載

ComfyUI Wikinews

BilibiliのIndexTeamがIndexTTS-2.5をリリース: 中国語、英語、日本語、スペイン語、アラビア語に対応したゼロショット音声クローンと感情制御・話速制御を搭載。

IndexTTS-2.5 (HuggingFace | GitHub | Demo) は、BilibiliのIndexTeamによる新リリースです。単一の参照音声クリップから声をクローンするゼロショットTTSモデルで、中国語、英語、日本語、スペイン語、アラビア語に対応し、クロスリンガル音声転送と感情制御を備えています。

概要

IndexTTS-2.5は、GPTバックボーンを基盤とする自己回帰型ゼロショットTTSモデルで、フローマッチング方式の音声-to-メルデコーダとBigVGANボコーダを組み合わせています(GPTバックボーンは約0.8Bパラメータ)。参照音声プロンプトとテキストから22.05kHzの音声を合成し、クローンした音色を維持しながら感情を独立して制御できます。

IndexTTS-2と比較して、新バージョンでは中国語と英語に加えて日本語、スペイン語、アラビア語を追加サポートし、推論が高速化し、話速制御に対応し、発音の制御性も向上しています。

IndexTTS-2.5デモ動画

主な特徴

  • ゼロショット音声クローン:単一の参照音声クリップから声をクローン。ファインチューニングは不要です。
  • 5言語対応:中国語、英語、日本語、スペイン語、アラビア語。クロスリンガル音声転送に対応(クローンした声で対応する全言語を話せます)。
  • 感情制御:音色から分離された8つの浮動小数点値からなる感情ベクトル [happy, angry, sad, afraid, disgusted, melancholic, surprised, calm] により、音声の感情表現を調整します。
  • 話速制御:合成音声の話す速さを調整できます。
  • 発音制御:中国語のピンイン、英語のCMU音素、日本語のかなを <word|reading> 表記でインライン指定でき、正確な発音を実現できます。
  • 約6GBのVRAM:bf16推論により、コンシューマー向けGPUで動作します。

ComfyUIサポート

IndexTTS-2.5はComfyUIのコアには組み込まれていませんが、コミュニティ製のカスタムノードが利用可能です。

  • BSAI_ComfyUI_IndexTTS-2.5ComfyUI/custom_nodes/ にインストールすることで、ComfyUIグラフからIndexTTS-2.5を実行できます。
  • ComfyUI_JR_IndexTTS25:独自のWebUIを備えた代替コミュニティノードパックです。

入手方法

モデルは推論ライブラリと設定ファイルとともにHuggingFaceで公開されています。公式の IndexTTS-2.5 Demo space(Gradio)ではコード不要のインターフェースを利用でき、コードリポジトリは vLLM recipes による本番環境へのデプロイにも対応しています。

git clone https://github.com/index-tts/index-tts.git && cd index-tts
pip install -U uv && uv sync --all-extras
hf download IndexTeam/IndexTTS-2.5 --local-dir=checkpoints

補助モデル(w2v-bert-2.0、MaskGCTセマンティックコーデック、CAMPPlus、BigVGAN)は初回実行時に自動的にダウンロードされます。論文は arXiv:2601.03888 から参照できます。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
IndexTTS-2.5: 5言語対応のゼロショットTTSモデル、感情制御を搭載 | ComfyUI Wiki