IndexTTS-2.5: zero-shot TTS с клонированием голоса на 5 языках

ComfyUI Wikinews

Команда IndexTeam из Bilibili выпустила IndexTTS-2.5: zero-shot клонирование голоса на 5 языках с управлением эмоциями и скоростью речи.

IndexTTS-2.5 (HuggingFace | GitHub | Демо) это новый релиз команды IndexTeam из Bilibili. Zero-shot TTS модель клонирует голос по одному референсному аудиофрагменту и поддерживает китайский, английский, японский, испанский и арабский языки с кросс-языковым переносом голоса и управлением эмоциями.

Обзор

IndexTTS-2.5 представляет собой авторегрессивную zero-shot TTS модель на базе GPT backbone с flow-matching декодером преобразования речи в мел-спектрограмму и вокодером BigVGAN (~0,8 млрд параметров в GPT backbone). Она синтезирует речь с частотой 22,05 кГц на основе референсного голосового промпта и текста, сохраняя клонированный тембр при независимом управлении эмоциями.

По сравнению с IndexTTS-2 новая версия поддерживает японский, испанский и арабский языки (помимо китайского и английского), работает быстрее, добавляет управление скоростью речи и улучшает контроль произношения.

Видео-демонстрация IndexTTS-2.5

Ключевые возможности

  • Клонирование голоса zero-shot: клонируйте голос по одному референсному аудиофрагменту, без необходимости дообучения.
  • 5 языков: китайский, английский, японский, испанский и арабский, с кросс-языковым переносом голоса (говорите на любом поддерживаемом языке клонированным голосом).
  • Управление эмоциями: вектор эмоций из восьми float-значений [happy, angry, sad, afraid, disgusted, melancholic, surprised, calm], не связанный с тембром, регулирует эмоциональную подачу речи.
  • Управление скоростью речи: регулируйте темп синтезируемой речи.
  • Управление произношением: китайский пиньинь, английские фонемы CMU и японская кана могут быть указаны прямо в тексте с помощью нотации <word|reading> для точного произношения.
  • ~6 ГБ видеопамяти: работает на GPU потребительского класса с выводом в bf16.

Поддержка ComfyUI

IndexTTS-2.5 не встроен в ядро ComfyUI, но доступны пользовательские ноды от сообщества:

  • BSAI_ComfyUI_IndexTTS-2.5: установите в ComfyUI/custom_nodes/, чтобы запускать IndexTTS-2.5 из графа ComfyUI.
  • ComfyUI_JR_IndexTTS25: альтернативный пакет узлов от сообщества с собственным WebUI.

Доступность

Модель опубликована на HuggingFace вместе с библиотекой для вывода и файлом конфигурации, а официальный демо-спейс IndexTTS-2.5 (Gradio) предоставляет интерфейс без написания кода. Репозиторий с кодом также поддерживает развёртывание в продакшене через vLLM recipes.

git clone https://github.com/index-tts/index-tts.git && cd index-tts
pip install -U uv && uv sync --all-extras
hf download IndexTeam/IndexTTS-2.5 --local-dir=checkpoints

Вспомогательные модели (w2v-bert-2.0, семантический кодек MaskGCT, CAMPPlus, BigVGAN) скачиваются автоматически при первом запуске. Статья доступна на arXiv:2601.03888.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
IndexTTS-2.5: zero-shot TTS с клонированием голоса на 5 языках | ComfyUI Wiki