Fish Audio Drama 3: управляемая TTS-модель 35B с открытыми весами

Что такое Drama 3

Drama 3 это модель text-to-speech Mixture-of-Experts с 35B параметрами текстового бэкбона и 3B активных параметров на токен, использующая гибридное сочетание полного и линейного внимания. Аудио создаётся декодером codebook-MTP, который причинно декодирует 10 кодовых книг по всей последовательности, а веса экспертов хранятся в FP8, тогда как остальные веса в bf16. Опубликованный пакет это восемь шардов safetensors плюс кодек на 1.9 GB, примерно 40 GB на диске.

Две вещи отличают её от обычной модели клонирования голоса:

• Теги говорящих. <|speaker:0|> ... <|speaker:15|> позволяют одному тексту содержать до 16 персонажей, поэтому диалоговая сцена генерируется одним потоком, а не склейкой дублей. Нода ComfyUI помечает смену говорящего токенами вида @Voice1, @Voice2, когда прикреплено несколько голосов.
• Работа с длинными текстами. Длинный текст автоматически разбивается на фрагменты и может передаваться потоком фрагмент за фрагментом, что рассчитано на аудиокниги, дубляж и аудиодрамы, а не на отдельные предложения. Drama 3 говорит на 83 языках.

Управление исполнением

Указания заключаются в квадратные скобки и записываются так, как вы сказали бы актёру, и их можно размещать в любой точке реплики, чтобы чтение менялось там, где меняется настроение. Указания не обязаны совпадать с языком реплики: в примерах запуска на английском тексте используются указания на китайском, испанском и японском.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there... [slow, deadly serious] <emphasis>do not open that door.</emphasis>

Пара <emphasis>...</emphasis> это тег с ограниченной областью действия: он управляет только словами между открывающим и закрывающим тегом, а не остальной частью реплики.

Взволнованно	Грустно	Шёпотом

Пресеты тона со страницы продукта Drama 3. Fish Audio демонстрирует одну и ту же эталонную реплику, прочитанную на S2.1 Pro и на Drama 3, и различия проявляются на втором указании в каждой реплике: именно там голос срывается, затихает или переходит в смех.

Устойчивость произношения

Fish Audio сообщает, что Drama 3 занимает первое место в бенчмарке Pronunciation Robustness от Artificial Analysis, который проверяет сложные слова, числа, коды и зависящие от контекста прочтения внутри английских предложений, а каждый результат проверяют слушатели-люди:

Изменение подхода, стоящее за этими числами, находится в обучении: большинство речевых моделей настраивают с вознаграждением за лёгкость транскрипции и за сходство с эталонным клипом, что подавляет смех или шёпот. Drama 3 вместо этого настраивается по модели предпочтений на множестве дублей, поэтому выразительное чтение не штрафуется как ошибка транскрипции.

Как её запустить

• Открытые веса. Полная модель доступна на Hugging Face, и Fish Audio документирует запуск через SGLang-Omni со дня релиза командой sgl-omni serve --model-path fishaudio/drama-3.
• ComfyUI. Партнёрские ноды Fish Audio в ядре ComfyUI («Fish Audio Text to Speech») предлагают Drama 3 как вариант модели начиная с 13 октября 2026 года, наряду с существующими опциями s2.1-pro и s1. Эти ноды обращаются к Fish Audio API, поэтому им нужен API-ключ, а не локальный GPU.
• Хостинг. Модель также доступна в собственном приложении Text to Speech от Fish Audio для веба, iOS и Android.

Доступность

Веса: fishaudio/drama-3 на Hugging Face. Руководство по развёртыванию: Drama 3 Cookbook. Страница продукта: fish.audio/drama-3.