Fish Audio Drama 3: TTS dirigible de pesos abiertos con 35B

Qué es Drama 3

Drama 3 es un modelo de texto a voz de mezcla de expertos con un backbone de texto de 35B parámetros y 3B activos por token, que usa atención híbrida completa más lineal. El audio se produce con un decodificador codebook-MTP que decodifica 10 codebooks de forma causal sobre toda la secuencia, y los pesos de los expertos se almacenan en FP8 mientras el resto de los pesos queda en bf16. El paquete publicado son ocho fragmentos safetensors más un códec de 1.9 GB, unos 40 GB en disco.

Dos cosas lo diferencian de un modelo de clonación de voz corriente:

• Etiquetas de hablante. <|speaker:0|> a <|speaker:15|> permiten que un solo texto incluya hasta 16 personajes, de modo que una escena de diálogo se genera como un único flujo en lugar de tomas concatenadas. El nodo de ComfyUI marca los cambios de hablante con tokens al estilo @Voice1, @Voice2 cuando hay varias voces conectadas.
• Manejo de formato largo. El texto largo se divide en fragmentos automáticamente y se puede transmitir fragmento a fragmento, algo pensado para audiolibros, doblaje y audio drama más que para frases sueltas. Drama 3 habla 83 idiomas.

Dirigir la interpretación

La dirección va entre corchetes, escrita tal como se lo dirías a un actor, y se puede colocar en cualquier punto de la línea para que la lectura cambie donde cambia el ánimo. La dirección no tiene que coincidir con el idioma de la línea: los ejemplos de lanzamiento usan indicaciones en chino, español y japonés sobre texto en inglés.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there... [slow, deadly serious] <emphasis>do not open that door.</emphasis>

El par <emphasis>...</emphasis> es una etiqueta con alcance limitado: dirige solo las palabras que quedan entre la etiqueta de apertura y la de cierre, en lugar del resto de la línea.

Emocionado	Triste	Susurrante

Preajustes de tono de la página de producto de Drama 3. Fish Audio demuestra la misma línea de referencia leída en S2.1 Pro y en Drama 3, y las diferencias aparecen en la segunda dirección de cada línea, que es donde la voz se quiebra, se apaga o da paso a una risa.

Robustez de pronunciación

Fish Audio informa que Drama 3 ocupa el primer lugar en el benchmark Pronunciation Robustness de Artificial Analysis, que evalúa palabras difíciles, números, códigos y lecturas que dependen del contexto dentro de frases en inglés, y cuenta con oyentes humanos que verifican cada una:

El cambio de diseño detrás de las cifras está en el entrenamiento: la mayoría de los modelos de voz se ajustan con recompensas por ser fáciles de transcribir y por sonar como el clip de referencia, lo que penaliza una risa o un susurro. Drama 3 se ajusta en cambio contra un modelo de preferencia sobre las tomas, de modo que una lectura expresiva no se penaliza como un error de transcripción.

Cómo ejecutarlo

• Pesos abiertos. El modelo completo está en Hugging Face, y Fish Audio documenta cómo ejecutarlo mediante SGLang-Omni desde el día del lanzamiento con sgl-omni serve --model-path fishaudio/drama-3.
• ComfyUI. Los nodos asociados de Fish Audio en el núcleo de ComfyUI ("Fish Audio Text to Speech") exponen Drama 3 como opción de modelo desde el 13 de octubre de 2026, junto a las opciones existentes s2.1-pro y s1. Estos nodos llaman a la API de Fish Audio, así que necesitan una clave API en lugar de una GPU local.
• Alojado. El modelo también está disponible en la aplicación de texto a voz de Fish Audio para web, iOS y Android.

Disponibilidad

Pesos: fishaudio/drama-3 en Hugging Face. Guía de despliegue: Drama 3 Cookbook. Página de producto: fish.audio/drama-3.