Fish Audio Drama 3:可执导的 35B 开放权重 TTS 模型

ComfyUI Wikinews

Fish Audio 发布 Drama 3,这是一款 35B MoE 文本转语音模型,能够遵循方括号中的表演指令,开放权重并提供 ComfyUI 合作节点。

<strong>Drama 3</strong> 是 Fish Audio 的新一代文本转语音模型,于 2026 年 10 月 13 日发布。它是一款开放权重的 35B 混合专家模型,专为多角色场景打造,并接受用自然语言书写的表演指令:在某句台词前加上 [choked up, crying quietly] 会改变该句的朗读方式。ComfyUI 的 Fish Audio 合作节点在同一天通过 Comfy-Org/ComfyUI#16999 增加了 Drama 3 选项。
Fish Audio Drama 3

Drama 3 是什么

Drama 3 是一款混合专家(MoE)文本转语音模型,拥有 35B 参数的文本主干,每个 token 激活 3B 参数,采用全注意力与线性注意力混合的架构。音频由一个 codebook-MTP 解码器生成,该解码器在整个序列上以因果方式解码 10 个 codebook;专家权重以 FP8 存储,剩余权重为 bf16。发布的模型包包含八个 safetensors 分片和一个 1.9 GB 的编解码器,磁盘占用约 40 GB。

有两点让它区别于普通的语音克隆模型:

  • 说话人标签。 <|speaker:0|> 到 <|speaker:15|> 让一段文本最多承载 16 个角色,因此对白场景可以作为单条流生成,而不必拼接多次录制。当连接多个音色时,ComfyUI 节点会用 @Voice1、@Voice2 这类 token 标记说话人切换。
  • 长文本处理。 长文本会自动分块,并可逐块流式输出,面向的是有声书、配音和广播剧,而非单句朗读。Drama 3 支持 83 种语言。

指导表演

表演指令写在方括号里,用你对演员说话的方式来写,并且可以放在台词的任何位置,让朗读在情绪转变处随之变化。指令不必与台词的语言一致:发布示例在英文文本上使用了中文、西班牙语和日语的指令。

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there... [slow, deadly serious] <emphasis>do not open that door.</emphasis>

<emphasis>...</emphasis> 是一对作用域标签:它只作用于开始标签与结束标签之间的词语,而不影响该行的其余部分。

兴奋语气悲伤语气耳语语气
兴奋悲伤耳语

语气预设来自 Drama 3 产品页面。Fish Audio 演示了同一句参考台词在 S2.1 Pro 和 Drama 3 上的朗读,差异出现在每句的第二个指令处,也就是声音哽咽、变轻或转为笑声的地方。

发音稳健性

Fish Audio 称 Drama 3 在 Artificial Analysis 的发音稳健性基准测试中排名第一。该测试考察英文句子中的难词、数字、代码以及依赖上下文的读法,并由人工听审逐一核对:

朗读内容Drama 3Fish Audio S2.1 Pro
品牌、地名和技术术语名称95.9%87.3%
读法依赖上下文的词95.3%86.1%
缩写形式:数字、日期、单位、符号93.6%92.7%
精确序列:代码、路径、电子邮件86.3%79.4%
总体93.2%88.1%

这些数字背后的设计变化体现在训练上:大多数语音模型以易于转写、听感接近参考音频作为奖励来调优,这会压低笑声或耳语。Drama 3 则改为针对不同的演绎版本用偏好模型来调优,因此富有表现力的朗读不会被当作转写错误而受到惩罚。

如何运行

  • 开放权重。 完整模型位于 Hugging Face,Fish Audio 从发布当天起就提供了通过 SGLang-Omni 运行的文档,命令为 sgl-omni serve --model-path fishaudio/drama-3。
  • ComfyUI。 自 2026 年 10 月 13 日起,ComfyUI 核心中的 Fish Audio 合作节点(“Fish Audio Text to Speech”)已将 Drama 3 作为模型选项提供,与现有的 s2.1-pro 和 s1 并列。这些节点调用 Fish Audio API,因此需要 API 密钥,而不是本地 GPU。
  • 托管服务。 该模型也已在 Fish Audio 自家的 Web、iOS 和 Android 文本转语音应用中上线。

获取方式

权重:Hugging Face 上的 fishaudio/drama-3。部署指南:Drama 3 Cookbook。产品页面:fish.audio/drama-3。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Fish Audio Drama 3:可执导的 35B 开放权重 TTS 模型 | ComfyUI Wiki