Fish Audio Drama 3: 연출 지시를 따르는 35B 오픈 웨이트 TTS 모델

Drama 3란 무엇인가

Drama 3는 35B 파라미터 텍스트 백본과 토큰당 3B 활성 파라미터를 사용하는 MoE 텍스트 음성 변환 모델로, 전체 어텐션과 선형 어텐션을 결합한 하이브리드 구조를 씁니다. 오디오는 전체 시퀀스에 걸쳐 10개의 코드북을 인과적으로 디코딩하는 codebook-MTP 디코더로 생성되며, expert 가중치는 FP8로, 나머지 가중치는 bf16으로 저장됩니다. 공개된 패키지는 8개의 safetensors 샤드와 1.9GB codec으로 구성되며, 디스크에서 차지하는 용량은 약 40GB입니다.

일반적인 음성 복제 모델과 구별되는 특징은 두 가지입니다.

• 화자 태그. <|speaker:0|>부터 <|speaker:15|>까지를 사용하면 하나의 텍스트로 최대 16명의 캐릭터를 담을 수 있어, 대화 장면이 여러 테이크를 이어 붙인 결과가 아니라 하나의 스트림으로 생성됩니다. ComfyUI 노드는 여러 음성이 연결된 경우 화자 변경을 @Voice1, @Voice2 형식의 토큰으로 표시합니다.
• 장문 처리. 긴 텍스트는 자동으로 분할되며 청크 단위로 스트리밍할 수 있습니다. 이는 일회성 문장보다 오디오북, 더빙, 오디오 드라마를 겨냥한 기능입니다. Drama 3는 83개 언어를 지원합니다.

연기 연출하기

연출 지시는 대괄호 안에 넣고, 배우에게 말하듯 작성합니다. 대사 어디에든 배치할 수 있어 분위기가 바뀌는 지점에서 읽는 방식이 전환됩니다. 연출 지시는 대사의 언어와 일치할 필요가 없습니다. 출시 예시에서는 영어 텍스트에 중국어, 스페인어, 일본어 지시를 사용했습니다.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there... [slow, deadly serious] <emphasis>do not open that door.</emphasis>

<emphasis>...</emphasis> 쌍은 범위 지정 태그로, 대사의 나머지가 아니라 여는 태그와 닫는 태그 사이의 단어에만 연출을 적용합니다.

흥분	슬픔	속삭임

Drama 3 제품 페이지의 톤 프리셋. Fish Audio는 동일한 참조 대사를 S2.1 Pro와 Drama 3에서 읽은 결과를 시연하는데, 차이는 각 대사의 두 번째 연출 지시에서 나타나며, 바로 그 지점에서 목소리가 갈라지거나 잦아들거나 웃음으로 바뀝니다.

발음 견고성

Fish Audio에 따르면 Drama 3는 Artificial Analysis의 발음 견고성 벤치마크에서 1위를 기록했습니다. 이 벤치마크는 영어 문장 안의 어려운 단어, 숫자, 코드, 문맥에 따라 달라지는 읽기를 테스트하고 사람 청취자가 각 항목을 직접 확인합니다.

이 수치를 뒷받침하는 설계 변화는 학습 방식에 있습니다. 대부분의 음성 모델은 전사하기 쉽고 참조 클립처럼 들리는 것에 보상을 주는 방식으로 튜닝되며, 이는 웃음이나 속삭임을 억누릅니다. 반면 Drama 3는 테이크에 대한 선호 모델을 기준으로 튜닝되므로, 표현력 있는 읽기가 전사 오류로 감점되지 않습니다.

실행 방법

• 오픈 웨이트. 전체 모델은 Hugging Face에 있으며, Fish Audio는 출시일부터 SGLang-Omni를 통해 sgl-omni serve --model-path fishaudio/drama-3로 실행하는 방법을 문서화했습니다.
• ComfyUI. ComfyUI 코어의 Fish Audio 파트너 노드("Fish Audio Text to Speech")는 2026년 10월 13일부터 기존 s2.1-pro와 s1 옵션과 함께 Drama 3를 모델 선택지로 제공합니다. 이 노드들은 Fish Audio API를 호출하므로 로컬 GPU가 아니라 API 키가 필요합니다.
• 호스팅. 이 모델은 Fish Audio 자체의 Text to Speech 앱(웹, iOS, Android)에서도 사용할 수 있습니다.

사용 가능 여부

가중치: Hugging Face의 fishaudio/drama-3. 배포 가이드: Drama 3 Cookbook. 제품 페이지: fish.audio/drama-3.