Tencent AuK: 音声生成と編集を1モデルでこなす1.5Bモデル

概要

AuKは、数百万時間におよぶ多様な音声でトレーニングされています。音声処理を別々のツール(TTS用、クリーニング用、ステム分離用)に分割するのではなく、AuKはすべてのタスクを同じメッセージベースのインターフェースの背後に置きます。自然言語で指示を渡し、必要に応じて音声クリップを添付すれば、あとはモデルが処理します。プロジェクトの技術レポートでは、生成、編集、強調、分離にわたるベンチマークが説明されています。

AuKがサポートする5つのタスクファミリーにわたるベンチマーク結果。

2つのバリアントが利用可能です。

サポートされるタスク

すべてのタスクは同じ自然言語指示フォーマットを共有します。主なポイント:

• ゼロショットTTS: 参照クリップの声でターゲットテキストを読み上げる、または参照音声なしで声を記述する(instruct TTS)
• コンテンツ編集: 発話内容を書き換え、単語を置換、挿入、削除する。歌唱録音の歌詞を、メロディと声を保ったまま書き換えることも可能
• 音響編集: 半音単位のピッチ、話速、音量の調整
• パラ言語編集: 感情や音色の変更、アクセントの削除、息遣いや笑い声の追加・削除、通常の音声とささやき声の相互変換
• 強調と分離: ノイズ除去と残響除去、ミックスから1人の話者を保持、音楽からのボーカル抽出、発話内容によるターゲット話者の分離

AuKのアーキテクチャ。diffusion transformerとlayer-fusionの重みはcheckpointに含まれ、MLLMエンコーダ(Qwen2.5-Omni-3B)とVAEは別ファイルとして読み込まれます。

ComfyUIのサポート

公式リポジトリにはComfyUI統合が含まれており、AuK Model LoaderとAuK Generate / Editという2つのコアノードが生成、編集、強調、分離をカバーします。オプションのPrompt Enhancerは、自由形式のリクエストをOpenAI互換のLLMを使ってすぐに実行できる指示へと変換します。

セットアップはリポジトリのComfyUIガイドに従います:

1. ComfyUIを実行しているPython環境にcomfyui extraをインストールします: pip install -e ".[comfyui]"
2. comfyui/ComfyUI-AuKをComfyUI/custom_nodesにリンクします
3. 重みをダウンロードします: AuK(またはAuK-Flash)とQwen2.5-Omni-3Bエンコーダ
4. 同梱のauk.jsonワークフローを開き、AuK Model Loaderでパスを設定します

実行前に知っておくべきこと:

• 30秒の制限: ソース/参照音声と生成されたターゲットを合計して30秒以内に収める必要があります。このノードは長い音声を自動的に分割しません
• Flashの設定: AuK-Flashではローダーでnfe_steps=4、cfg_strength=0、sway_sampling_coef=-1を設定します
• メモリ: モデルは選択したデバイス上に常駐し続けます。これらのノードではComfyUIの自動VRAMオフロードはサポートされません
• PEの認証情報: Prompt EnhancerはOpenAI互換の.envを読み込みます。これはComfyUIを起動する前に読み込む必要があります

入手方法

AuKとAuK-Flashの重みはMITライセンスの下、Hugging FaceとModelScopeで公開されており、コードはTencent-Hunyuan/AuKにあります。インタラクティブなデモはHugging Face SpaceとModelScope Spaceで実行できます。SGLang-Omniは両バリアントについてday-0のサービングサポートを発表しました。