LongCat Video Avatar 1.6がComfyUIで動作可能に

ComfyUI Wikinews

Meituanの音声駆動アバターモデルがComfyUIで動作します: Comfy-Orgによる重みの再パッケージ化、コミュニティ製ネイティブノードパック、レビュー中のコアサポートを解説します。

LongCat Video Avatar 1.6にはComfyUIで動かす道筋があります。 Comfy-Orgが11月18日に重みを再パッケージ化し、コミュニティ製ノードパックは今日からモデルを実行でき、Kijaiによるコアサポートはレビュー受付中です。モデル自体は11月13日に公開されましたが、その時点では1.6用のノードパスはまだ存在しませんでした。
1つのトーキングアバタークリップの3セグメントそれぞれから2フレームずつ

93フレームの3セグメントそれぞれから2フレームずつ。各セグメントは前のセグメントの最後の13フレームから続きます。

3つの導入経路

経路状態内容
Comfy-Orgの重みダウンロード可能公式int8 DiT、2つのLoRA、Whisperエンコーダー、Wan 2.1の共有VAEとテキストエンコーダー
ComfyUI-LongCat-Avatar(コミュニティ)今日から動作Pedro(LatentSpacer)によるネイティブノードパック。8ステップ蒸留版と50ステップベース版の動画ノード
コアサポート(CORE-720、Kijai)PR 17831、オープンcomfy/ldm/wan/model_longcat.pyと音声エンコーダーの配線を追加。まだマージされていません

ノードパックはComfyUI-ManagerからLongCat Avatar Nativeとしてインストールするか、comfy node install longcat-avatar-nativeでインストールできます。ComfyUI 0.44でテスト済みで、ComfyUI本体以外のパッケージは不要です。

ダウンロードするもの

Comfy-Org/LongCat-Video-AvatarのフォルダーはComfyUI/modelsに対応しています:

ファイルフォルダーサイズ
longcat-avatar-1.6_int8_convrot.safetensorsdiffusion_models14.9 GiB
longcat-avatar-1.6_dmd_lora_rank128_bf16.safetensorsloras1.2 GiB
longcat-avatar-1.6_opsd_lora_rank128_bf16.safetensorsloras1.2 GiB
umt5_xxl_int8_convrotまたはumt5_xxl_fp16text_encoders5.3または10.6 GiB
whisper_large_v3_encoder_fp16.safetensorsaudio_encoders1.2 GiB
wan_2.1_vae.safetensorsvae242 MiB

テキストエンコーダーとVAEはWan 2.1のファイルなので、既存のComfyUI環境にはすでにある可能性が高いです。

4090 1枚での速度

移植版の作者は、768×512、int8 ConvRotとComfyUIのck attentionで、継続ステップあたり5.1秒を計測しました。253フレームのクリップ(10.1秒の音声)を3セグメントに分けて処理すると約162秒かかりました。またW6A8とW4A8のコピーも公開しており、それぞれ12.3 GiBと8.8 GiB(int8は14.9 GiB、bf16は29.5 GiB)で、どちらのLoRAもすべてのバリアントに適用できます。

赤いジャケットの男性が煙るステージでマイクに向かって歌う

ノードパックによる1本のクリップ。3セグメントすべてで口が音声に追従します。

ベースの50ステップノードはテキストガイダンスと音声ガイダンス付き、LoRAなしで動作し、各ステップでモデルを3回実行するため、蒸留版の経路より何倍も遅くなります。

入手先

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
LongCat Video Avatar 1.6がComfyUIで動作可能に | ComfyUI Wiki