LongCat Video Avatar 1.6、トーキングアバターを10分以上維持

ComfyUI Wikinews

MeituanのLongCat Video Avatar 1.6は、1枚の写真と音声トラックから10分を超えるリップシンク済みアバター動画を生成します。より高速な8ステップ経路とINT8重みを備えています。

LongCat-Video-Avatar 1.6 が公開されました。Meituanの音声駆動アバターモデルは、生成動画が10分を超えても顔と体を安定させたまま維持し、より高速な8ステップ経路で動作します。公開日は11月13日で、Avatar 1.5から4か月後のことです。
LongCat-Video-Avatar 1.6 プレビュー

1.6のプレビュークリップからのフレーム: 1枚のポートレートと1本の音声トラック。

1.6での変更点

項目1.6
唇と口の動き不自然に歪んだり赤く目立ちすぎる口の形が減少し、口周辺のちらつきも低減
長尺クリップ自己回帰的なエラー蓄積を抑え、同一性と体の構造を保ったまま10分を超える動画を生成可能
速度エンドツーエンドのパイプラインとフレーム単位の実行を最適化。新たに学習するモデルはありません
デプロイオプションの重みのみINT8 DiT、およびTransformer Engine向けのFP8フラグ

1.6は1.5と同じベースアーキテクチャで動作し、2つのアダプター構成を維持しています。最初のパス用のDMD LoRAと残りのパス用のOPSD LoRAを、ステップごとに混ぜて使います。デフォルトの8ステップ設定では、最初の4ステップがDMDのみ、最後の4ステップがOPSDのみです。--mix_steps または --mix_alpha を上げると、序盤でDMDの影響をより強くできます。

デモ動画

モデルカードに掲載された継続テスト。クリップは劣化せずに続いていきます。

発話だけでなく、音声のみから歌唱やパフォーマンスも駆動します。

比較

Meituanは15組のモデルペアリングに対して33,051票のペアワイズ人間投票アリーナを実施しました。1.6はOmniHuman-2.0に次ぐ2位で、1.5との差はわずか16 Eloです。

順位モデルArena Elo
1OmniHuman-2.0(クローズド)1236.7
2LongCat-Video-Avatar 1.6(オープン)1068.1
3LongCat-Video-Avatar 1.5(オープン)1051.8
4HeyGen(クローズド)906.4
5OmniHuman-1.5(クローズド)880.6
6Kling Avatar 2.0(クローズド)854.7
アリーナのリーダーボード

1.6のモデルカードで公開されたリーダーボード。

同じ入力、3つのシステム、それぞれ1フレーム:

LongCat-Video-Avatar 1.6OmniHuman-2.0HeyGen
LongCat 1.6 の出力OmniHuman-2.0 の出力HeyGen の出力

実行に必要なもの

  • BF16 DiTは6つのシャードで約30 GB。オプションのINT8 DiTでは約15 GBまで削減されます。
  • 2つのLoRAはそれぞれ2.35 GBで、リポジトリにはWhisper-large-v3音声エンコーダーとボーカル分離器が同梱されています。
  • 公式のデモコマンドは、コンテキストパラレルで2つのGPUにわたるtorchrunを使用します。3つ以上のGPUではLONGCAT_A2A_WORKSPACE=1によりAll-to-Allワークスペースが得られます。
  • --use_int8と--use_fp8は併用しないでください。FP8にはTransformer Engineが必要で、--compile_ditは各入力形状の初回実行時にトレースのコストがかかります。

ComfyUIの対応状況

ComfyUIのサポートは依然として1.5で止まっています。コミュニティパックComfyUI-LongCat-Avatar(★43)は新しいチェックポイント向けに更新されていないため、1.6のノード経路はまだありません。登場するまでの間、1.6は公式のPythonパイプラインで実行します。

入手方法

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
LongCat Video Avatar 1.6、トーキングアバターを10分以上維持 | ComfyUI Wiki