LongCat Video Avatar 1.6、トーキングアバターを10分以上維持
ComfyUI Wikinews
MeituanのLongCat Video Avatar 1.6は、1枚の写真と音声トラックから10分を超えるリップシンク済みアバター動画を生成します。より高速な8ステップ経路とINT8重みを備えています。
LongCat-Video-Avatar 1.6 が公開されました。Meituanの音声駆動アバターモデルは、生成動画が10分を超えても顔と体を安定させたまま維持し、より高速な8ステップ経路で動作します。公開日は11月13日で、Avatar 1.5から4か月後のことです。
1.6のプレビュークリップからのフレーム: 1枚のポートレートと1本の音声トラック。
1.6での変更点
| 項目 | 1.6 |
|---|---|
| 唇と口の動き | 不自然に歪んだり赤く目立ちすぎる口の形が減少し、口周辺のちらつきも低減 |
| 長尺クリップ | 自己回帰的なエラー蓄積を抑え、同一性と体の構造を保ったまま10分を超える動画を生成可能 |
| 速度 | エンドツーエンドのパイプラインとフレーム単位の実行を最適化。新たに学習するモデルはありません |
| デプロイ | オプションの重みのみINT8 DiT、およびTransformer Engine向けのFP8フラグ |
1.6は1.5と同じベースアーキテクチャで動作し、2つのアダプター構成を維持しています。最初のパス用のDMD LoRAと残りのパス用のOPSD LoRAを、ステップごとに混ぜて使います。デフォルトの8ステップ設定では、最初の4ステップがDMDのみ、最後の4ステップがOPSDのみです。--mix_steps または --mix_alpha を上げると、序盤でDMDの影響をより強くできます。
デモ動画
モデルカードに掲載された継続テスト。クリップは劣化せずに続いていきます。
発話だけでなく、音声のみから歌唱やパフォーマンスも駆動します。
比較
Meituanは15組のモデルペアリングに対して33,051票のペアワイズ人間投票アリーナを実施しました。1.6はOmniHuman-2.0に次ぐ2位で、1.5との差はわずか16 Eloです。
| 順位 | モデル | Arena Elo |
|---|---|---|
| 1 | OmniHuman-2.0(クローズド) | 1236.7 |
| 2 | LongCat-Video-Avatar 1.6(オープン) | 1068.1 |
| 3 | LongCat-Video-Avatar 1.5(オープン) | 1051.8 |
| 4 | HeyGen(クローズド) | 906.4 |
| 5 | OmniHuman-1.5(クローズド) | 880.6 |
| 6 | Kling Avatar 2.0(クローズド) | 854.7 |
1.6のモデルカードで公開されたリーダーボード。
同じ入力、3つのシステム、それぞれ1フレーム:
| LongCat-Video-Avatar 1.6 | OmniHuman-2.0 | HeyGen |
|---|---|---|
実行に必要なもの
- BF16 DiTは6つのシャードで約30 GB。オプションのINT8 DiTでは約15 GBまで削減されます。
- 2つのLoRAはそれぞれ2.35 GBで、リポジトリにはWhisper-large-v3音声エンコーダーとボーカル分離器が同梱されています。
- 公式のデモコマンドは、コンテキストパラレルで2つのGPUにわたる
torchrunを使用します。3つ以上のGPUではLONGCAT_A2A_WORKSPACE=1によりAll-to-Allワークスペースが得られます。 --use_int8と--use_fp8は併用しないでください。FP8にはTransformer Engineが必要で、--compile_ditは各入力形状の初回実行時にトレースのコストがかかります。
ComfyUIの対応状況
ComfyUIのサポートは依然として1.5で止まっています。コミュニティパックComfyUI-LongCat-Avatar(★43)は新しいチェックポイント向けに更新されていないため、1.6のノード経路はまだありません。登場するまでの間、1.6は公式のPythonパイプラインで実行します。
入手方法
- 重み: meituan-longcat/LongCat-Video-Avatar-1.6
- 完全な比較動画のあるプロジェクトページ: LongCat-Video-Avatar 1.6
- 推論コードとテクニカルレポート: meituan-longcat/LongCat-Video
コメント
GitHubでサインインしてディスカッションに参加しましょう。