LongCat-Avatar: Meituanの音声駆動アバター動画モデル
LongCat-AvatarはMeituanのオープンな音声駆動アバターモデルです。1枚の写真と音声からリップシンクされたトーキング動画を生成し、バージョン1.6では10分を超える生成でも人物同一性を維持します。
LongCat-Avatar
AvatarAudio-to-VideoLip SyncVideo GenerationLongCat-Videoを基盤としたMeituanの音声駆動アバター動画モデルです。1枚の写真と音声トラックからリップシンクされたトーキング動画を生成し、Audio-Text-to-VideoとAudio-Text-Image-to-Video、さらに既存動画の続き生成に対応しています。単一の音声ストリームでも複数でも動作します。バージョン1.6では、高速化された8ステップのパスで10分を超える生成動画でも顔と体の安定性を維持します。
| Developer | Meituan |
| Release Date | 2026-11 (1.6)、2026-05 (1.5)、2025-12 (オリジナル) |
| Base Model | LongCat-Video |
| License | MIT |
| Capabilities | 音声テキストから動画へ、音声テキスト画像から動画へ、動画の継続生成 |
| Audio Input | 単一または複数の音声ストリーム |
| Audio Encoder | Whisper-Large (1.5) |
| Inference | 8ステップの蒸留パス: 前半ステップはDMD LoRA、後半ステップはOPSD LoRA |
LongCat-Avatarとは?
LongCat-Avatarは、LongCat-Video基盤モデル上に構築された、音声駆動の人物動画のためのMeituanのオープンなフレームワークです。1枚の写真と音声トラックを与えると、リップシンク、人物同一性の保持、長尺クリップにわたる全身の時間的安定性を備えたトーキングアバターを生成し、複数話者の入力のために複数の音声ストリームも受け付けます。
バージョン1.5では、オリジナルのWav2Vec2エンコーダをWhisper-Largeに置き換えて口唇の動きを滑らかにするとともに、視覚的な忠実度を損なわずにサービス提供コストを抑える8ステップのDMD2蒸留推論パスを追加しました。このリリースは、アニメ、動物、複数人のインタラクション、オブジェクトの操作など、様式化された領域にも汎化します。
バージョン1.6
1.6は新しい機能ではなく、3つの課題に焦点を当てています。口唇の動きが洗練され(こわばった口元や赤みの強すぎる口の形が減り、ちらつきも抑えられます)、自己回帰的な誤差の蓄積が削減されたことで10分を超えるクリップでも顔が流れることなく生成でき、パイプライン自体も高速化されています。アーキテクチャは1.5から変わっていないため、新しいモデルファミリーではなく、既存パイプライン向けのcheckpointの差し替えとなります。
引き続き2つのタスクLoRAを同梱します。DMDが前半のdenoiseステップを、OPSDが後半のステップを担当し、--mix_steps と --mix_alpha で混合します。デフォルトの8ステップ設定ではそれぞれ4ステップを使用します。オプションのweight-only INT8 DiTを使うと、diffusionの重みを約30 GBから15 GBに削減できます。
ComfyUIのサポートはまだ追いついていません。コミュニティのComfyUI-LongCat-Avatarパックは1.5のみに対応しています。リリースの詳細と比較動画はLongCat Video Avatar 1.6をご覧ください。
Guides and workflows related to this model series.
コメント
GitHubでサインインしてディスカッションに参加しましょう。