LongCat-Avatar: Meituanの音声駆動アバター動画モデル

ComfyUI Wiki

LongCat-AvatarはMeituanのオープンな音声駆動アバターモデルです。1枚の写真と音声からリップシンクされたトーキング動画を生成し、バージョン1.6では10分を超える生成でも人物同一性を維持します。

L

LongCat-Avatar

AvatarAudio-to-VideoLip SyncVideo Generation

LongCat-Videoを基盤としたMeituanの音声駆動アバター動画モデルです。1枚の写真と音声トラックからリップシンクされたトーキング動画を生成し、Audio-Text-to-VideoとAudio-Text-Image-to-Video、さらに既存動画の続き生成に対応しています。単一の音声ストリームでも複数でも動作します。バージョン1.6では、高速化された8ステップのパスで10分を超える生成動画でも顔と体の安定性を維持します。

DeveloperMeituan
Release Date2026-11 (1.6)、2026-05 (1.5)、2025-12 (オリジナル)
Base ModelLongCat-Video
LicenseMIT
Capabilities音声テキストから動画へ、音声テキスト画像から動画へ、動画の継続生成
Audio Input単一または複数の音声ストリーム
Audio EncoderWhisper-Large (1.5)
Inference8ステップの蒸留パス: 前半ステップはDMD LoRA、後半ステップはOPSD LoRA

LongCat-Avatarとは?

LongCat-Avatarは、LongCat-Video基盤モデル上に構築された、音声駆動の人物動画のためのMeituanのオープンなフレームワークです。1枚の写真と音声トラックを与えると、リップシンク、人物同一性の保持、長尺クリップにわたる全身の時間的安定性を備えたトーキングアバターを生成し、複数話者の入力のために複数の音声ストリームも受け付けます。

バージョン1.5では、オリジナルのWav2Vec2エンコーダをWhisper-Largeに置き換えて口唇の動きを滑らかにするとともに、視覚的な忠実度を損なわずにサービス提供コストを抑える8ステップのDMD2蒸留推論パスを追加しました。このリリースは、アニメ、動物、複数人のインタラクション、オブジェクトの操作など、様式化された領域にも汎化します。

バージョン1.6

1.6は新しい機能ではなく、3つの課題に焦点を当てています。口唇の動きが洗練され(こわばった口元や赤みの強すぎる口の形が減り、ちらつきも抑えられます)、自己回帰的な誤差の蓄積が削減されたことで10分を超えるクリップでも顔が流れることなく生成でき、パイプライン自体も高速化されています。アーキテクチャは1.5から変わっていないため、新しいモデルファミリーではなく、既存パイプライン向けのcheckpointの差し替えとなります。

引き続き2つのタスクLoRAを同梱します。DMDが前半のdenoiseステップを、OPSDが後半のステップを担当し、--mix_steps と --mix_alpha で混合します。デフォルトの8ステップ設定ではそれぞれ4ステップを使用します。オプションのweight-only INT8 DiTを使うと、diffusionの重みを約30 GBから15 GBに削減できます。

ComfyUIのサポートはまだ追いついていません。コミュニティのComfyUI-LongCat-Avatarパックは1.5のみに対応しています。リリースの詳細と比較動画はLongCat Video Avatar 1.6をご覧ください。

Guides and workflows related to this model series.

No articles found.

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…