LongCat-Avatar: Meituanの音声駆動アバター動画モデル
ComfyUI Wiki
LongCat-AvatarはMeituanのオープンな音声駆動アバターモデルで、1枚の写真と音声からリップシンクされた動画を生成し、8ステップのDMD2蒸留推論に対応します。
L
LongCat-Avatar
AvatarAudio-to-VideoLip SyncVideo GenerationLongCat-Videoを基盤としたMeituanの音声駆動アバター動画モデルです。1枚の写真と音声トラックからリップシンクされたトーキング動画を生成し、Audio-Text-to-VideoとAudio-Text-Image-to-Video、さらに既存動画の続き生成に対応しています。単一の音声ストリームでも複数でも動作します。バージョン1.5ではWhisper-Large音声エンコーダを採用し、8ステップのDMD2蒸留推論を追加しました。
| Developer | Meituan |
| Release Date | 2026-05 (1.5)、2025-12 (オリジナル) |
| Base Model | LongCat-Video |
| License | MIT |
| Capabilities | 音声テキストから動画へ、音声テキスト画像から動画へ、動画の継続生成 |
| Audio Input | 単一または複数の音声ストリーム |
| Audio Encoder | Whisper-Large (1.5) |
| Inference | rank-128の蒸留LoRAを用いた8ステップのDMD2蒸留パス |
LongCat-Avatarとは？
LongCat-Avatarは、LongCat-Video基盤モデル上に構築された、音声駆動の人物動画のためのMeituanのオープンなフレームワークです。1枚の写真と音声トラックを与えると、リップシンク、人物同一性の保持、長尺クリップにわたる全身の時間的安定性を備えたトーキングアバターを生成し、複数話者の入力のために複数の音声ストリームも受け付けます。
バージョン1.5では、オリジナルのWav2Vec2エンコーダをWhisper-Largeに置き換えて口唇の動きを滑らかにするとともに、視覚的な忠実度を損なわずにサービス提供コストを抑える8ステップのDMD2蒸留推論パスを追加しました。このリリースは、アニメ、動物、複数人のインタラクション、オブジェクトの操作など、様式化された領域にも汎化します。
Guides and workflows related to this model series.
No articles found.
コメント
GitHubでサインインしてディスカッションに参加しましょう。