LanPaint 2.0.0: MiniMax H3ビデオ/オーディオインペイント

LanPaint は8月9日にバージョン2.0.0をリリースし、専用のMiniMax H3ビデオ/オーディオインペイントパイプラインを追加しました。LanPaintは、TMLR論文LanPaint: Training-Free Diffusion Inpainting with Asymptotically Exact and Fast Conditional Samplingのトレーニング不要インペイントサンプラーのComfyUI実装です。このメジャーバージョンでは、H3ビデオとその結合オーディオストリームを1回のパスで修復できます。

AVパイプラインの仕組み

新しいパイプラインは、1つのエディターセッションでビデオマスクとオーディオ区間をペイントし、両方のストリームを1つのネストされた潜在表現にエンコードして、1回のサンプラーパスを実行します。

1. LanPaint_VideoMaskEditor: ビデオを選択し、キーフレームにフレームごとのマスクをペイント（キーフレーム間はSDFで補間）し、波形上でオーディオ区間をドラッグします。マスク=1で再生成、0で保持します。
2. LanPaint_AVEncode: ビデオフレームとオーディオトラックを、マスクを付加した1つのネストされた潜在表現にエンコードします。
3. Sampler: 通常どおり実行します。オーディオストリームは、独自のシフトされたシグマスケジュールでノイズ除去されます。
4. LanPaint_AVDecode: マスクブレンド境界でインペイント済みビデオをオリジナルとマージし、マスクされた区間内のインペイント済みオーディオを短いクロスフェードでブレンドします。ソースのfpsとビット深度を保持します。

また、マスクをビデオ自体にエクスポートすることもできます。エディターのExport mask videoボタンは、マスクをファイルメタデータに埋め込んだ<name>_masked.mp4コピーをリマックスします。そのため、ペイントを失うことなく、マスクされたクリップを後で開き直したり共有したりできます。

ComfyUIでの使用方法

LanPaintを通常のカスタムノードとしてインストールします（ComfyUI Managerを使用するか、ComfyUI/custom_nodes/内でgit clone https://github.com/scraed/LanPaintを実行）。その後、MiniMax H3モデルファイルをダウンロードし、公式のAVインペイントの例を読み込みます。

LanPaint MiniMax H3 AVインペイントワークフローをダウンロード

このワークフローでは、**LanPaint Sampler Custom (Advanced)**ノードを使用します。参考までに、READMEのリソース表では、480p〜880p・20ステップで40〜81フレームのインペイントに約38〜43 GBのVRAMが必要とされています。そのため、24 GBのカードでは短いクリップを処理でき、VRAMの多い構成ではより長いクリップも処理できます。

入手方法

LanPaint 2.0.0は、無料のオープンソースComfyUI拡張です（GitHub、ComfyUI Registry）。この更新には、最新のComfyUIリリース向けの互換性修正も含まれています。サンプラーは、MiniMax H3に加えて、SDXL、Flux、Hunyuan、Qwen-Image、Krea 2、Z-Image、Ideogram 4、Wan 2.2のインペイントワークフローを引き続きサポートしています。