TaoMate-H3-FL2VA: MiniMax H3向けストリーミング初/最終フレームLoRA

AlibabaのTaoLive AIGCチームは10月15日、TaoMate-H3-FL2VAをリリースしました。これはMiniMax H3向けのストリーミングTaoMate-H3ランタイムに初/最終フレーム制御を追加する3ステップLoRAです（weights | code）。チームはこれを「我々の知る限り、初のリアルタイムストリーミング初/最終フレームから音声・動画（FL2VA）へのモデル」と呼んでいます。生成は依然としてブロック単位であり、永続的な音声・動画KVキャッシュを保持しますが、クリップは指定した最初のフレームから始まるだけでなく、指定した最後のフレームに着地する必要があります。

seated_001 FL2VA例の公式プレビュー: 最初と最後のキーフレームから生成された30秒のストリーミングクリップ。

以前のT2AVリリースはプロンプトのみから生成していました。FL2VAは同じランタイムにグローバルな終点到達期限を追加するため、3ステップのデノイズブロックは最終キーフレームに到達しつつ、音声、効果音、動画が1つの同期したタイムライン上に保たれる必要があります。

seated_001の公式30秒比較: 3つの連続したストリーミングリクエストで770フレームを生成。

リリース内容

• TaoLiveAIGC/TaoMate-H3-FL2VAのFL2VA LoRAアダプター: rank 128、alpha 128、step-300のオンライン生成器の重みをfloat32で保持。アダプターはT2AVリリースと同じ3ファイル構成（config.json、adapter_config.json、adapter_model.safetensors）で提供され、オプティマイザの状態、EMA、トレーニング専用のスコアモデルは除外されています。T2AVアダプターはstep-3000の生成器EMAチェックポイントでした。
• TaoMate-H3リポジトリのsrc/taomate-fl2avにある専用のFL2VA推論サブプロジェクト: 1つの実用例seated_001（家庭のリビングルームでの座ったプレゼンテーション）を含みます。

3つのモードはすべて24 fps、768x1376で、3ステップのデノイズ、最新7つのクリーンなAV-KVウィンドウ、ワンショットのクリップ全体デコードで実行されます。文書化された30秒の実行では、step-300のオンライン生成器LoRA、85フレームの最終ブロック、音声用に凍結されたBase10ティーチャーを使用しています。

このサンプルケースには2つのキーフレームが付属しているため、条件付け入力はREADMEに記載されているだけではなく、計測された実行の一部となっています。

ComfyUIでの実行

FL2VAのパスはすでにComfyUIコアに存在します。MiniMax H3 画像から動画へノードは、プロンプト、幅、高さ、フレーム長に加えてオプションのfirst_frameとlast_frame入力を受け取り、ポジティブ条件付けと音声・動画潜在を返します。t2vaとfl2vaの両方の条件付けを処理します。アダプターをローカル生成に使用するために、ストリーミングランタイム、ステージ並列ランチャー、マルチGPU構成は必要ありません。アダプター自体はComfyUIのキーレイアウトである必要があり、コミュニティによる変換はリリースから数時間以内に登場しました。

• **KijaiのMiniMax-H3-experimental**リポジトリにはminimax_h3_taomate_fl2va_3step_avg_rank_19_bf16.safetensors（約176 MB）が含まれています。これはランク平均化ビルドで、他のMiniMax H3実験的LoRAの隣に配置されています。
• austinit/TaoMate-H3-FL2VA-ComfyUIは、完全なrank-128 BF16ビルド（1.24 GB）と平均rank-19 BF16ビルド（169 MB）の両方を公開しています。アップロードした人は3ステップ、CFG 1.0、LoRA強度1.0、Eulerサンプラーから開始することを推奨しており、小さい方のビルドはテストで正常に動作したと報告しています。
• Robert1212star/TaoMate-H3-3Step-ComfyUIは、すでにT2AV変換をホストしていたリポジトリで、同日にFL2VAの重みをBF16（約1.24 GB）で追加しました。

コミュニティの反応

r/StableDiffusionでの議論は、TaoMate 3ステップファミリーを日常的に使えるMiniMax H3アクセラレータとして捉えています。あるコメント投稿者は「生成の99%」で使う定番LoRAと呼び、別の投稿者はLoRA強度を0.6に下げ、er_sdeでBetaサンプラーに切り替えたところ、より自然な動きが得られたと報告しています。リファイナーパスとして使用する場合は、以前のT2AVアダプターを好む人もいます。速く大きな動きはこのファミリーの既知の弱点であり、コメント投稿者たちはダンスや激しいアクションショットが劣化すると報告しており、これはT2AVの記事とも一致します。あるテスターは、FL2VAアダプターカードにoptimizer_step: 300と記載されているのに対し、T2AVリリースはstep 3000であるため、新しいアダプターはより長い実行ではなく短い実行であると指摘しました。

入手方法

公式ランタイムはLinux専用で、NVIDIA Hopper（SM90）GPUを対象としています。リポジトリではFL2VAの例を、8基のGPU上でTP2とSP4のシーケンス並列を用いたシングルノード実行として文書化しており、4基および8基のGPU構成の両方でシングルノード推論が可能です。ComfyUIユーザーは、MiniMax H3ベースモデルと上記のLoRA変換のいずれか1つがあれば十分です。同じファミリーの参照から音声・動画（Ref2AV）の重みは、まだ保留中として記載されています。