MiniMax H3 VFX Edit LoRA、プロンプト指示による動画編集を実現

このリポジトリは、9月に以前取り上げた H3 シャープネス LoRA と同じもので、H3 LoRA パックの中でも特に多く使われているものの一つです。執筆時点で約239のいいねと26,600のダウンロードを記録しています。すべてのモデルは H3 の ref2va 重みに対してトレーニングされており、共通の条件付けの仕組みを採用しています。すなわち、ソースクリップはコアの MiniMaxH3AddGuide ノードを通じて frame_idx = 0 でアラインメントされたガイドとして注入されるため、モデルはオリジナルのテイクを緩い動画参照としてではなく、フレームアラインされた状態で認識します。

パックの内容

LoRA とあわせて、別途潜在アップスケーラーの実験も公開されています。VFX Edit の重みは2026年9月21日にアップロードされました。

VFX Edit

VFX Edit は目玉となる追加機能です。クリップと一文の指示を与えると、その変更だけを適用した同じテイクを返します。

vfx_edit: Add fire effects to the man's hands while preserving his identity, pose, motion, clothing, framing, lighting and background.

ドキュメントが推奨するパターンは、まず編集内容を述べ、次に保持すべき要素を列挙するというもので、置き換えるべき領域そのものを保持するようモデルに求めてはいけません。2つのバージョンが公開されています。

• スタンダード（r128）は、73フレームのクリップを用いて384の解像度バケットでトレーニングされており、画像参照は不要です。
• FFP（r128_ffp、first-frame propagate）はそのトレーニングを124フレームのクリップで512のバケットに続けて行い、編集済みのファーストフレームを H3 ネイティブの画像参照チャンネル経由で送り込む実験的なサポートを追加します。画像を指定する場合、プロンプトで <Picture 1> を明示的に指定し、その役割を説明する必要があります。指定しない場合は、プロンプトで <Picture 1> や <Subject 1> に一切言及してはいけません。

実行するには、ソースクリップ全体を動画参照スロットではなく MiniMaxH3AddGuide に入れ、ソースのアスペクト比とサポートされているフレーム数に合わせ、LoRA 強度 1.0 から始めます。公開されている制限事項は、これが何ではないかについて正直に述べています。すなわち、人物の同一性のドリフト、テキストやロゴの書き換わり、細部の弱さ、長いクリップでの結果の悪化です。これはコンポジターではなく、ピクセル単位での完全な保持を保証するものでもありません。

リポジトリの VFX Edit サンプルクリップ	2つ目の VFX Edit サンプル

Style Transfer と Head Swap

Style Transfer は、モーション、フレーミング、タイミングを維持しながらクリップ全体のスタイルを変更します。ソース動画は MiniMaxH3AddGuide に入れ、スタイル画像はネイティブ参照チャンネルに <Picture 1> として、強度 1.0 で入れます。スタイルがオリジナルのモーションを上書きし始める場合は、およそ 0.7 まで下げます。テキストのみのスタイルプロンプトは、ベースモデルがすでに知っている外観に対しては機能します。ドキュメントでは、参照画像と一緒にアーティスト名を指定しないよう警告しています。テキストが画像を圧倒する可能性があるためです。

Head Swap は実験的とされており、2つの条件付けパスを異なる役割で使用します。置き換える顔はネイティブ参照チャンネルを <Picture 1> / <Subject 1> として通り、完全なベース動画は MiniMaxH3AddGuide を frame_idx = 0 で <Video 1> として通ります。ベース動画をネイティブの動画参照チャンネル経由にしてはいけません。ドキュメントには明確な責任ある利用に関する注意も記載されています。研究および創作目的に限り、なりすまし、詐欺、欺瞞は禁止です。

リポジトリの Style Transfer サンプル

潜在アップスケーラーの実験

このパックでは、実験的な潜在アップスケーラーのチェックポイント h3_upscaler_lms_v0.1 もドキュメント化されています。これは LBH-123-AI latent upscaler を出発点とし、LMS LoRA と同じシャープネスデータセットで2,000ステップのファインチューニングを行ったものです。同じ重みは latent_upscaler/ と experiments/ の2か所に公開されており、ガイドでは、専用のサンプル動画やワークフローがまだアップロードされていないことが明確に述べられています。

入手方法

LoRA は リポジトリ からダウンロードし、ComfyUI/models/loras/ に配置して、workflows/ フォルダーから対応するワークフローを読み込みます。各ワークフローには必要なモデルが記載されています。LoRA の条件付けパス自体はコアの MiniMax H3 ノード（MiniMaxH3AddGuide を含む）で動作しますが、同梱のサンプルワークフローは動画の読み込み、フレームのリサイズ、latent アップスケーラーにサードパーティのノードパックも使用するため、各ワークフローに記載された不足ノードをインストールしてください。