SolarRenderer: MiniMax H3による4ステップの構造レンダリング

SolarRendererは、構造動画をMiniMax H3上で完成映像に変換します。対象となる構造は、ゲームエンジンから出力したグレーのボックス、セマンティックセグメンテーションマップ、スケルトンの集合、デプスパス、SMPLボディメッシュ、あるいはモデルがトレーニングで見たことのないスケッチです。作業を行うのは2つのrank-384 LoRAです。1つは制御LoRAで、構造をH3自身の参照経路に供給します。もう1つは4ステップLoRAで、4回のサンプリングステップでクリップをレンダリングします。

このプロジェクトは、NUS、LIGHTSPEED、CUHK(SZ)、SLAI、HKUST(GZ)に所属するGuian Fang、Shengju Qian、Dongyue Lu、Junchao Huang、Lutao Jiang、Xin Wang、Yiren Song、Li Jiang、Mike Zheng Shouによるものです。重みは2026年10月13日にHugging Faceで公開され、トレーニングデータとベンチマークを備えたコードリポジトリが10月15日に続き、論文はarXiv 2610.28630です。

ベンチマークのグレーボックス城ケースのフレーム。構造動画に最初のフレームとプロンプトを加えた情報のみからレンダリングされています。

必要なものと得られるもの

入力は24 fpsで少なくとも158フレームを持つ構造動画、任意で指定できる希望のルックに合わせた最初の1フレーム、そしてプロンプトです。出力は24 fpsの158フレームで、横向き1344x768または縦向き768x1344、4ステップでサンプリングされます。それ以外のキャンバスサイズはリサイズおよびクロップされます。プロンプトは自由記述ではありません。モデルは6つの部分からなる1つの形式（被写体の定義、要約、保持分析、350〜500語の説明、サウンドスケープ、非劇伴音楽）でトレーニングされており、リポジトリには短い自由形式の一文でははるかにうまく機能しないと明記されています。

制御用LoRAは条件タイプのラベルを持ちません。構造フレームは、それが記述するフレームの位置でH3のネイティブな参照経路に入力され、プロンプトが構造を言葉で名指しします。これにより、単一のアダプターがトレーニングされていない構造表現もカバーできます。ベンチマークには16種類の構造がリストされており、そのうち11種類はトレーニングで未見のものです。論文のギャラリーでは、未見のものが機能している様子が示されています。鉛筆のストーリーボード、点群、ボクセル、ワイヤーフレーム、子供のクレヨン画などです。

158フレーム全体のサイバーパンクレンダリング。公開されたベンチマーク出力から再エンコードしたもの。

2つのLoRA、4ステップ、そしてストリーミング用のペア

制御用LoRAはrank 384で、構造動画をフレーム単位で揃えて注入します。4ステップLoRAもrank 384で、10月初旬からコミュニティがComfyUI向けに変換してきた4ステップH3蒸留であるDMADからファインチューニングされています。ここでは蒸留が構造ガイダンス付きで再トレーニングされ、4ステップの生徒モデルが制御動作を維持します。論文では、この経路が50ステップサンプリングより12.3倍高速であると測定されています。

両方のLoRAには、もう1つのブロック因果バージョンも用意されています。この因果ペアはクリップをブロック単位でレンダリングし、各ブロックは最大5つの潜在フレームで構成されます。各ブロックはプロンプト、最初のフレーム、直前6ブロックの構造、そしてすでにレンダリング済みの5ブロックを参照しますが、後続のブロックを参照することはありません。各ブロックは4ステップで処理された後、key/valueキャッシュにコミットされるため、ブロックは完成次第すぐに表示できます。また --seconds を使うと、6ブロックのウィンドウのメモリでレンダリングを構造動画の長さまで延長できます。

プロジェクトによるパイプライン: 構造動画を入力し、凍結されたH3バックボーン上で制御用LoRAと4ステップLoRAを適用、ストリーミング向けのブロック因果バリアント。

ComfyUI での実行

リポジトリには専用のノードパックが comfyui/ に含まれており、通常どおり custom_nodes/ にクローンして使います。レジストリへの登録はないため、ComfyUI Manager では見つかりません。動作には ComfyUI 自体の MiniMax H3 サポート（v0.30.0 以降）と Comfy-Org/MiniMax-H3 の重みを使用し、LoRA はリリースされたまま読み込まれます。ローダーが ComfyUI の重み名に対応付け、2 つを連結します。まず 4 ステップ LoRA、その次に control LoRA です。

ワークフローは 3 種類同梱されています。フル品質、低メモリ、長尺クリップの因果グラフです。ローカルのカードで注目したいのは低メモリのワークフローです。リポジトリの報告では、RTX 4080 や 4090 のような 16 GB のカードと 64 GB のシステムメモリを使い、ComfyUI を 14 GB の GPU メモリに抑えて完了し、CUDA コンテキストを含めたピークは 14.5 GB だったとのことです。すべてのモデルを載せられるカードでは、この経路はフル品質の約 2 倍の時間がかかります。

このパックは http://127.0.0.1:8188/solarrenderer でページも提供します。サンプルを選ぶか構造動画と最初のフレームをドロップし、プロンプトを書いてモデルを選ぶとレンダリングが実行され、サンプラーのプレビューが届くたびに表示し、結果を構造の横で再生します。各ステップを確認するには、models/vae_approx に taeh3.safetensors を置き、--preview-method taesd を設定します。追加インストールが必要なのは Web キャプチャノードのみです（playwright と Chromium のダウンロード）。

フル品質ワークフロー 低メモリワークフロー（16 GB） 長尺クリップ因果ワークフロー

ベンチマークが示す内容

論文では、208 件のハードケースと 53 件のホールドアウトのクリップを Gemini のペアワイズ判定でスコアリングし、質問ごとの Elo を報告しています。さらに、DOVER、LAION aesthetic、VideoScore2、flicker、DINOv2、CoTracker3、edge F1 による自動スコアも報告しています。ホールドアウト分割では、実クリップに対する DISTS、LPIPS、PSNR、SSIM も比較に含まれます。

この表の同点は実際に存在します。LynnReal-Omni はハード分割の総合評価で SolarRenderer と並び、ホールドアウト分割では敗れています。因果版は双方向版との比較でのみ評価されているため、双方向版より下に位置しています。これらの数値の根拠となる判定結果と 522 件のレンダーはベンチマークとともに公開されているので、比較を鵜呑みにせず再スコアリングできます。

論文はまた、因果版が 768p をリアルタイムでレンダリングすると主張しています。リポジトリ内の Reactor 統合、Reactor チームが提供する開発プレビューは、より控えめです。4 台の B200 GPU では、安定した 17 フレームのブロックに約 1.8～2.1 秒かかり、ネイティブの 24 fps タイムラインを下回ります。また、新しい動画の準備には 1 分以上かかる場合があります。

コミュニティが見つけたこと

Banodoco Discordでは、公開された当日にさっそく実際に試した人が現れました。Kijaiは4ステップLoRAをオリジナルのDMADと比較してテストし、結果が噛み合う前にトレーニング設定に合わせて潜在ガイドを使う必要があると突き止めました。その後について彼は、ネイティブH3ノードで扱えるという見解を示しています。「トレーニングに合わせるには潜在ガイドを使う必要がある。その方がうまく動くし、ネイティブノードでできる」。出力に関する彼のメモは賛否が分かれたものの具体的でした。モーションの追従は正確すぎてやや文字通りすぎるほどで、最初のフレームを落とすと品質が下がる、という内容です。

最も多かった不満はプロンプトの形式で、Kijaiは公式のサンプルプロンプトを非常に複雑だと評し、RuneXはシステムプロンプトを提案しました。RuneXはまた、パックのページを実行中にホストバッファエラーに遭遇し、モデルがすでにネイティブでロードされているならパックの大部分は置き換え可能だと見ています。「他のものはただのflash attentionノードと手動sigmaノードです」。H3のモーショントランスファーで同じネイティブ参照の道を選んだTARAパッチの作者Alissonは、トレーニングのスケールを相対化してみせました。136,000クリップに対して自身は700でした。

反応は10月25日の#minimax_h3_chatterから、ここから始まっています。

公開されたトレーニングソース: Magpie、CARLA、UnrealZooのクリップで、論文が説明する136,000本のうち57,738本。

知っておくべき制限

• 学習済みクリップは6.6秒です。より長い動画にはcausalペアが必要で、causalサンプラーは1344x768で約80 GBのkey/valueキャッシュを保持し、収まらない場合はシステムメモリに退避します。
• 参照パスは、双方向ペア用のH3ウェイト135 GBに加えてLoRA 8 GBです。ComfyUIの低メモリ経路によって、16 GBのカードでも実用的に動作します。
• プロンプト形式は厳格な制約であり、スタイルの提案ではありません。自由なテキストでは、LoRAが学習した制御が失われます。
• Eloテーブルは単一のジャッジによるもので、ハード分割の最初のフレームは写真として撮影されたものではなく画像モデルによって生成されています。
• Reactorストリーミング経路はプレビューであり、ネイティブ推論とビット単位で同一ではなく、Docker実行はまだ検証されていません。

入手方法

重み、causal pair、設定、ライセンス条件は Enderfga/SolarRenderer に、コード、ComfyUI ノードパック、3 つのワークフロー、プロンプトスキル、Reactor 連携は GitHub リポジトリ に、トレーニングデータとベンチマークは Enderfga/SolarRenderer-Data にあります。インストール不要でレンダリングを試せる オンラインデモ が Hugging Face Spaces に用意されています。