InstantHMR: ComfyUI内でウェブカメラから3Dボディをキャプチャ
ComfyUI-InstantHMRは、写真、動画、ライブウェブカメラから32Mモデルで全身3Dボディをフィッティングし、リグ付きキャラクターを動かしたり、VMC経由でモーションをストリーミングします。
InstantHMRはNaturpad Studioによる2,000万〜3,200万パラメータのモデルで、2026年11月初旬に公開された論文とともにリリースされました。ポーズ、体型、70個の2D/3Dキーポイント、完全なMHRメッシュを返し、処理速度はデスクトップGPUで1人あたり約1ms、スマートフォンのNPUで約5msです。
このノードパックは、そのモデルをComfyUI自身のSAM 3D Bodyパイプラインに組み込みます。3つの新しいノードがネイティブノードの前面に配置されます。
| ノード | 機能 |
|---|---|
Load InstantHMR Model | models/detection から5つのチェックポイントのいずれかを読み込みます |
Run InstantHMR Prediction | 人物ボックスごとに1つのMHRボディを生成し、MHR_POSE_DATA として出力します |
InstantHMR Live Capture | ウェブカメラやスマートフォンからのライブ2D/3Dプレビュー、リグ付きキャラクターの駆動、クリップの録画を行います |
写真用ワークフロー: RT-DETRで人物ごとにボックスを検出し、InstantHMRで予測して、ネイティブノードでレンダリングします。
写真と動画
Run InstantHMR Prediction は、Run Real-Time Detection (RT-DETR) から人物ボックスを、または SAM3 Video Track からトラックを受け取ります。どちらも接続されていない場合、フレーム全体が1人の人物として扱われます。fov に垂直方向の視野角を設定するか、Load MoGe Model と Get FoV from MoGe Geometry を連結して映像から取得します。
結果はネイティブノードに直接渡されます。ジッターには Smooth SAM3D Body Pose Data、メッシュ、シルエット、OpenPose 2D/3Dには Render 3D Body Pose、アニメーション付きGLBやBVHには Create 3D Animation File を使用します。body_mesh と bones_only スタイル、およびBVH出力では、リグのために同じグラフ上にSAM 3D Bodyローダーが必要です。
| チェックポイント | パラメータ数 | 3DPW PA-MPJPE |
|---|---|---|
instanthmr_nano | 20.0 M | 46.6 mm |
instanthmr_tiny | 20.3 M | 44.0 mm |
instanthmr_small | 24.4 M | 41.7 mm |
instanthmr_medium | 32.2 M | 40.0 mm |
instanthmr_medium_commercial | 32.2 M | 50.7 mm |
デフォルトは medium です。medium_commercial は精度を犠牲にする代わりに、商用利用が許可されたトレーニングセットを使用しています。
ライブキャプチャ
InstantHMR Live Capture は、カメラ映像に対して検出器とモデルを実行しながら、その様子を表示します。This device を選ぶとブラウザのウェブカメラを使用し、Phone / other device を選ぶとQRコードが表示され、ネットワーク経由でスマートフォンのカメラをストリーミングできます。smoothing を0.5にすると、素早い動きに遅れることなくボディを安定させられます。また、遅い処理は検出なので、detect_every を2または3にするとプレビューが滑らかに保たれます。
プレビュー以外でも役立つポイントが2つあります。input フォルダーからリグ付きの .fbx、.glb、.gltf、.vrm を選択すると、生のボディの代わりにそのキャラクターが3Dビューで駆動され、人物ごとに1体ずつ表示されます。MixamoとVRMのボーンマッピングにも対応しています。vmc を入力すると、ポーズがVSeeFace、Warudo、VNyan、VMC Linkを導入したBlender、またはUnityにストリーミングされ、ウェブカメラでの撮影がキャラクターリグのアニメーションになります。
● Record は撮影内容を input/instanthmr_live/ に保存します。そこから Get Video Components → Run InstantHMR Prediction とつなぐことで、スムージング、レンダリング、3Dエクスポートを含む完全なパイプライン実行に変換できます。
実行方法
リポジトリを ComfyUI/custom_nodes/ にクローンし、チェックポイントを models/detection に配置して、再起動します。ComfyUIにはネイティブのSAM 3D Bodyノードが必要で、これはv0.34.0で追加されました。RT-DETR、SAM3、MoGeの各ノードはコアに含まれているため、同梱のグラフに別のカスタムパックは必要ありません。
別のデバイスからブラウザのカメラを使用するには、ページがHTTPSである必要があります。ComfyUIを --tls-keyfile と --tls-certfile 付きで起動し、スマートフォンで https://<lan-ip>:8188 を開いて、証明書を一度承認してください。
入手先
ノードパック: jtydhr88/ComfyUI-InstantHMR
重み: jtydhr88/ComfyUI-InstantHMR
モデルとトレーニングコード: Naturalpad-studio/InstantHMR
ONNXリリース: momolesang/InstantHMR
論文: hal-05854387
コメント
GitHubでサインインしてディスカッションに参加しましょう。