Direct3D-V3: ComfyUIで動く潜在空間不要のボクセルメッシュリファインメント

ComfyUI Wikinews

Direct3D-V3はVAEの代わりに潜在空間を使わないボクセル拡散で粗い3Dメッシュをリファインします。コミュニティ製のComfyUIノードパックがWindows GPUで動作するようになりました。

Direct3D-V3はラフなメッシュと参照画像1枚から、詳細なメッシュを出力します。圧縮された潜在ではなく、生のSDFボクセルをデノイズします。11月19日に推論コードと3つのチェックポイントが公開され、Windows向けのコミュニティ製ComfyUIノードパックがすでにこれを動作させています。
Direct3D-V3が生成したメッシュ

生成されたメッシュと表面ディテール(論文の追加結果より)。

できること

参照画像と同じ向きの粗いメッシュを入力すると、形状をリファインします。粗いステージで平滑化されて失われた溝、ベベル、細い構造、シャープな辺などが復元されます。陰的な多様体正則化によりサーフェスは閉じたまま保たれます。メッシュはデフォルトで200万三角形に簡略化され(target_faces)、GLBとしてエクスポートできます。

論文の主張は、潜在拡散に基づく画像to 3Dのスタックはすべて微細なジオメトリを2回捨てているというものです。1回目はVAEが形状を圧縮するとき、2回目はVAEが再構成用に、生成器が分布マッチング用にトレーニングされているためです。Direct3D-V3はVAEを排除し、生のSDFボクセルグリッドをdiffusion transformerで直接モデリングします。さらに隣接ボクセルに対するマニフォールド正則化と、補助的なカメラ予測タスクを追加することで、条件付け画像と生成されたジオメトリの位置合わせを行います。

Direct3D-V3のフレームワーク

トレーニングとサンプリングはボクセルグリッド上で直接行われ、メッシュはMarching Cubesを通して出力されます。

512、1024、1536の3つのチェックポイントが提供されます。カスケードとしても単一ステージとしても実行でき、開始時の目安となる数値は512と1024で15ステップ、CFG 4です。

ComfyUIで実行する

  1. Direct3D-V3_Comfyui_Nodes からWindows向けビルドを入手し(Python 3.12とPyTorch 2.8向けがcu128、Python 3.13とPyTorch 2.12.1向けがcu130)、フォルダーを ComfyUI/custom_nodes に展開します。
  2. Hugging FaceでDINOv3 ViT-H+へのアクセスをリクエストします。このノードはこれを画像エンコーダーとして使用し、セットアップ時に読み取りトークンの入力を求められます。
  3. ノードフォルダー内の setup.cmd を実行します。専用の .runtime Python環境を構築し、PyTorch、DINOv3、1536チェックポイントをダウンロードします。数GBのディスク容量を確保しておく必要があります。
  4. Direct3D-V3 Clean | Mesh File Path と Refine (Mesh File, Low VRAM) を追加し、メッシュパス、参照画像、前景マスクを接続して、resolution = 1536 と stage_mode = single_stage から始めます。

どちらのノードビルドも自己完結型です。CUDA ToolkitやVisual Studioは不要で、RTX 20から50シリーズ向けのビルド済みボクセライザーを同梱し、ComfyUIは独自のPythonとPyTorchを保持します。アテンションはデフォルトで efficient です。cudnn_fp16 はFP16で高速ですが丸めが変わるため、エクスポートを比較する際はシードを固定してください。

テスターの報告

  • ノードパックを開発したMostAadTechは、114,832のボクセルパッチで1536ステージを実行し、予約VRAMピーク6,008 MiB、cuDNNプリセットでドラゴン全体を9分56秒で完了し、縮小はゼロでした。
  • 2回目の実行では415万頂点 / 830万三角形が報告され、プロンプトは325秒で完了しました。
  • Kijaiは約10万トークンでアクティベーションピーク約4.9 GBを計測し、そのうち約2 GBは常駐し続けるスキップトークンです。
  • 実際のフルパイプラインはリファイナー単体より長くなります。Pixal3DまたはTRELLIS.2で粗いメッシュを作り、Qwen-Image-2.1でノーマルマップを生成し、次にDirect3D-V3、最後にUltraTexでテクスチャリングします。
他の画像to 3D手法との比較

他のオープンソース画像to 3D手法との定性的比較(論文より)。

始める前に

  • 今回のリリースに粗いステージは含まれていません。 著者は初期メッシュ用にHunyuan3D-2.1またはUltraShape-1.0を挙げており、独自の粗いモデルはまだToDoリスト上にあります。
  • 参照画像の重要性は通常より高くなります。 サーフェスノーマルマップや白いクレイレンダーの方が、テクスチャ付きRGB画像よりも明らかに細かいディテールが得られます。リポジトリではその変換にChatGPT(GPT Image 2.5)またはLotus-2を推奨しており、Qwen-Image-2.1も無料の選択肢として使えます。
  • 公開された重みは論文より新しいものです。 公開されたチェックポイントはDINOv3の4レイヤーとMuonオプティマイザーを使用し、論文で評価されたモデルより細かいサーフェスを生成すると著者は述べているため、論文の図は現在の出力を過小評価しています。
  • テクスチャリングとトレーニングのコードはまだ公開されていません。 このリリースにはメッシュのリファインメントのみが含まれるため、テクスチャは別のモデルから生成します。

入手先

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Direct3D-V3: ComfyUIで動く潜在空間不要のボクセルメッシュリファインメント | ComfyUI Wiki