VAST-AIがHoloPart発表：生成的3Dパーツアモーダル分割技術
VAST-AIと香港大学の共同研究チームは最近、3Dモデルを完全で意味のあるパーツに分解できる新しいタイプの3Dパーツアモーダル分割技術「HoloPart」をリリースしました。この技術はモデルの可視表面を識別するだけでなく、遮蔽部分の幾何学的構造を推測することもでき、真に完全なパーツ分割を実現します。
3Dコンテンツ制作の中核的課題を解決
3Dコンテンツ制作において、ダウンロードした、スキャンした、またはAIで生成した3Dモデルの編集は多くの場合、大きな課題を抱えています。これらのモデルは典型的には「一つの固体」の幾何学形状であり、個別のパーツ（椅子の脚やメガネフレームなど）を調整、アニメーション化、または異なる材質を適用することが非常に困難です。
既存の3Dパーツ分割技術は異なるパーツに属する可視表面を識別できますが、通常は断片的で不完全な部分を生成するため、コンテンツ制作における実用的価値が大きく制限されています。
HoloPartは新しいタスクを導入しています：3Dパーツアモーダル分割 — 3D形状を可視表面断片に分解するだけでなく、意味情報を持つ完全なパーツに分解し、一部が遮蔽されていても完全なコンポーネントを生成します。
HoloPartの仕組み
HoloPartはアモーダル知覚（部分が遮蔽されていても完全な物体を知覚する人間の能力）に触発された、拡散モデルベースの新技術です。この技術は二段階のアプローチで実装されています：
-
初期分割：まず、SAMPart3Dなどの既存の先進的手法を使用して、初期表面断片（不完全なパーツ）を取得します。
-
パーツ補完：不完全なパーツの断片と、形状全体のコンテキスト情報を、新しいHoloPartモデルに入力します。拡散トランスフォーマーアーキテクチャに基づいて、HoloPartはそのパーツの完全で合理的な3D形状を生成できます。
HoloPartはTripoSG 3D生成基盤モデルをベースに構築され、Objaverseなどの大規模データセットでの広範な事前トレーニングとパーツ-全体データでの専門的な微調整を通じて、3D幾何学の深い理解を獲得しています。
その主要な革新は二重注意メカニズムにあります：
- 局所的注意：入力表面断片の細かい幾何学的詳細に焦点を当て、補完されたパーツと可視幾何との間のシームレスな統合を確保します。
- コンテキスト認識注意：全体の形状とその中でのパーツの位置に焦点を当て、補完されたパーツが比率、意味、全体的な形状の一貫性を維持することを確保します。
これにより、HoloPartは隠れた幾何学的詳細を賢く再構築でき、複雑なパーツや重度の遮蔽がある場合でも、オブジェクトの全体構造を尊重します。
応用シナリオ
完全なパーツを生成することで、HoloPartは複数の強力なアプリケーションを実現します：
- 直感的な編集：完全なパーツを簡単に掴んで、スケールし、移動または交換
- 便利な材質割り当て：テクスチャや材質を完全なコンポーネントに明確に割り当て
- アニメーション対応アセット：リギングとアニメーションに適したパーツを生成
- スマートな幾何学処理：一貫したパーツ処理によるリメッシュなどのより堅牢な幾何学操作を実現
- パーツ認識生成：将来的にパーツレベルで3D形状を作成または操作できる生成モデルの基礎を築く
- 幾何学的超解像度：高数のトークンでパーツを表現し、パーツの詳細を向上
オンラインデモ
この対話型デモを通じてHoloPartの機能を体験できます：