VAST-AI发布HoloPart: 生成式3D部件非模态分割技术

VAST-AI与香港大学联合研发团队近日发布了HoloPart，这是一种新型的3D部件非模态分割技术，能够将3D模型分解为完整、具有语义意义的部件。该技术不仅能识别模型表面的可见部分，还能推断出被遮挡部分的几何结构，实现真正意义上的完整部件分割。

解决3D内容创作的核心痛点

在3D内容创作过程中，编辑网上下载的、扫描获得的或AI生成的3D模型往往面临巨大挑战。这些模型通常是”一整块”的几何体，想要调整、驱动或为某个独立部件（如椅子腿、眼镜框等）重新赋予不同材质都极其困难。

现有的3D部件分割技术虽然能识别出属于不同部件的可见表面，但得到的通常是破碎、不完整的碎片，这大大限制了它们在实际内容创作中的应用价值。

HoloPart引入了一项新任务：3D部件非模态分割（3D Part Amodal Segmentation）——它不仅将3D形状分解为可见的表面块，而是分解成完整的、包含语义信息的部件，即使部分被遮挡也能生成完整部件。

HoloPart工作原理

HoloPart是一种基于扩散模型的新型技术，受到非模态感知（人类即使在物体部分被遮挡时也能感知完整物体的能力）的启发。该技术通过一个两阶段方法实现：

1. 初始分割：首先，利用现有的先进方法（如SAMPart3D）获得初始的表面块（即不完整的部件）。

2. 部件补全：将不完整的部件块，连同整个形状的上下文信息一起，输入到HoloPart模型中。HoloPart基于扩散变换器（Diffusion Transformer）架构，能够生成该部件完整且合理的3D几何形状。

HoloPart基于TripoSG三维生成基础模型构建，通过在大型数据集（如Objaverse）上进行广泛预训练，并在部件-整体数据上进行专门微调，获得了对三维几何的深刻理解。

其核心创新在于双重注意力机制：

• 局部注意力：聚焦于输入表面块的精细几何细节，确保补全后的部件与可见几何无缝衔接。
• 上下文感知注意力：关注整体形状以及该部件在其中的位置，确保补全的部件在全局上保持比例、语义和整体形状的一致性。

这使得HoloPart能够智能地重建隐藏的几何细节，即使对于复杂部件或存在严重遮挡的情况，也能尊重物体的整体结构。

应用场景

通过生成完整的部件，HoloPart解锁了多种强大应用：

• 直观编辑：轻松抓取、缩放、移动或替换完整部件
• 便捷的材质分配：将纹理或材质清晰地赋予给完整的组件
• 适用于动画的资产：生成适合绑定和动画制作的部件
• 智能几何处理：通过处理连贯的部件，实现更稳健的网格重划分等几何操作
• 部件感知的生成：为未来能够在部件层面创建或操纵三维形状的生成模型奠定基础
• 几何超分辨率：通过用高数量的token来表征部件，提升部件细节

在线演示

您可以通过以下交互式演示体验HoloPart的功能：

相关链接

• 项目主页
• GitHub代码库
• 模型权重
• 在线演示