Hi3D v1.0:将粗糙网格细化为 1536³ 几何体
Hi3D v1.0 于 2026 年 10 月 23 日发布,通过三遍稀疏管线,以单张参考图像为条件,将粗糙网格细化为高分辨率几何体。
来自项目仓库的系统概览:图像特征以粗糙几何的坐标作为条件,驱动稀疏流;每次提取出的网格都会被重新体素化,以作为下一遍的起始支撑。
作为第二阶段,而不是另一个生成器
ComfyUI 中的图像转 3D 管线(包括 TRELLIS.2 和 Pixal3D 节点)最终只在一个级联中产出一个网格。这个级联遗漏的任何细节都无法恢复:浅浮雕被压平,线脚和齿状结构变得模糊,结果的锐度只能达到形状阶段所能提供的程度。
Hi3D v1.0 正是为之后的这一步而设计。它并不会自行从图像生成网格;它假定粗糙网格已经存在,并把容量集中在让几何体更密集、更忠实上,将同一张参考图像作为条件信号而非重建目标。粗糙网格可以来自任何生成器,也可以来自艺术家。
该项目构建于 Sparc3D,Python 包和公共 API 为保持兼容而沿用原始名称:导入细化管线仍然写作 from sparc3d import Sparc3DPipeline。
三遍阶梯
每一遍都会在每个被占据的体素坐标处采样一个 Latent,将其解码为有符号距离场,提取一个网格,然后对那个网格重新体素化,为下一遍提供稀疏支撑。请求更高的分辨率,就是在上一遍网格的基础上运行更多遍。
| 遍次 | 名义结构网格 | 体素预算 | Transformer | 提取网格 |
|---|---|---|---|---|
| 1 | 64³ | 80,000 | transformer_512 | 512³ |
| 2 | 128³ | 90,000 | transformer_1024 | 1024³ |
| 3 | 192³ | 110,000 | transformer_1024 | 1536³ |
512³ 的请求运行第一遍,1024³ 运行两遍,1536³ 则运行全部三遍。项目明确指出,这些数字描述的是稀疏坐标和提取网格,而不是一个稠密的 1536³ Latent 张量,也不是保证的三角形数量,因此一次 1536³ 的运行并不意味着固定的 1536³ 体素体积。
两个 Transformer 承担了主要工作。每个都有 24 个块,宽度为 2,112 个通道、跨越 22 个注意力头,参数量约为 18 亿。每个块都会在体素上应用稀疏自注意力、对图像 token 应用交叉注意力,以及一个 MLP,并在自注意力的查询和键上使用旋转位置嵌入和 RMS 归一化。采样默认每一遍执行 25 次调度器更新,并使用二阶采样器。
图像条件来自两个冻结的编码器:756×756 的 DINOv2-large,产生 2,917 个 1,024 通道的图像 token;以及 224×224 的 CLIP ViT-L/14,产生一个池化 embedding,并被广播到这些位置上。拼接后的结果只计算一次,并被每一遍复用。
表面上的变化
发布内容中最清晰的证据是特写对比,其中每种方法都被要求描述同一参考区域:层叠浮雕、建筑线脚、弯曲边界、鳞片与齿状结构、同心凹槽。Hi3D v1.0 位于最右列。
参考区域用红框标出,并在每一行中放大展示,分别以着色几何体和彩色表面法线呈现。
范围更广的测试包含四个对象(一辆载具、一个装甲角色、一把扶手椅、一个手提包),从正面、背面和底部观察,这正是细化阶段要么保持连贯轮廓、要么偏离参考的地方。
着色几何体与表面法线渲染并排展示。隐藏视角展示的是合理的补全,而非对不可见表面的精确重建。
发布背后的报告描述了在约两百万个精选 3D 资产上进行训练。训练代码、评估框架和对比网格均未包含在发布内容中,因此仅凭仓库无法复现已公布的表格;上述数字来自项目自身。
细化阶段不做什么
模型卡中的范围说明异常直接,并且正确地设定了预期:
- 仅几何体。 没有纹理、没有材质、没有顶点颜色。Hi3D 返回一个
trimesh网格,输出会被重新居中并归一化到单位最大半径,因此世界坐标和绝对尺度不会被保留。 - 粗糙阶段决定了很多。 输入网格中严重的结构错误可能会在细化后依然存在,而参考图像从未展示的几何体会变成合理的补全,而不是重建。
- 分辨率是一种请求,而不是保证。 如果一次运行无法达到请求的分辨率,它会抛出错误,而不是悄悄返回一个更粗糙的网格。
可用性
Hi3D v1.0 以 Python 推理包的形式发布,权重位于 Hugging Face:八个运行时文件放在仓库根目录,两个 Transformer 作为独立组件加载。可选的粗糙阶段是 Hunyuan3D-2 mini 的一个适配器,且明确不是依赖项:demo/refine_mesh.py 和 Sparc3DPipeline 可以直接接受任何三角网格。在线演示已上线,无需安装即可试用细化功能。
目前还没有 ComfyUI 集成。仓库中不包含任何自定义节点、工作流模板,也没有任何对 ComfyUI 的引用,因此 Hi3D 目前通过自己的管线在 ComfyUI 之外运行。在 10 月 27 日分享该发布内容的 Banodoco 3D 频道中,人们最直接的问题是是否会有原生节点;在那里,该模型被用作人们已经在运行的 TRELLIS.2 和 Pixal3D 工作流之前的细化阶段。
评论
使用 GitHub 登录后即可参与讨论。