Hi3D v1.0:将粗糙网格细化为 1536³ 几何体

ComfyUI Wikinews

Hi3D v1.0 于 2026 年 10 月 23 日发布,通过三遍稀疏管线,以单张参考图像为条件,将粗糙网格细化为高分辨率几何体。

Hi3D v1.0 由 Hi3D 团队于 2026 年 10 月 23 日发布:GitHub、Hugging Face 权重、项目主页、技术报告。它接收一个已有的粗糙网格,以及同一对象的一张参考照片,返回一个密度高得多的网格,有效稀疏提取网格最高可达 1536³。
Hi3D v1.0 系统概览:参考图像与粗糙网格输入到具有三个网格提取层级的稀疏细化管线

来自项目仓库的系统概览:图像特征以粗糙几何的坐标作为条件,驱动稀疏流;每次提取出的网格都会被重新体素化,以作为下一遍的起始支撑。

作为第二阶段,而不是另一个生成器

ComfyUI 中的图像转 3D 管线(包括 TRELLIS.2 和 Pixal3D 节点)最终只在一个级联中产出一个网格。这个级联遗漏的任何细节都无法恢复:浅浮雕被压平,线脚和齿状结构变得模糊,结果的锐度只能达到形状阶段所能提供的程度。

Hi3D v1.0 正是为之后的这一步而设计。它并不会自行从图像生成网格;它假定粗糙网格已经存在,并把容量集中在让几何体更密集、更忠实上,将同一张参考图像作为条件信号而非重建目标。粗糙网格可以来自任何生成器,也可以来自艺术家。

该项目构建于 Sparc3D,Python 包和公共 API 为保持兼容而沿用原始名称:导入细化管线仍然写作 from sparc3d import Sparc3DPipeline。

三遍阶梯

每一遍都会在每个被占据的体素坐标处采样一个 Latent,将其解码为有符号距离场,提取一个网格,然后对那个网格重新体素化,为下一遍提供稀疏支撑。请求更高的分辨率,就是在上一遍网格的基础上运行更多遍。

遍次名义结构网格体素预算Transformer提取网格
164³80,000transformer_512512³
2128³90,000transformer_10241024³
3192³110,000transformer_10241536³

512³ 的请求运行第一遍,1024³ 运行两遍,1536³ 则运行全部三遍。项目明确指出,这些数字描述的是稀疏坐标和提取网格,而不是一个稠密的 1536³ Latent 张量,也不是保证的三角形数量,因此一次 1536³ 的运行并不意味着固定的 1536³ 体素体积。

两个 Transformer 承担了主要工作。每个都有 24 个块,宽度为 2,112 个通道、跨越 22 个注意力头,参数量约为 18 亿。每个块都会在体素上应用稀疏自注意力、对图像 token 应用交叉注意力,以及一个 MLP,并在自注意力的查询和键上使用旋转位置嵌入和 RMS 归一化。采样默认每一遍执行 25 次调度器更新,并使用二阶采样器。

图像条件来自两个冻结的编码器:756×756 的 DINOv2-large,产生 2,917 个 1,024 通道的图像 token;以及 224×224 的 CLIP ViT-L/14,产生一个池化 embedding,并被广播到这些位置上。拼接后的结果只计算一次,并被每一遍复用。

表面上的变化

发布内容中最清晰的证据是特写对比,其中每种方法都被要求描述同一参考区域:层叠浮雕、建筑线脚、弯曲边界、鳞片与齿状结构、同心凹槽。Hi3D v1.0 位于最右列。

九种方法的局部几何对比,Hi3D v1.0 位于最右侧的青色列

参考区域用红框标出,并在每一行中放大展示,分别以着色几何体和彩色表面法线呈现。

范围更广的测试包含四个对象(一辆载具、一个装甲角色、一把扶手椅、一个手提包),从正面、背面和底部观察,这正是细化阶段要么保持连贯轮廓、要么偏离参考的地方。

四个对象的多视角几何对比,正面、背面和底部

着色几何体与表面法线渲染并排展示。隐藏视角展示的是合理的补全,而非对不可见表面的精确重建。

发布背后的报告描述了在约两百万个精选 3D 资产上进行训练。训练代码、评估框架和对比网格均未包含在发布内容中,因此仅凭仓库无法复现已公布的表格;上述数字来自项目自身。

细化阶段不做什么

模型卡中的范围说明异常直接,并且正确地设定了预期:

  • 仅几何体。 没有纹理、没有材质、没有顶点颜色。Hi3D 返回一个 trimesh 网格,输出会被重新居中并归一化到单位最大半径,因此世界坐标和绝对尺度不会被保留。
  • 粗糙阶段决定了很多。 输入网格中严重的结构错误可能会在细化后依然存在,而参考图像从未展示的几何体会变成合理的补全,而不是重建。
  • 分辨率是一种请求,而不是保证。 如果一次运行无法达到请求的分辨率,它会抛出错误,而不是悄悄返回一个更粗糙的网格。

可用性

Hi3D v1.0 以 Python 推理包的形式发布,权重位于 Hugging Face:八个运行时文件放在仓库根目录,两个 Transformer 作为独立组件加载。可选的粗糙阶段是 Hunyuan3D-2 mini 的一个适配器,且明确不是依赖项:demo/refine_mesh.py 和 Sparc3DPipeline 可以直接接受任何三角网格。在线演示已上线,无需安装即可试用细化功能。

目前还没有 ComfyUI 集成。仓库中不包含任何自定义节点、工作流模板,也没有任何对 ComfyUI 的引用,因此 Hi3D 目前通过自己的管线在 ComfyUI 之外运行。在 10 月 27 日分享该发布内容的 Banodoco 3D 频道中,人们最直接的问题是是否会有原生节点;在那里,该模型被用作人们已经在运行的 TRELLIS.2 和 Pixal3D 工作流之前的细化阶段。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Hi3D v1.0:将粗糙网格细化为 1536³ 几何体 | ComfyUI Wiki