Direct3D-V3:ComfyUI 中无需 Latent 的体素网格精修

ComfyUI Wikinews

Direct3D-V3 使用无 Latent 的体素扩散而非 VAE 来精修粗糙的 3D 网格,目前已有社区 ComfyUI 节点包可在 Windows GPU 上运行它。

Direct3D-V3 接收一个粗糙网格加一张引用图像,返回一个细节丰富的网格,它直接对原始 SDF 体素去噪,而不经过压缩的 Latent。推理代码和三个模型已于 11 月 19 日发布,面向 Windows 的社区 ComfyUI 节点包也已能运行它。
由 Direct3D-V3 生成的网格

生成的网格与表面细节,来自论文的补充结果。

功能说明

输入一个与引用图像方向一致的粗糙网格,它会精修形状:恢复粗糙阶段被抹平的凹槽、倒角、薄结构和锐利边缘。隐式流形正则会让表面保持闭合。默认简化到 2M 三角形(target_faces),可导出为 GLB。

论文的核心论点是:所有基于 Latent 扩散的图像到 3D 流程都会两次丢失精细几何:一次是 VAE 压缩形状时,另一次是因为 VAE 针对重建训练,而生成器针对分布匹配训练。Direct3D-V3 去掉了 VAE,直接用扩散 transformer 对原始 SDF 体素网格建模,并加入相邻体素上的流形正则化,以及一个辅助的相机预测任务,使条件图像与生成的几何对齐。

Direct3D-V3 框架

训练和采样都在体素网格上进行;网格通过 Marching Cubes 输出。

发布了三个模型:512、1024 和 1536。它们可以级联运行,也可以单阶段运行,推荐的起始参数为 15 步、CFG 4(512 和 1024 下)。

在 ComfyUI 中运行

  1. 从 Direct3D-V3_Comfyui_Nodes 下载任一 Windows 构建(cu128 对应 Python 3.12 和 PyTorch 2.8,cu130 对应 Python 3.13 和 PyTorch 2.12.1),并将文件夹解压到 ComfyUI/custom_nodes。
  2. 在 Hugging Face 上申请 DINOv3 ViT-H+ 的访问权限。节点将它用作图像编码器,安装时需要提供读取 token。
  3. 在节点文件夹中运行 setup.cmd。它会构建一个私有的 .runtime Python 环境,下载 PyTorch、DINOv3 和 1536 模型。需要预留数 GB 磁盘空间。
  4. 添加 Direct3D-V3 Clean | Mesh File Path 和 Refine (Mesh File, Low VRAM),连接网格路径、引用图像和前景遮罩,然后以 resolution = 1536 和 stage_mode = single_stage 开始。

两个节点构建都是自包含的:无需 CUDA Toolkit 或 Visual Studio,内置面向 RTX 20 至 50 系列的预编译体素化器,ComfyUI 保留自己的 Python 和 PyTorch。注意力默认使用 efficient;cudnn_fp16 在 FP16 下更快,但会改变舍入,因此对比导出结果时请固定种子。

测试者反馈

  • 节点包作者 MostAadTech 在 1536 阶段以 114,832 个体素块运行,峰值预留显存 6,008 MiB,使用 cuDNN 预设,在零收缩下用 9 分 56 秒完成了一条完整的龙。
  • 另一次运行报告了 4.15M 顶点 / 8.3M 三角形,提示词在 325 秒内完成。
  • Kijai 在约 100k token 时测得大约 4.9 GB 激活峰值,其中约 2 GB 是常驻的 skip token。
  • 实际的完整流程比单独的精修器更长:先用 Pixal3D 或 TRELLIS.2 生成粗糙网格,用 Qwen-Image-2.1 生成法线贴图,然后运行 Direct3D-V3,最后用 UltraTex 做纹理。
与其他图像到 3D 方法的对比

与其他开源图像到 3D 方法的定性对比,来自论文。

开始之前

  • 本次发布中没有粗糙阶段。 作者建议使用 Hunyuan3D-2.1 或 UltraShape-1.0 生成初始网格;他们自己的粗糙模型仍在待办列表中。
  • 引用图像比以往更重要。 表面法线贴图或白陶土渲染比带纹理的 RGB 图像能带来明显更精细的细节。仓库建议使用 ChatGPT(GPT Image 2.5)或 Lotus-2 进行该转换,Qwen-Image-2.1 则是免费选项。
  • 发布的权重比论文更新。 作者表示,发布的模型使用四个 DINOv3 图层、Muon 优化器,表面比论文中评估的模型更精细,因此论文中的图表低估了当前输出。
  • 纹理和训练代码尚未发布。 本次发布只包含网格精修,因此纹理需来自单独的模型。

获取方式

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Direct3D-V3:ComfyUI 中无需 Latent 的体素网格精修 | ComfyUI Wiki