TRELLIS.2 与 Pixal3D 图像转 3D 生成现已原生内置到 ComfyUI

ComfyUI Wikinews

ComfyUI 核心现已原生支持 TRELLIS.2 与 Pixal3D 图像转 3D 生成:包含形状与纹理阶段、MoGe 深度估计和网格后处理节点,并提供 Comfy-Org 官方权重。

TRELLIS.2Hugging Face | GitHub | 项目主页)与 Pixal3DHugging Face | GitHub)图像转 3D 生成功能现已直接内置到 ComfyUI 核心:集成 PR(Comfy-Org/ComfyUI #14718)已于 2026 年 8 月 22 日合并,因此无需安装自定义节点包。

概述

TRELLIS.2 是微软推出的 40 亿参数图像转 3D 模型。它使用基于 O-Voxel(全向体素)的稀疏体素表示,结合流匹配 Transformer 生成高保真 3D 资产,支持复杂拓扑、锐利特征以及包含透明度的完整 PBR 材质。该模型于 2025 年 12 月发布(参见我们此前的报道),转换过程中无需渲染或优化迭代。

Pixal3D 是腾讯 ARC 实验室与清华大学联合推出的 SIGGRAPH 2026 模型,基于 TRELLIS.2 骨干网络构建。它利用反投影生成的像素对齐特征,建立像素与 3D 之间的直接对应关系,能够从单张图像达到接近重建级别的高保真度,生成精细几何与 PBR 纹理。

TRELLIS.2 纹理化示例:被遗忘的骑士

TRELLIS.2 纹理阶段示例(来源:microsoft/TRELLIS.2)

Pixal3D 图像转 3D 结果

Pixal3D 单图像重建结果(来源:Pixal3D 项目主页)

ComfyUI 原生支持

该集成 PR 添加了这两个模型的无依赖实现,以及完整的网格后处理链路,全部使用 PyTorch/scipy 重新实现,无需额外依赖

  • TRELLIS.2 节点Trellis2ShapeStageTrellis2TextureStageTrellis2UpsampleStageTrellis2ConditioningEmptyTrellis2LatentStructure,以及专用的形状/纹理 VAE 解码器(VaeDecodeShapeTrellisVaeDecodeTextureTrellis
  • Pixal3D 节点Pixal3DConditioning,与 TRELLIS.2 共享阶段节点;两个模型共用相同的 VAE 和 DINOv3 图像编码器
  • MoGe 度量深度节点LoadMoGeModelMoGeInferenceMoGePanoramaInferenceMoGePointMapToMeshMoGeGeometryToFOVMoGeRender,用于相机/视场估计与几何条件
  • 网格后处理RemeshMesh(DC 重网格化)、DecimateMesh(QEM 减面)、UnwrapMesh(UV 展开)、ApplyTextureToMeshBakeTextureFromVoxelBakeAmbientOcclusionBakeNormalMapFromMeshFillHolesWeldVerticesMeshSmoothNormals
  • 3D 导出SaveGLBSave3DAdvancedSaveGaussianSplatSavePointCloudMeshToFile3D,以及 MergeMeshesRotateMesh 实用工具
ComfyUI 中的 TRELLIS.2 / Pixal3D 工作流

ComfyUI 中的 Pixal3D 测试工作流(来源:Comfy-Org/ComfyUI PR #14718)

工作流

官方示例工作流托管在 Comfy-Org/Pixal3D 仓库中,可运行从单张输入图像到形状生成、纹理烘焙和网格导出的完整流程:

模型下载

Comfy-Org 重新打包的权重提供 bf16 和 INT8 ConvRot 精度的开箱即用模型:

📂 ComfyUI/models/
├── 📂 diffusion_models/
│   ├── trellis_2_bf16.safetensors          # or trellis_2_int8_convrot.safetensors
│   └── pixal3d_bf16.safetensors            # or pixal3d_int8_convrot.safetensors
├── 📂 clip_vision/
│   └── dino_v3_vit_l.safetensors           # Pixal3D uses dino_v3_L_naf_fp32.safetensors
└── 📂 vae/
    ├── trellis_2_shape_vae_bf16.safetensors
    └── trellis_2_texture_vae_bf16.safetensors

相关链接

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
TRELLIS.2 与 Pixal3D 图像转 3D 生成现已原生内置到 ComfyUI | ComfyUI Wiki