TRELLIS.2 및 Pixal3D 이미지-3D 생성, 이제 ComfyUI 코어에 기본 내장
ComfyUI 코어가 이제 TRELLIS.2 및 Pixal3D 이미지-3D 생성을 기본 지원합니다: 형태 및 텍스처 스테이지, MoGe 깊이 추정, 공식 Comfy-Org 가중치를 포함한 메시 후처리 노드.
개요
TRELLIS.2는 Microsoft의 40억 파라미터 이미지-3D 모델입니다. flow-matching transformer와 함께 O-Voxel(옴니-복셀) 희소 복셀 표현을 사용하여 복잡한 토폴로지, 선명한 디테일, 투명도를 포함한 완전한 PBR 재질을 갖춘 고품질 3D 에셋을 생성합니다. 이 모델은 2025년 12월에 출시되었으며(이전 보도 참조), 변환 중 렌더링이나 최적화 패스가 필요하지 않습니다.
Pixal3D는 Tencent ARC Lab과 칭화대학교가 SIGGRAPH 2026에서 발표한 모델로, TRELLIS.2 백본을 기반으로 합니다. 역투영(back-projection)을 통한 픽셀 정렬 특징을 사용하여 픽셀-3D 직접 대응 관계를 구축하며, 단일 이미지로 상세한 지오메트리와 PBR 텍스처를 갖춘 재구성 수준에 가까운 충실도를 달성합니다.
TRELLIS.2 텍스처 스테이지 예시(소스: microsoft/TRELLIS.2)
Pixal3D 단일 이미지 재구성 결과(소스: Pixal3D 프로젝트 페이지)
ComfyUI 네이티브 지원
통합 PR은 두 모델에 대한 의존성 없는 구현과 완전한 메시 후처리 체인을 추가하며, 모든 것이 PyTorch/scipy로 재구현되어 추가 의존성이 없습니다:
- TRELLIS.2 노드:
Trellis2ShapeStage,Trellis2TextureStage,Trellis2UpsampleStage,Trellis2Conditioning,EmptyTrellis2LatentStructure, 그리고 전용 형태/텍스처 VAE 디코더(VaeDecodeShapeTrellis,VaeDecodeTextureTrellis) - Pixal3D 노드: 공유 TRELLIS.2 스테이지와 함께
Pixal3DConditioning을 제공합니다. 두 모델 모두 동일한 VAE와 DINOv3 이미지 인코더를 공유합니다. - MoGe 미터법 깊이 노드: 카메라/시야각 추정 및 지오메트리 조건화를 위한
LoadMoGeModel,MoGeInference,MoGePanoramaInference,MoGePointMapToMesh,MoGeGeometryToFOV,MoGeRender - 메시 후처리:
RemeshMesh(DC 리메시),DecimateMesh(QEM 데시메이션),UnwrapMesh(UV 언랩),ApplyTextureToMesh,BakeTextureFromVoxel,BakeAmbientOcclusion,BakeNormalMapFromMesh,FillHoles,WeldVertices,MeshSmoothNormals - 3D 내보내기:
SaveGLB,Save3DAdvanced,SaveGaussianSplat,SavePointCloud,MeshToFile3D, 그리고MergeMeshes및RotateMesh유틸리티
ComfyUI 내 Pixal3D 테스트 워크플로(소스: Comfy-Org/ComfyUI PR #14718)
워크플로
Comfy-Org/Pixal3D 저장소에 호스팅된 공식 예제 워크플로는 단일 입력 이미지에서 형태 생성, 텍스처 베이킹, 메시 내보내기까지 전체 체인을 실행합니다:
모델 다운로드
Comfy-Org 재포장 가중치는 bf16 및 INT8 ConvRot 정밀도의 즉시 사용 가능한 체크포인트를 제공합니다:
📂 ComfyUI/models/
├── 📂 diffusion_models/
│ ├── trellis_2_bf16.safetensors # or trellis_2_int8_convrot.safetensors
│ └── pixal3d_bf16.safetensors # or pixal3d_int8_convrot.safetensors
├── 📂 clip_vision/
│ └── dino_v3_vit_l.safetensors # Pixal3D uses dino_v3_L_naf_fp32.safetensors
└── 📂 vae/
├── trellis_2_shape_vae_bf16.safetensors
└── trellis_2_texture_vae_bf16.safetensors
댓글
GitHub로 로그인하고 토론에 참여하세요.