Hi3D v1.0, 거친 메시를 1536³ 지오메트리로 정밀화

프로젝트 저장소의 시스템 개요: 이미지 특징이 거친 지오메트리에서 가져온 좌표에 대한 희소 플로우를 조건화하며, 추출된 각 메시는 다시 복셀화되어 다음 패스의 기반이 됩니다.

또 하나의 생성기가 아닌 2차 단계

TRELLIS.2와 Pixal3D 노드를 포함한 ComfyUI의 이미지-투-3D 파이프라인은 하나의 캐스케이드에서 생성된 하나의 메시로 끝납니다. 그 캐스케이드가 놓친 디테일은 사라집니다. 얇은 부조는 평평해지고, 몰딩과 이빨은 뭉개지며, 결과물의 선명도는 형태 단계가 확보한 만큼으로 제한됩니다.

Hi3D v1.0은 그 이후 단계를 위해 만들어졌습니다. 이미지에서 메시를 스스로 생성하지 않고, 거친 메시가 이미 존재한다고 가정한 뒤 동일한 참조 이미지를 재구성 대상이 아닌 조건화 신호로 사용하여 지오메트리를 더 조밀하고 더 충실하게 만드는 데 역량을 집중합니다. 거친 메시는 어떤 생성기에서든, 또는 아티스트로부터 나올 수 있습니다.

이 프로젝트는 Sparc3D를 기반으로 하며, Python 패키지와 공개 API는 호환성을 위해 원본 이름을 유지합니다. 정밀화 파이프라인을 가져오는 코드는 여전히 from sparc3d import Sparc3DPipeline 형태입니다.

세 번의 패스로 쌓는 사다리

하나의 패스는 점유된 모든 복셀 좌표에서 잠재 데이터를 샘플링하고, 이를 부호 있는 거리장으로 디코딩하고, 메시를 추출한 뒤, 그 메시를 다시 복셀화하여 다음 패스를 위한 희소 지원을 제공합니다. 더 높은 해상도를 요청하면 이전 메시 위에 패스를 더 실행할 뿐입니다.

512³ 요청은 첫 번째 패스를, 1024³는 두 개를, 1536³는 세 개 모두를 실행합니다. 프로젝트는 이 수치들이 희소 좌표 및 추출 그리드를 설명하는 것이지 조밀한 1536³ 잠재 텐서나 보장된 삼각형 개수를 뜻하는 것이 아니라고 분명히 밝힙니다. 따라서 1536³ 실행이 고정된 1536³ 복셀 볼륨을 의미하지는 않습니다.

두 개의 트랜스포머가 작업을 담당합니다. 각각 24개 블록, 22개 어텐션 헤드에 걸친 2,112 채널의 폭, 약 18억 개의 파라미터를 가집니다. 모든 블록은 복셀에 대한 희소 셀프 어텐션, 이미지 토큰에 대한 크로스 어텐션, MLP를 적용하며, 셀프 어텐션의 쿼리와 키에는 회전 위치 임베딩과 RMS 정규화가 적용됩니다. 샘플링은 기본적으로 패스당 25회의 스케줄러 업데이트를 사용하며, 2차 샘플러를 씁니다.

이미지 조건화는 두 개의 고정된 인코더에서 나옵니다. 756×756의 DINOv2-large는 1,024 채널의 이미지 토큰 2,917개를 생성하고, 224×224의 CLIP ViT-L/14는 해당 위치 전체로 브로드캐스트되는 풀링된 임베딩을 생성합니다. 연결된 결과는 한 번만 계산되어 모든 패스에서 재사용됩니다.

표면에서 달라지는 것

이번 릴리스에서 가장 명확한 근거는 클로즈업 비교입니다. 각 방법이 동일한 참조 영역을 표현하도록 요구합니다. 층을 이룬 부조, 건축적 몰딩, 곡선 경계, 비늘과 이빨, 동심원 홈이 그 대상입니다. Hi3D v1.0은 가장 오른쪽 열입니다.

참조 영역은 빨간 상자로 표시되고 행마다 확대되어, 셰이딩된 지오메트리와 컬러 표면 노멀로 제시됩니다.

더 넓은 테스트는 네 개의 오브젝트(차량, 갑옷을 입은 캐릭터, 안락의자, 핸드백)를 정면, 후면, 하단에서 본 것으로, 정밀화 단계가 일관된 실루엣을 유지하는지 아니면 참조에서 벗어나는지가 드러나는 지점입니다.

셰이딩된 지오메트리와 표면 노멀 렌더링을 나란히 배치했습니다. 숨겨진 뷰는 보이지 않는 표면의 정확한 재구성이 아니라 그럴듯한 완성을 보여줍니다.

이번 릴리스의 근거가 되는 보고서는 약 200만 개의 큐레이션된 3D 에셋으로 학습했다고 설명합니다. 학습 코드, 평가 하네스, 비교 메시는 릴리스에 포함되지 않았으므로 공개된 표를 저장소만으로 재현할 수는 없습니다. 위 수치는 프로젝트 자체에서 나온 것입니다.

정밀화 단계가 하지 않는 일

모델 카드의 범위 설명은 유난히 직설적이며, 기대치를 올바르게 설정합니다.

• 지오메트리 전용. 텍스처도, 머티리얼도, 버텍스 색상도 없습니다. Hi3D는 trimesh 메시를 반환하며, 출력은 중심이 재조정되고 최대 반지름 1로 정규화되므로 월드 좌표와 절대 스케일은 보존되지 않습니다.
• 거친 단계가 많은 것을 좌우합니다. 입력 메시의 심각한 구조적 오류는 정밀화를 거쳐도 남을 수 있으며, 참조 이미지에 나타나지 않는 지오메트리는 재구성이 아니라 그럴듯한 완성이 됩니다.
• 해상도는 요청 사항이지 보장이 아닙니다. 요청한 해상도에 도달할 수 없는 실행은 조용히 더 거친 메시를 반환하는 대신 오류를 발생시킵니다.

제공 현황

Hi3D v1.0은 Hugging Face에 가중치가 있는 Python 추론 패키지로 제공됩니다. 저장소 루트에 8개의 런타임 파일이 배치되어 있고, 두 트랜스포머는 별도 컴포넌트로 로드됩니다. 선택적인 거친 단계는 Hunyuan3D-2 mini용 어댑터이며 명시적으로 의존성이 아닙니다. demo/refine_mesh.py와 Sparc3DPipeline은 어떤 삼각 메시든 직접 받아들입니다. 설치 없이 정밀화를 시험해 볼 수 있는 호스팅 데모도 온라인에 있습니다.

아직 ComfyUI 통합은 없습니다. 저장소에는 커스텀 노드도, 워크플로 템플릿도, ComfyUI에 대한 언급도 없으므로 Hi3D는 현재 자체 파이프라인을 통해 ComfyUI 외부에서 실행됩니다. 10월 27일 이 릴리스가 공유된 Banodoco 3D 채널에서는 네이티브 노드가 뒤따를지가 즉각적인 질문이었습니다. 그곳에서 이 모델은 사람들이 이미 사용하는 TRELLIS.2 및 Pixal3D 워크플로 앞단의 정밀화 단계로 활용됩니다.