VAST-AI, HoloPart 출시: 생성형 3D 부품 아모달 분할 기술

VAST-AI와 홍콩대학교 공동 연구팀이 최근 HoloPart를 출시했습니다. 이는 3D 모델을 완전하고 의미 있는 부품으로 분해할 수 있는 새로운 유형의 3D 부품 아모달 분할 기술입니다. 이 기술은 모델의 보이는 표면을 식별할 뿐만 아니라 가려진 부분의 기하학적 구조를 추론할 수 있어 진정으로 완전한 부품 분할을 달성합니다.

3D 콘텐츠 제작의 핵심 문제 해결

3D 콘텐츠 제작에서 다운로드한, 스캔한 또는 AI로 생성된 3D 모델을 편집하는 것은 종종 상당한 과제를 제시합니다. 이러한 모델은 일반적으로 “하나의 단단한 조각”의 기하학으로, 개별 부품(의자 다리나 안경테 등)을 조정, 애니메이션화하거나 다른 재질을 적용하는 것이 매우 어렵습니다.

기존의 3D 부품 분할 기술은 다른 부품에 속하는 보이는 표면을 식별할 수 있지만, 일반적으로 단편적이고 불완전한 조각을 생성하여 콘텐츠 제작에서의 실용적 가치를 크게 제한합니다.

HoloPart는 새로운 작업을 소개합니다: 3D 부품 아모달 분할—3D 형상을 보이는 표면 조각으로만 분해하는 것이 아니라, 의미 정보가 있는 완전한 부품으로 분해하여 일부가 가려져 있더라도 완전한 구성 요소를 생성합니다.

HoloPart 작동 방식

HoloPart는 아모달 인식(부분이 가려져 있더라도 완전한 물체를 인식하는 인간의 능력)에서 영감을 받은 새로운 확산 기반 기술입니다. 이 기술은.두 단계 접근 방식으로 구현됩니다:

1. 초기 분할: 먼저, SAMPart3D와 같은 기존의 첨단 방법을 사용하여 초기 표면 조각(불완전한 부품)을 얻습니다.

2. 부품 완성: 불완전한 부품 조각과 전체 형상의 맥락 정보를 함께 새로운 HoloPart 모델에 입력합니다. 확산 트랜스포머 아키텍처를 기반으로 한 HoloPart는 해당 부품에 대한 완전하고 합리적인 3D 기하학을 생성할 수 있습니다.

HoloPart는 TripoSG 3D 생성 기반 모델 위에 구축되었으며, Objaverse와 같은 대규모 데이터셋에서의 광범위한 사전 훈련과 부품-전체 데이터에 대한 전문적인 미세 조정을 통해 3D 기하학에 대한 깊은 이해를 얻었습니다.

그 핵심 혁신은 이중 주의 메커니즘에 있습니다:

• 지역 주의: 입력 표면 조각의 미세한 기하학적 세부 사항에 초점을 맞추어 완성된 부품과 보이는 기하학 사이의 원활한 통합을 보장합니다.
• 맥락 인식 주의: 전체 형상과 그 안에서의 부품 위치에 초점을 맞추어 완성된 부품이 비율, 의미 및 전체 형상 일관성을 유지하도록 합니다.

이를 통해 HoloPart는 숨겨진 기하학적 세부 사항을 지능적으로 재구성할 수 있으며, 복잡한 부품이나 심한 가려짐이 있는 경우에도 객체의 전체 구조를 존중합니다.

응용 시나리오

완전한 부품을 생성함으로써 HoloPart는 여러 강력한 응용 프로그램을 해제합니다:

• 직관적인 편집: 완전한 부품을 쉽게 잡아서 크기 조정, 이동 또는 교체
• 편리한 재질 할당: 완전한 구성 요소에 텍스처나 재질을 명확하게 할당
• 애니메이션 준비 자산: 리깅과 애니메이션에 적합한 부품 생성
• 스마트 기하학 처리: 일관된 부품 처리를 통해 리메싱과 같은 더 강력한 기하학 작업 달성
• 부품 인식 생성: 미래에 부품 수준에서 3D 형상을 생성하거나 조작할 수 있는 생성 모델의 기초 마련
• 기하학적 초해상도: 많은 수의 토큰으로 부품을 표현하여 부품 세부 사항 향상

온라인 데모

다음 대화형 데모를 통해 HoloPart의 기능을 체험해 볼 수 있습니다:

관련 링크

• 프로젝트 홈페이지
• GitHub 저장소
• 모델 가중치
• 온라인 데모