VAST-AI와 칭화대학교, 모든 3D 모델의 자동 스켈레톤 리깅을 위한 프레임워크 UniRig 오픈소스 공개

VAST-AI(Tripo)와 칭화대학교의 공동 연구팀이 최근 3D 모델의 자동 스켈레톤 리깅에 혁명을 가져올 프레임워크 ‘UniRig’를 오픈소스로 공개했습니다. 이 기술은 컴퓨터 그래픽 분야의 중요한 돌파구로, 대규모 자기회귀 모델의 강력한 기능을 활용하여 다양한 3D 모델에 고품질 스켈레톤 구조와 스키닝 가중치를 생성함으로써 애니메이션 워크플로우에서 가장 어려운 측면 중 하나를 해결합니다.

3D 콘텐츠 제작의 핵심 병목 현상 해결

메타버스, 게임 개발, 디지털 콘텐츠 제작의 번영과 함께 3D 모델에 대한 수요가 폭발적으로 증가하고 있습니다. 그러나 정적 모델을 스켈레톤 리깅을 통해 애니메이션 가능한 캐릭터로 변환하는 과정은 여전히 중요한 병목 현상으로 남아 있으며, 시간뿐만 아니라 전문 기술도 필요로 합니다.

전문 캐릭터 리거는 복잡한 모델의 스켈레톤 계층 구조를 만들기 위해 몇 시간, 때로는 며칠을 보내고, 자연스러운 변형을 보장하기 위해 가중치를 세심하게 조정해야 합니다. 초보자에게 이 과정은 가파른 학습 곡선을 가지며, 전문가에게도 이는 워크플로우에서 가장 시간이 많이 소요되는 측면 중 하나입니다.

기존 자동 리깅 도구는 주로 두 가지 범주로 나뉩니다:

• 템플릿 기반 방법: 표준 인간형 캐릭터에 대해서는 비교적 신뢰할 수 있지만, 새로운 형태(다족 생물, 기계 구조 또는 판타지 생물 등)를 직면할 때 종종 실패합니다
• 템플릿 없는 방법: 더 유연하지만, 생성된 스켈레톤 토폴로지가 종종 아티스트의 기대에 부응하지 못하며 제어 정밀도가 제한적입니다

UniRig: 모든 것을 리깅하는 하나의 모델

UniRig는 대규모 언어 모델(LLM)의 개념을 적용하여 자동 스켈레톤 리깅에 새로운 패러다임을 도입합니다. 연구팀은 스켈레톤 구조를 특별한 “언어”로 취급하여 모델이 다양한 생물과 물체의 고유한 골격 논리를 “이해”하고 “생성”할 수 있게 합니다.

UniRig의 혁신 사항은 다음과 같습니다:

1. 혁신적인 스켈레톤 트리 토큰화 메커니즘

스켈레톤 트리 토큰화는 UniRig의 핵심 혁신으로, 복잡한 계층적 관계를 가진 스켈레톤 구조를 선형 시퀀스로 인코딩하는 도전을 해결합니다. 이 체계는 다음을 지능적으로 인코딩합니다:

• 관절 좌표: 기하학적 정밀도를 위해 공간 위치를 이산화된 형태로 표현
• 계층 구조: 유효한 스켈레톤 트리를 보장하기 위해 부모-자식 관계를 명확하게 정의
• 의미 정보: 특수화된 토큰을 통해 다양한 유형의 뼈를 식별(예: 주 뼈, IK 컨트롤러, 보조 물리 뼈 등)

이 설계는 전통적인 방법에 비해 시퀀스 길이를 약 30% 줄여 모델 효율성과 생성 품질을 크게 향상시킵니다.

2. 고품질 결과를 보장하는 2단계 아키텍처

UniRig는 신중하게 설계된 2단계 아키텍처를 사용합니다:

1. 스켈레톤 생성 단계: GPT 기반 Transformer가 자기회귀를 통해 관절을 하나씩 생성하여 완전한 스켈레톤 계층 구조를 형성합니다. 이 과정은 전역 및 지역 기하학적 특징을 모두 고려하여 스켈레톤이 3D 모델의 형태와 밀접하게 일치하도록 보장합니다.

2. 스키닝 가중치 예측 단계: 혁신적인 “뼈-점 교차 주의” 메커니즘을 통해 UniRig는 모델의 각 정점이 주변 뼈에 의해 어떻게 영향을 받는지 정확하게 계산하여 자연스럽고 부드러운 스키닝 가중치를 생성합니다. 시스템은 또한 특수 뼈(예: 물리적 뼈에 대한 스프링 계수)에 대한 물리적 매개변수를 예측하여 고급 애니메이션 효과를 지원할 수 있습니다.

Rig-XL 데이터셋: 다양성을 통한 일반화 추진

UniRig의 훈련을 지원하기 위해 연구팀은 현재까지 가장 큰 스켈레톤 리깅 데이터셋인 Rig-XL을 구축했으며, 이는 14,000개 이상의 다양한 리깅된 3D 모델을 포함합니다. 이 데이터셋은 다음을 포함합니다:

• 인간형 캐릭터(사실적 및 만화 스타일)
• 4족 동물(가축, 야생 동물, 판타지 생물)
• 조류 및 비행 생물
• 곤충 및 절지동물
• 기계 구조 및 비유기적 객체
• 애니메이션 스타일 캐릭터(물리적 스프링 뼈 포함)

이렇게 다양한 데이터로 훈련함으로써 UniRig는 여러 가지 본 적 없는 모델 형태를 처리할 수 있는 강력한 일반화 능력을 획득했습니다.

제작에서의 성능 이점

여러 비교 테스트에서 UniRig는 기존 상업 및 학술 솔루션을 크게 능가했습니다:

• 바인딩 정확도 215% 향상: 뼈 위치와 계층 구조가 전문 아티스트의 기대에 더 잘 부합합니다
• 애니메이션 품질 194% 향상: 생성된 가중치가 애니메이션 중 더 자연스럽고 유동적인 변형을 생성합니다
• 처리 능력 크게 확장: 단순한 것부터 극도로 복잡한 형태(예: 다족 곤충이나 다중 팔다리 판타지 캐릭터)까지 성공적으로 처리합니다
• 높은 효율성: 대부분의 모델은 1-5초 내에 처리되며, 이는 전문 리거가 필요로 하는 시간보다 훨씬 적습니다

ComfyUI 워크플로우와의 잠재적 통합

TripoSG 및 TripleSF와 같은 생성형 AI 모델이 ComfyUI에 적용됨에 따라 고품질 3D 모델 생성이 가능해졌습니다. 그러나 생성된 모델은 일반적으로 스켈레톤 구조가 부족하여 애니메이션 적용이 제한됩니다.

UniRig는 ComfyUI의 3D 생성 워크플로우와 원활하게 통합되어 창의적 개념에서 애니메이션 가능한 캐릭터까지의 엔드투엔드 프로세스를 가능하게 할 잠재력이 있습니다:

1. 텍스트 또는 이미지 프롬프트를 사용하여 3D 모델 생성
2. UniRig를 통해 자동으로 스켈레톤 구조 추가
3. 스켈레탈 애니메이션을 지원하는 모든 소프트웨어 또는 게임 엔진으로 내보내기

또한, 어제 공개된 HoloPart 기술과 결합하면, 모델의 컴포넌트 수준 편집 및 스켈레톤 생성이 가능해져 크리에이터에게 전례 없는 유연성을 제공합니다.

현재 오픈소스 상태

VAST-AI는 UniRig의 다양한 구성 요소를 점진적으로 오픈소스화하기 시작했습니다:

• ✅ 이미 오픈소스화: 스켈레톤 예측 모델(Articulation-XL2.0에서 훈련됨)
• ⏳ 출시 예정: 스키닝 가중치 예측 모델
• ⏳ 출시 예정: Rig-XL 및 VRoid 데이터셋
• ⏳ 출시 예정: Rig-XL/VRoid에서 훈련된 완전한 UniRig 모델 체크포인트

크리에이터 피드백 및 오픈소스 커뮤니티 참여

UniRig를 초기에 테스트한 독립 3D 아티스트들은 이 기술이 “창작 과정을 크게 변화시켰다”며 “비전문 리거에게 애니메이션 창작의 문을 열어주었다”고 말했습니다. 한 게임 개발자는 이렇게 코멘트했습니다: “UniRig는 이전에 몇 시간이 걸리던 작업을 몇 초 만에 완료할 수 있으며, 품질까지 더 좋습니다.”

VAST-AI는 오픈소스 커뮤니티가 특히 다음 영역에서 UniRig의 추가 개발에 참여하도록 초대합니다:

• 특정 유형 모델에 대한 전문화된 미세 조정
• 기존 3D 제작 소프트웨어와의 플러그인 통합
• 소형 장치를 위한 최적화된 경량 모델

관련 링크

• 프로젝트 홈페이지
• GitHub 저장소
• 모델 가중치

VAST-AI는 최근 오늘 소개된 UniRig, HoloPart, TripleSF를 비롯해 단일 이미지에서 삼차원 복합 장면의 엔드투엔드 생성을 위한 MIDI와 MV-Adapter 등 여러 3D 창작 관련 프로젝트를 지속적으로 오픈소스화하고 있으며, 계속해서 3D 생성 기술의 방향을 주도하고 창의적 커뮤니티에 더 강력한 도구를 제공하고 있습니다.