Skip to content
더 나은 ComfyUI 지식베이스 구축을 돕기 후원자 되기
새소식Hi3DGen: 노말 브리징을 통한 고충실도 3D 기하학 생성의 새로운 프레임워크

바이트댄스, Seaweed-7B 출시: 비용 효율적인 비디오 생성 기반 모델

2025. 04. 14.

Hi3DGen: 노말 브리징을 통한 고충실도 3D 기하학 생성의 새로운 프레임워크

Hi3DGen 개요

Stable-X 연구팀이 최근 혁신적인 3D 생성 기술인 Hi3DGen을 발표했습니다. 이는 노말 브리징 기술을 통해 단일 이미지에서 고충실도 3D 기하학 모델을 생성하는 혁신적인 프레임워크입니다. 기존 방법에 비해 Hi3DGen은 더 풍부하고 정확한 기하학적 세부 사항을 생성할 수 있어, 이미지-3D 생성 분야의 새로운 SOTA 방법이 되었습니다.

온라인 체험

다음 인터랙티브 인터페이스를 통해 Hi3DGen의 강력한 기능을 직접 체험할 수 있습니다:

Hi3DGen 온라인 데모

Hi3DGen이 필요한 이유는?

최근 몇 년간 2D 이미지에서 3D 모델을 생성하는 기술이 크게 발전했지만, 기존 방법들은 여전히 정교한 기하학적 세부 사항 생성에 있어 심각한 도전에 직면해 있습니다. 주로 다음 요인들에 의해 제한됩니다:

  1. 고품질 3D 학습 데이터의 부족: 모델이 상세한 기하학적 특징을 학습하는 능력 제한
  2. 학습과 테스트 도메인 간의 격차: 합성 렌더링 이미지와 실제 응용 시나리오 이미지 간의 큰 스타일 차이
  3. 조명, 그림자 및 텍스처 간섭: RGB 이미지에서 이러한 요소들이 기하학적 정보 추출을 복잡하게 함

이러한 제한으로 인해 기존 방법들은 입력 이미지에서 미세한 기하학적 구조를 정확하게 재현하기 어려워, 생성된 모델의 사실성과 실용성에 영향을 미칩니다.

Hi3DGen의 기술 혁신

Hi3DGen 방법 개요

Hi3DGen은 새로운 기술적 접근 방식을 통해 위의 문제를 해결하며, 그 혁신적인 프레임워크는 세 가지 핵심 구성 요소로 구성됩니다:

  1. 이미지-노말 추정기: 노이즈 주입과 이중 스트림 훈련을 통해 저주파 이미지 패턴을 분리하여 일반화 가능하고 안정적이며 명확한 노말 추정 실현
  2. 노말-기하학 생성기: 노말 정규화된 잠재 확산 학습을 채택하여 3D 기하학 생성의 충실도 향상
  3. 합성 데이터셋 구축 파이프라인: 풍부한 기하학적 세부 사항을 포함한 고품질 3D 데이터셋 DetailVerse를 특별히 설계하여 모델 훈련 지원

이 “브리징” 아키텍처는 이미지 기하학 생성을 두 단계로 교묘하게 나누어, 중간 표현으로 2.5D 노말 맵을 사용함으로써 RGB에서 3D 기하학으로의 직접 매핑 어려움을 효과적으로 우회합니다.

성능 평가

여러 최첨단 이미지-3D 생성 방법(CraftsMan-1.5, Hunyuan 3D-2.0, Clay, Tripo-2.5, Trellis, Dora 포함)과의 비교 실험을 통해, Hi3DGen은 충실도와 세부 사항 재현에서 상당한 이점을 보여줍니다:

  • 더 정확한 형태 윤곽과 비율
  • 더 풍부한 표면 텍스처와 기하학적 세부 사항
  • 모델 결함과 구멍이 더 적음
  • 입력 이미지와의 높은 일관성

50명의 일반 사용자와 10명의 전문 3D 아티스트가 참여한 평가에서 Hi3DGen의 생성 품질이 가장 높은 평가를 받았으며, 이는 아마추어와 전문가 응용 시나리오 모두에서 그 우수성을 입증합니다.

응용 시나리오

Hi3DGen의 기술적 돌파구는 여러 분야에 새로운 가능성을 가져옵니다:

  1. 게임 및 영화 제작: 고품질 3D 자산을 신속하게 제작하여 제작 비용 절감
  2. 가상 및 증강 현실: 더 사실적인 가상 객체 생성
  3. 이커머스: 제품의 정확한 3D 모델을 만들어 온라인 쇼핑 경험 향상
  4. 3D 프린팅: 사진에서 직접 고정밀 3D 모델 생성
  5. 문화유산 보존: 역사적 이미지에서 귀중한 유물의 3D 형태 재구성

빠른 시작 가이드

  1. Hi3DGen 온라인 데모 방문
  2. 단일 또는 여러 테스트 이미지 업로드
  3. “Generate Shape” 버튼을 클릭하고 생성이 완료될 때까지 대기
  4. “Export Mesh” 기능을 사용하여 다양한 형식으로 3D 자산 내보내기

오픈소스 계획

주목할 만한 점은 Hi3DGen의 완전한 코드가 2025년 4월 10일에 공식적으로 오픈소스화될 예정이며, 이때 연구자와 개발자들은 전체 구현 세부 사항과 훈련 스크립트에 접근할 수 있게 됩니다.

관련 리소스

Hi3DGen의 출시는 이미지에서 3D 생성 기술의 중요한 이정표를 나타내며, 혁신적인 노말 브리징 방법을 통해 고충실도 3D 콘텐츠 제작을 위한 새로운 가능성을 열어줍니다. 전체 코드가 곧 오픈소스화될 예정이므로, 이 기술을 기반으로 한 더 많은 혁신적인 응용 프로그램과 기술 발전을 기대합니다.