NVIDIA, 확산 모델 기반 범용 재조명 기술 UniRelight 출시

NVIDIA 연구팀은 토론토 대학교와 Vector Institute의 연구진과 협력하여 UniRelight라는 혁신적인 기술을 발표했습니다. 이 기술은 단일 입력 이미지나 비디오를 통해 고품질의 재조명 및 본질적 분해 효과를 구현할 수 있습니다.

기술적 특징

UniRelight의 주요 특징은 다음과 같습니다:

• 결합 모델링 접근방식: 장면의 본질적 특성과 조명을 동시에 모델링
• 단일 패스 처리: 재조명에 단일 입력 이미지나 비디오만 필요
• 고품질 출력: 시간적 일관성이 있는 그림자, 반사, 투명 효과 생성
• 광범위한 적용성: 이방성 표면, 유리, 투명 객체를 포함한 다양한 복잡한 재질 처리 가능

기술적 장점

기존 재조명 기술과 비교하여 UniRelight는 다음과 같은 장점을 제공합니다:

1. 향상된 일반화: 합성 다중 조명 데이터와 자동 레이블링된 실제 비디오로 학습하여 다양한 시나리오에 적응 가능
2. 높은 시각적 품질: 복잡한 재질과 조명 조건을 처리할 때 더 사실적인 효과 생성
3. 시간적 일관성: 비디오 처리에서 우수한 시간적 일관성 유지
4. 단일 패스 파이프라인: 알베도 추정과 재조명 출력 합성을 단일 프로세스로 실행

응용 시나리오

UniRelight 기술은 다음과 같은 분야에 적용될 수 있습니다:

• 비디오 후반 작업
• 가상 현실 콘텐츠 제작
• 증강 현실 애플리케이션
• 자율 주행 장면 데이터 증강

관련 링크

• 프로젝트 페이지
• 논문 링크

이 프로젝트는 NVIDIA, 토론토 대학교, Vector Institute의 연구팀이 완성했으며, 프로젝트 코드는 곧 오픈소스로 공개될 예정입니다. 이 기술의 출시는 컴퓨터 그래픽스와 컴퓨터 비전 분야에 새로운 가능성을 가져올 것입니다.