Исследовательская команда NVIDIA в сотрудничестве с исследователями из Университета Торонто и Vector Institute представила инновационную технологию под названием UniRelight. Эта технология обеспечивает высококачественные эффекты переосвещения и внутренней декомпозиции через одно входное изображение или видео.
Технические особенности
Ключевые особенности UniRelight включают:
- Совместный подход моделирования: Одновременно моделирует внутренние характеристики сцены и освещение
- Однопроходная обработка: Требует только одно входное изображение или видео для переосвещения
- Высококачественный вывод: Генерирует временно согласованные тени, отражения и эффекты прозрачности
- Широкая применимость: Может обрабатывать различные сложные материалы, включая анизотропные поверхности, стекло и прозрачные объекты
Технические преимущества
По сравнению с существующими технологиями переосвещения, UniRelight предлагает следующие преимущества:
- Лучшая генерализация: Обучена на синтетических данных с множественным освещением и автоматически помеченных реальных видео, позволяя модели адаптироваться к различным сценариям
- Более высокое визуальное качество: Производит более реалистичные эффекты при обработке сложных материалов и условий освещения
- Временная согласованность: Поддерживает хорошую временную когерентность в обработке видео
- Однопроходный конвейер: Совместно оценивает альбедо и синтезирует вывод переосвещения в одном процессе
Сценарии применения
Технология UniRelight может применяться в множественных областях:
- Постпродакшн видео
- Создание контента виртуальной реальности
- Приложения дополненной реальности
- Увеличение данных сцен автономного вождения
Связанные ссылки
Проект был завершен исследовательскими командами из NVIDIA, Университета Торонто и Vector Institute, при этом код проекта ожидается к выпуску с открытым исходным кодом в ближайшее время. Выпуск этой технологии принесет новые возможности в области компьютерной графики и компьютерного зрения.