Исследовательская команда NVIDIA в сотрудничестве с исследователями из Университета Торонто и Vector Institute представила инновационную технологию под названием UniRelight. Эта технология обеспечивает высококачественные эффекты переосвещения и внутренней декомпозиции через одно входное изображение или видео.

Технические особенности

Ключевые особенности UniRelight включают:

• Совместный подход моделирования: Одновременно моделирует внутренние характеристики сцены и освещение
• Однопроходная обработка: Требует только одно входное изображение или видео для переосвещения
• Высококачественный вывод: Генерирует временно согласованные тени, отражения и эффекты прозрачности
• Широкая применимость: Может обрабатывать различные сложные материалы, включая анизотропные поверхности, стекло и прозрачные объекты

Технические преимущества

По сравнению с существующими технологиями переосвещения, UniRelight предлагает следующие преимущества:

1. Лучшая генерализация: Обучена на синтетических данных с множественным освещением и автоматически помеченных реальных видео, позволяя модели адаптироваться к различным сценариям
2. Более высокое визуальное качество: Производит более реалистичные эффекты при обработке сложных материалов и условий освещения
3. Временная согласованность: Поддерживает хорошую временную когерентность в обработке видео
4. Однопроходный конвейер: Совместно оценивает альбедо и синтезирует вывод переосвещения в одном процессе

Сценарии применения

Технология UniRelight может применяться в множественных областях:

• Постпродакшн видео
• Создание контента виртуальной реальности
• Приложения дополненной реальности
• Увеличение данных сцен автономного вождения

Связанные ссылки

• Страница проекта
• Ссылка на статью

Проект был завершен исследовательскими командами из NVIDIA, Университета Торонто и Vector Institute, при этом код проекта ожидается к выпуску с открытым исходным кодом в ближайшее время. Выпуск этой технологии принесет новые возможности в области компьютерной графики и компьютерного зрения.