NVIDIA выпускает Edify 3D

Команда исследователей NVIDIA недавно представила новую технологию генерации 3D-ассетов — Edify 3D. Эта технология открывает новые возможности для создания 3D-контента, позволяя получать качественные, готовые к использованию 3D-ассеты всего за две минуты.

Основные особенности

Ключевые возможности Edify 3D включают:

• Быстрая генерация: требуется всего 2 минуты для создания 3D-модели по текстовому описанию.
• Высокое качество: создаёт модели с детализированной геометрией и чёткой топологией.
• Полная поддержка материалов: автоматически формирует организованные UV-карты, текстуры 4K и материалы PBR.
• Компоновка сцен: может анализировать требования сцены и объединять несколько сгенерированных моделей.

Как это работает

Сначала технология использует диффузионные модели для генерации RGB-изображений и карт нормалей объекта с разных ракурсов. Затем система на основе этих многовидовых наблюдений восстанавливает форму, текстуру и материалы PBR объекта.

В частности, Edify 3D применяет следующие методы:

1. Согласованность между ракурсами: обеспечивает, чтобы изображения, созданные с разных углов, были согласованы между собой, что важно для точного восстановления 3D-геометрии.

2. Интеллектуальное понимание сцены: система анализирует текстовые запросы пользователя, автоматически определяет необходимые компоненты сцены и выбирает подходящие модели для их генерации.

3. Эффективная реконструкция сетки: использует оптимизированные алгоритмы для создания лёгких и топологически чётких 3D-моделей при сохранении качества.

Технические преимущества

• Промышленное качество: созданные 3D-ассеты можно использовать напрямую в игровых движках и профессиональных программах для рендеринга.
• Полный рабочий процесс (workflow): решение «от текста до готовой 3D-модели».
• Высокая эффективность: экономит часы и даже дни по сравнению с традиционным ручным моделированием.
• Гибкость управления: предоставляет множество параметров для настройки результата художниками.

Техническое значение

Появление Edify 3D может значительно повлиять на такие области, как разработка игр, архитектурное проектирование и производство фильмов. Технология не только повышает эффективность создания 3D-ассетов, но и обеспечивает соответствие качества профессиональным стандартам. Применение Edify 3D в коммерческих целях может снизить затраты на производство контента в различных отраслях.

В NVIDIA отмечают, что Edify 3D — это современный шаг в развитии инструментов для создания 3D с помощью искусственного интеллекта, и в будущем планируется дальнейшее развитие и расширение возможностей этой технологии.

Перспективы применения

Исследовательская команда продемонстрировала несколько примеров использования, среди которых:

• Быстрое прототипирование игровых сцен.
• Визуализация интерьеров и экстерьеров зданий.
• Дизайн и презентация продуктов.
• Создание контента для виртуальной реальности.

Подробнее

• Страница проекта Edify 3D в лаборатории NVIDIA Research: https://research.nvidia.com/labs/dir/edify-3d/
• Научная статья: https://arxiv.org/abs/2411.07135