Hi3DGen: новая платформа для генерации высококачественной 3D геометрии через нормальное мостирование

Исследовательская команда Stable-X недавно выпустила прорывную технологию 3D генерации — Hi3DGen, инновационную платформу, которая генерирует высококачественные 3D геометрические модели из одиночных изображений через технологию нормального мостирования. По сравнению с существующими методами, Hi3DGen может генерировать более богатые и точные геометрические детали, становясь новым SOTA методом в области генерации изображений-в-3D.

Онлайн-опыт

Вы можете испытать мощные возможности Hi3DGen через следующий интерактивный интерфейс:

Почему Hi3DGen?

Несмотря на значительный прогресс в генерации 3D моделей из 2D изображений в последние годы, существующие методы все еще сталкиваются с серьезными вызовами в генерации тонких геометрических деталей, в основном ограниченные следующими факторами:

1. Нехватка высококачественных 3D данных обучения: Ограничивает способность модели изучать детальные геометрические особенности
2. Доменный разрыв между обучением и тестированием: Большие стилевые различия между синтетически рендеренными изображениями и реальными сценариями применения
3. Вмешательство освещения, теней и текстур: Эти элементы в RGB изображениях усложняют извлечение геометрической информации

Эти ограничения затрудняют существующим методам точное воспроизведение мелкозернистых геометрических структур из входных изображений, влияя на реалистичность и практичность сгенерированных моделей.

Технические инновации Hi3DGen

Hi3DGen решает вышеуказанные проблемы через новый технический подход, с его инновационной платформой, состоящей из трех ключевых компонентов:

1. Оценщик изображения-в-нормаль: Разделяет низкочастотные паттерны изображений через инъекцию шума и двухпотоковое обучение, достигая обобщаемой, стабильной и четкой оценки нормалей
2. Генератор нормали-в-геометрию: Использует нормально-регуляризованное латентное диффузионное обучение для улучшения верности генерации 3D геометрии
3. Конвейер построения синтетического набора данных: Специально разработанный высококачественный 3D набор данных DetailVerse, содержащий богатые геометрические детали для поддержки обучения модели

Эта “мостиковая” архитектура умно разделяет генерацию геометрии изображения на два этапа, эффективно обходя трудность прямого отображения от RGB к 3D геометрии, используя 2.5D карты нормалей как промежуточное представление.

Оценка производительности

Через сравнительные эксперименты с множественными современными методами генерации изображений-в-3D (включая CraftsMan-1.5, Hunyuan 3D-2.0, Clay, Tripo-2.5, Trellis и Dora), Hi3DGen демонстрирует значительные преимущества в верности и воспроизведении деталей:

• Более точные контуры формы и пропорции
• Более богатые поверхностные текстуры и геометрические детали
• Меньше дефектов модели и отверстий
• Более высокая согласованность с входными изображениями

Оценка, включающая 50 обычных пользователей и 10 профессиональных 3D художников, показала, что качество генерации Hi3DGen получило наивысшие оценки, доказывая его превосходство как в любительских, так и в профессиональных сценариях применения.

Сценарии применения

Технологический прорыв Hi3DGen приносит новые возможности в несколько областей:

1. Игры и кинопроизводство: Быстро создавать высококачественные 3D активы, снижая производственные затраты
2. Виртуальная и дополненная реальность: Генерировать более реалистичные виртуальные объекты
3. Электронная коммерция: Создавать точные 3D модели продуктов, улучшая опыт онлайн-покупок
4. 3D печать: Генерировать высокоточные 3D модели напрямую из фотографий
5. Сохранение культурного наследия: Реконструировать 3D формы драгоценных артефактов из исторических изображений

Быстрое руководство по началу работы

1. Посетите онлайн-демо Hi3DGen
2. Загрузите одно или несколько тестовых изображений
3. Нажмите кнопку “Generate Shape” и дождитесь завершения генерации
4. Используйте функцию “Export Mesh” для экспорта 3D активов в различных форматах

План открытого исходного кода

Стоит отметить, что полный код для Hi3DGen будет официально открыт 10 апреля 2025 года, когда исследователи и разработчики смогут получить доступ к полным деталям реализации и скриптам обучения.

Связанные ресурсы

• Домашняя страница проекта
• Онлайн-демо
• Репозиторий GitHub (будет доступен 10 апреля 2025 года)
• Исследовательская статья

Выпуск Hi3DGen знаменует важную веху в технологии генерации изображений-в-3D, открывая новые возможности для создания высококачественного 3D контента через инновационный метод нормального мостирования. Поскольку полный код скоро будет открыт, мы с нетерпением ждем более инновационных применений и дальнейших технологических разработок на основе этой технологии.