Microsoft Выпускает TRELLIS.2 - Модель Генерации Изображения в 3D с 4 Миллиардами Параметров

Microsoft недавно выпустила TRELLIS.2, большую генеративную 3D модель с 4 миллиардами параметров, специально разработанную для задач высокоточной генерации изображения в 3D. Модель использует новую структуру разреженных вокселей под названием O-Voxel, способную реконструировать и генерировать 3D-ресурсы со сложными топологиями, четкими особенностями и полными PBR материалами.

Пример TRELLIS.2

Ключевые Особенности

Высокое Качество и Эффективность

TRELLIS.2 использует технологию Sparse 3D VAE с 16-кратной пространственной подвыборкой для кодирования 3D-ресурсов в компактное латентное пространство. Модель может генерировать высокоразрешенные полностью текстурированные ресурсы с впечатляющей скоростью:

Разрешение 512³: Примерно 3 секунды (2с форма + 1с материал)
Разрешение 1024³: Примерно 17 секунд (10с форма + 7с материал)
Разрешение 1536³: Примерно 60 секунд (35с форма + 25с материал)

Эти результаты тестирования основаны на GPU NVIDIA H100.

Поддержка Сложных Топологий

Метод представления O-Voxel преодолевает ограничения традиционных полей изоповерхностей и может надежно обрабатывать сложные структуры:

Открытые Поверхности: Такие как одежда, листья и т.д.
Неразветвленная Геометрия: Сложные геометрические формы
Внутренние Замкнутые Структуры: Модели, содержащие внутренние полости

Богатое Представление Материалов

Помимо основной информации о цвете, TRELLIS.2 может моделировать различные атрибуты поверхности, включая базовый цвет, шероховатость, металличность и непрозрачность, обеспечивая фотореалистичный рендеринг сгенерированных 3D-ресурсов с поддержкой прозрачности.

Быстрая Обработка Данных

Конвейер обработки данных модели оптимизирован для мгновенного преобразования, полностью свободен от процессов рендеринга и оптимизации:

Текстурированная Сетка в O-Voxel: Менее 10 секунд на одном CPU
O-Voxel в Текстурированную Сетку: Менее 100 миллисекунд с ускорением CUDA

Техническая Реализация

TRELLIS.2 построена на нескольких специализированных высокопроизводительных пакетах:

O-Voxel: Основная библиотека, обрабатывающая преобразование между текстурированными сетками и представлением O-Voxel
FlexGEMM: Эффективная реализация разреженной свертки на основе Triton
CuMesh: Утилиты обработки сеток с ускорением CUDA для постобработки, ремешинга, упрощения и развертывания UV

Доступность Модели

Предварительно обученная модель TRELLIS.2-4B доступна на Hugging Face, поддерживая разрешения от 512³ до 1536³. Модель и код опубликованы под лицензией MIT, делая их доступными для исследователей и разработчиков.

Код проекта требует систем Linux и GPU NVIDIA с не менее 24 ГБ памяти. Код был проверен на GPU NVIDIA A100 и H100.

Практические Применения

TRELLIS.2 особенно подходит для сценариев, требующих быстрой генерации высококачественных 3D-ресурсов, таких как разработка игр, создание контента виртуальной реальности и визуализация дизайна продуктов. Сгенерированные 3D-ресурсы включают полную информацию о материалах PBR и могут быть напрямую экспортированы в формат GLB для использования в различном 3D программном обеспечении и движках.

Для нетехнических пользователей команда также предоставляет веб-интерфейс демонстрации, который позволяет напрямую загружать изображения для генерации 3D без написания кода или настройки сложных сред.