StepFun открывает исходный код Step1X-3D - высококачественная структура генерации 3D-активов

StepFun официально открыл исходный код Step1X-3D, комплексной структуры для высококачественной генерации 3D-активов. Эта структура может генерировать 3D-модели с тонкими геометрическими структурами и разнообразными текстурами из одного изображения, и является первой, достигшей прямого переноса 2D-контрольных техник в 3D-генерацию.

Ключевые особенности

Step1X-3D использует инновационную двухэтапную архитектуру генерации, которая разлагает процесс 3D-генерации на генерацию геометрии и синтез текстур - два независимых, но скоординированных этапа. Структура включает следующие основные возможности:

Высококачественный конвейер обработки данных

Команда создала обучающий набор данных из 2 миллионов высококачественных 3D-активов через строгие процессы очистки и фильтрации данных из более чем 5 миллионов оригинальных 3D-активов. Этот набор данных достигает высоких стандартов в геометрической точности, качестве текстур и топологической целостности.

Продвинутая технология генерации геометрии

Модуль генерации геометрии использует гибридную архитектуру VAE-DiT, способную генерировать водонепроницаемые представления Truncated Signed Distance Function (TSDF). Через техники perceiver encoding и sharp edge sampling система эффективно сохраняет геометрические детали и генерирует топологически правильные 3D-сетки.

Точный синтез текстур

Модуль синтеза текстур дообучен на основе Stable Diffusion XL, предоставляя геометрическое руководство через карты нормалей и позиционные карты для обеспечения точного выравнивания между сгенерированными текстурами и 3D-геометрией. Система поддерживает многовидовую согласованность и может генерировать высокоразрешающие карты текстур.

Гибкие механизмы контроля

Step1X-3D поддерживает эффективные техники дообучения параметров как LoRA, позволяя пользователям контролировать симметрию объектов, уровни геометрических деталей и другие атрибуты через теги. Это предоставляет пользователям больше творческих опций контроля.

Технические преимущества

По сравнению с существующими решениями с открытым исходным кодом, Step1X-3D превосходит в множественных аспектах:

Качество генерации: В бенчмарк-тестах качество генерации геометрии и текстур Step1X-3D превосходит существующие базовые уровни с открытым исходным кодом, достигая производительности, сравнимой с коммерческими решениями в определенных метриках.

Полный открытый исходный код: В отличие от многих проектов, которые выпускают только веса модели, Step1X-3D предоставляет полный код обучения, конвейеры обработки данных и модули адаптации, облегчая воспроизведение и улучшение исследователями.

Совместимость экосистемы: Поддерживая перенос 2D-контрольных техник в 3D, Step1X-3D формирует хорошую совместимость с существующими экосистемами генерации изображений.

Содержимое открытого исходного кода

Этот выпуск с открытым исходным кодом включает:

• Веса модели: Включая модель генерации геометрии (1.3B параметров) и модель синтеза текстур (3.5B параметров)
• Код обучения: Полный код обучения для VAE, диффузионных моделей и многовидовой генерации
• Набор данных: Список UID из 800K высококачественных 3D-активов
• Онлайн демо: Интерактивная демонстрация на HuggingFace Spaces
• Инструменты адаптации: Модули адаптации, поддерживающие LoRA дообучение

Случаи использования

Step1X-3D подходит для различных сценариев применения:

Создание контента: Быстрая генерация 3D-активов для разработки игр, кинопроизводства и других областей Дизайн продуктов: Быстрая генерация 3D-прототипов на основе концептуальных изображений Образование и обучение: Вспомогательные инструменты для образования 3D-моделирования и дизайна Исследования и разработка: Базовая платформа для исследований алгоритмов 3D-генерации

Технические детали

Конвейер генерации геометрии

Система сначала использует 3D shape variational autoencoder для сжатия облаков точек в латентное пространство, затем выполняет генерацию геометрии через FLUX-вдохновленный диффузионный трансформер. Этот процесс использует sharp edge sampling и dual cross-attention механизмы для улучшения сохранения геометрических деталей.

Конвейер синтеза текстур

Генерация текстур использует многоэтапный конвейер: сначала постобработка геометрии для обеспечения топологической согласованности, затем создание текстур через многовидовые модели генерации изображений, и наконец завершение текстурирования через UV baking и ремонт.

Результаты производительности

В пользовательских исследованиях Step1X-3D достиг высоких оценок в геометрической рациональности, ясности текстур и общем качестве, демонстрируя свой потенциал для практических применений.

Ответ сообщества

С момента выпуска Step1X-3D привлек широкое внимание в сообществе с открытым исходным кодом. Проект получил значительное внимание разработчиков на GitHub, и онлайн демонстрация на HuggingFace привлекла многих пользователей для испытания.

Многие исследователи заявили, что полная стратегия открытого исходного кода Step1X-3D предоставляет ценные ресурсы для исследований в области 3D-генерации, помогая продвигать всю область.

Планы на будущее

Согласно дорожной карте проекта, команда планирует выпустить больше функций в будущем:

• Поддержка дополнительных контрольных условий как многовидовые, ограничивающие рамки и скелеты
• Поддержка интеграции рабочих процессов ComfyUI
• Более контролируемые модели генерации
• Оптимизация производительности и ускорение вывода

Связанные ссылки

• Техническая статья
• GitHub репозиторий
• Страница модели HuggingFace
• Онлайн демо
• Домашняя страница проекта
• Загрузка набора данных