VAST-AI выпускает HoloPart: Технология генеративной амодальной сегментации 3D частей

Совместная исследовательская команда VAST-AI и Гонконгского университета недавно выпустила HoloPart, новый тип технологии амодальной сегментации 3D частей, которая может разлагать 3D модели на полные, семантически значимые части. Эта технология не только идентифицирует видимые поверхности модели, но также может выводить геометрическую структуру скрытых частей, достигая действительно полной сегментации частей.

Решение ключевых проблем в создании 3D контента

При создании 3D контента редактирование загруженных, отсканированных или сгенерированных ИИ 3D моделей часто представляет значительные проблемы. Эти модели обычно представляют собой “один сплошной кусок” геометрии, что делает крайне трудным настройку, анимацию или применение различных материалов к отдельным частям (таким как ножки стула или оправы очков).

Хотя существующие техники сегментации 3D частей могут идентифицировать видимые поверхности, принадлежащие различным частям, они обычно производят фрагментированные, неполные куски, значительно ограничивая их практическую ценность в создании контента.

HoloPart вводит новую задачу: Амодальная сегментация 3D частей — она не только разлагает 3D формы на видимые поверхностные фрагменты, но на полные части с семантической информацией, генерируя полные компоненты даже когда части скрыты.

Как работает HoloPart

HoloPart - это новая технология на основе диффузии, вдохновленная амодальным восприятием (способностью людей воспринимать полные объекты даже когда части скрыты). Технология реализована через двухэтапный подход:

1. Начальная сегментация: Сначала получаются начальные поверхностные фрагменты (неполные части) с использованием существующих передовых методов (таких как SAMPart3D).

2. Завершение частей: Неполный фрагмент части вместе с контекстной информацией от всей формы вводится в новую модель HoloPart. На основе архитектуры Diffusion Transformer, HoloPart может генерировать полную и разумную 3D геометрию для части.

HoloPart построена на базовой модели генерации 3D TripoSG, разработанной через обширное предобучение на крупных наборах данных (таких как Objaverse) и специализированную тонкую настройку на данных частей-целого, давая ей глубокое понимание 3D геометрии.

Её ключевая инновация заключается в двойном механизме внимания:

• Локальное внимание: Фокусируется на тонких геометрических деталях входных поверхностных фрагментов, обеспечивая бесшовную интеграцию между завершенной частью и видимой геометрией.
• Контекстно-осведомленное внимание: Фокусируется на общей форме и позиции части в ней, обеспечивая, что завершенная часть сохраняет пропорции, семантику и согласованность общей формы.

Это позволяет HoloPart интеллектуально реконструировать скрытые геометрические детали, уважая общую структуру объекта даже для сложных частей или серьезных скрытий.

Сценарии применения

Генерируя полные части, HoloPart разблокирует множественные мощные приложения:

• Интуитивное редактирование: Легко захватывать, масштабировать, перемещать или заменять полные части
• Удобное назначение материалов: Четко назначать текстуры или материалы полным компонентам
• Готовые к анимации активы: Генерировать части, подходящие для риггинга и анимации
• Умная геометрическая обработка: Достигать более надежных геометрических операций, таких как ремешинг через согласованную обработку частей
• Осведомленная о частях генерация: Закладывая основу для будущих генеративных моделей, которые могут создавать или манипулировать 3D формами на уровне частей
• Геометрическое супер-разрешение: Улучшение деталей частей путем представления частей с высоким числом токенов

Онлайн-демо

Вы можете испытать функциональность HoloPart через эту интерактивную демонстрацию:

Связанные ссылки

• Домашняя страница проекта
• GitHub репозиторий
• Веса модели
• Онлайн-демо