VAST-AI и Университет Цинхуа открывают исходный код UniRig: Фреймворк для автоматического скелетного риггинга всех 3D моделей

Совместная исследовательская команда из VAST-AI (Tripo) и Университета Цинхуа недавно открыла исходный код UniRig, фреймворка, разработанного для революции автоматического скелетного риггинга для 3D моделей. Эта технология знаменует важный прорыв в области компьютерной графики, используя мощные возможности крупных авторегрессионных моделей для генерации высококачественных скелетных структур и весов скиннинга для разнообразных 3D моделей, решая один из самых сложных аспектов рабочих процессов анимации.

Решение ключевого узкого места в создании 3D контента

С процветанием метавселенной, разработки игр и производства цифрового контента спрос на 3D модели переживает взрывной рост. Однако процесс преобразования статических моделей в анимируемые персонажи через скелетный риггинг остается значительным узким местом — требующим не только времени, но и специализированных навыков.

Профессиональные риггеры персонажей должны тратить часы или даже дни на создание скелетных иерархий для сложных моделей, затем тщательно настраивать веса для обеспечения естественной деформации. Для начинающих этот процесс имеет крутую кривую обучения, и даже для профессионалов он остается одним из самых трудоемких аспектов рабочего процесса.

Существующие инструменты автоматического риггинга в основном делятся на две категории:

• Методы на основе шаблонов: Хотя относительно надежны для стандартных гуманоидных персонажей, они часто терпят неудачу при столкновении с новыми формами (такими как многоногие существа, механические структуры или фантастические существа)
• Методы без шаблонов: Хотя более гибкие, генерируемые скелетные топологии часто не соответствуют ожиданиям художников, и точность контроля ограничена

UniRig: Одна модель для риггинга всех

UniRig вводит новую парадигму для автоматического скелетного риггинга, применяя концепции крупных языковых моделей (LLM). Исследовательская команда рассматривает скелетные структуры как специальный “язык”, позволяя модели “понимать” и “генерировать” присущую скелетную логику различных существ и объектов.

Инновации UniRig включают:

1. Инновационный механизм токенизации скелетного дерева

Токенизация скелетного дерева является основной инновацией UniRig, решая проблему кодирования скелетных структур со сложными иерархическими отношениями в линейные последовательности. Эта схема интеллектуально кодирует:

• Координаты суставов: Представляя пространственные позиции в дискретизированной форме для геометрической точности
• Иерархическую структуру: Четко определяя отношения родитель-потомок для обеспечения действительных скелетных деревьев
• Семантическую информацию: Идентифицируя различные типы костей через специализированные токены (такие как основные кости, IK контроллеры, вспомогательные физические кости и т.д.)

Этот дизайн сокращает длину последовательности примерно на 30% по сравнению с традиционными методами, значительно улучшая эффективность модели и качество генерации.

2. Двухэтапная архитектура обеспечивает высококачественные результаты

UniRig использует тщательно разработанную двухэтапную архитектуру:

1. Этап генерации скелета: GPT-основанный Transformer генерирует суставы один за другим через авторегрессию, формируя полную скелетную иерархию. Этот процесс учитывает как глобальные, так и локальные геометрические особенности, обеспечивая, что скелет тесно соответствует форме 3D модели.

2. Этап предсказания весов скиннинга: Через инновационный механизм “Bone-Point Cross Attention”, UniRig может точно вычислять, как каждая вершина модели влияется окружающими костями, генерируя естественные, плавные веса скиннинга. Система также может предсказывать физические параметры для специализированных костей (такие как коэффициенты пружины для физических костей), поддерживая продвинутые эффекты анимации.

Набор данных Rig-XL: Движение обобщения через разнообразие

Для поддержки обучения UniRig исследовательская команда построила Rig-XL, крупнейший набор данных скелетного риггинга на сегодняшний день, содержащий более 14,000 разнообразных ригнутых 3D моделей. Этот набор данных охватывает:

• Гуманоидных персонажей (реалистичные и мультипликационные стили)
• Четвероногих (домашние животные, дикая природа, фантастические существа)
• Птиц и летающих существ
• Насекомых и членистоногих
• Механические структуры и неорганические объекты
• Персонажей в стиле аниме (включая физические пружинные кости)

Обучаясь на таких разнообразных данных, UniRig получил мощные возможности обобщения, способные обрабатывать различные невиданные формы моделей.

Преимущества производительности в производстве

В множественных сравнительных тестах UniRig значительно превзошел существующие коммерческие и академические решения:

• Точность привязки улучшена на 215%: Позиции костей и иерархические структуры лучше соответствуют ожиданиям профессиональных художников
• Качество анимации улучшено на 194%: Генерируемые веса производят более естественные и плавные деформации во время анимации
• Возможности обработки значительно расширены: Успешно обрабатывает формы от простых до крайне сложных (таких как многоногие насекомые или многоногие фантастические персонажи)
• Высокая эффективность: Большинство моделей обрабатываются в течение 1-5 секунд, намного меньше времени, требуемого профессиональными риггерами

Потенциальная интеграция с рабочим процессом ComfyUI

Поскольку генеративные модели ИИ, такие как TripoSG и TripleSF, применяются в ComfyUI, генерация высококачественных 3D моделей стала возможной. Однако сгенерированные модели обычно не имеют скелетных структур, ограничивая их применение в анимации.

UniRig имеет потенциал для бесшовной интеграции с рабочим процессом генерации 3D ComfyUI, обеспечивая сквозной процесс от креативной концепции до анимируемого персонажа:

1. Генерировать 3D модели, используя текстовые или изображенческие промпты
2. Автоматически добавлять скелетные структуры через UniRig
3. Экспортировать в любое программное обеспечение или игровой движок, поддерживающий скелетную анимацию

Кроме того, в сочетании с технологией HoloPart, выпущенной вчера, он может обеспечить редактирование на уровне компонентов и генерацию скелета моделей, предоставляя создателям беспрецедентную гибкость.

Текущий статус открытого исходного кода

VAST-AI начала постепенно открывать исходный код различных компонентов UniRig:

• ✅ Уже открыт исходный код: Модель предсказания скелета (обучена на Articulation-XL2.0)
• ⏳ Скоро: Модель предсказания весов скиннинга
• ⏳ Скоро: Наборы данных Rig-XL и VRoid
• ⏳ Скоро: Полные чекпоинты модели UniRig, обученные на Rig-XL/VRoid

Обратная связь создателей и участие сообщества открытого исходного кода

Независимые 3D художники, которые тестировали UniRig рано, заявили, что технология “значительно изменила креативный процесс” и “открыла дверь к созданию анимации для непрофессиональных риггеров.” Разработчик игр прокомментировал: “UniRig может завершить за секунды то, что ранее занимало часы, и качество даже лучше.”

VAST-AI приглашает сообщество открытого исходного кода участвовать в дальнейшем развитии UniRig, особенно в следующих областях:

• Специализированная тонкая настройка для конкретных типов моделей
• Интеграция плагинов с существующим программным обеспечением для создания 3D
• Оптимизированные легковесные модели для меньших устройств

Связанные ссылки

• Домашняя страница проекта
• GitHub репозиторий
• Веса модели

VAST-AI недавно часто открывает исходный код множественных проектов, связанных с созданием 3D, включая UniRig, представленный сегодня, HoloPart, TripleSF, а также MIDI и MV-Adapter для сквозной генерации трехмерных составных сцен из одиночных изображений, непрерывно ведущих направление технологии генерации 3D и предоставляющих более мощные инструменты для креативного сообщества.