VAST-AI lanza HoloPart: Tecnología de segmentación amodal generativa de partes 3D
El equipo conjunto de investigación de VAST-AI y la Universidad de Hong Kong ha lanzado recientemente HoloPart, un nuevo tipo de tecnología de segmentación amodal de partes 3D que puede descomponer modelos 3D en partes completas y semánticamente significativas. Esta tecnología no solo identifica las superficies visibles del modelo, sino que también puede inferir la estructura geométrica de las partes ocultas, logrando una segmentación de partes verdaderamente completa.
Resolviendo puntos críticos en la creación de contenido 3D
Al crear contenido 3D, editar modelos 3D descargados, escaneados o generados por IA a menudo presenta desafíos significativos. Estos modelos son típicamente “una pieza sólida” de geometría, lo que hace extremadamente difícil ajustar, animar o aplicar diferentes materiales a partes individuales (como patas de sillas o monturas de gafas).
Si bien las técnicas existentes de segmentación de partes 3D pueden identificar superficies visibles pertenecientes a diferentes partes, generalmente producen piezas fragmentadas e incompletas, lo que limita enormemente su valor práctico en la creación de contenido.
HoloPart introduce una nueva tarea: Segmentación Amodal de Partes 3D—no solo descompone formas 3D en fragmentos de superficie visibles, sino en partes completas con información semántica, generando componentes completos incluso cuando algunas porciones están ocultas.
Cómo funciona HoloPart
HoloPart es una nueva tecnología basada en difusión inspirada en la percepción amodal (la capacidad humana de percibir objetos completos incluso cuando partes están ocultas). La tecnología se implementa a través de un enfoque de dos etapas:
-
Segmentación inicial: Primero, se obtienen fragmentos de superficie iniciales (partes incompletas) utilizando métodos avanzados existentes (como SAMPart3D).
-
Completado de partes: El fragmento de parte incompleto, junto con la información contextual de toda la forma, se introduce en el nuevo modelo HoloPart. Basado en una arquitectura de Transformador de Difusión, HoloPart puede generar geometría 3D completa y razonable para la parte.
HoloPart está construido sobre el modelo base de generación 3D TripoSG, desarrollado a través de un extenso pre-entrenamiento en grandes conjuntos de datos (como Objaverse) y un ajuste fino especializado en datos de parte-todo, dándole una comprensión profunda de la geometría 3D.
Su innovación clave reside en un mecanismo de atención dual:
- Atención local: Se centra en los detalles geométricos finos de los fragmentos de superficie de entrada, asegurando una integración perfecta entre la parte completada y la geometría visible.
- Atención consciente del contexto: Se centra en la forma general y la posición de la parte dentro de ella, asegurando que la parte completada mantenga la proporción, la semántica y la consistencia de la forma general.
Esto permite a HoloPart reconstruir inteligentemente los detalles geométricos ocultos, respetando la estructura general del objeto incluso para partes complejas o oclusiones severas.
Escenarios de aplicación
Al generar partes completas, HoloPart desbloquea múltiples aplicaciones potentes:
- Edición intuitiva: Agarrar, escalar, mover o reemplazar fácilmente partes completas
- Asignación conveniente de materiales: Asignar claramente texturas o materiales a componentes completos
- Activos listos para animación: Generar partes adecuadas para rigging y animación
- Procesamiento geométrico inteligente: Lograr operaciones geométricas más robustas como remallado a través del procesamiento coherente de partes
- Generación consciente de partes: Sentar las bases para futuros modelos generativos que puedan crear o manipular formas 3D a nivel de partes
- Super-resolución geométrica: Mejorar los detalles de las partes representándolas con un alto número de tokens
Demo en línea
Puede experimentar la funcionalidad de HoloPart a través de esta demo interactiva: