腾讯开源混元3D 2.0:几何与纹理的分离架构带来高精度的3D生成质量
腾讯正式开源混元3D 2.0(Hunyuan3D 2.0),这是一个首创几何与纹理分离两阶段架构的大规模3D资产生成系统。该系统专注于从文本和图像高效生成高分辨率3D模型,通过先生成无纹理几何模型再合成高分辨率纹理贴图的方式,有效解决了3D生成中的精度与效率难题。
系统核心技术
混元3D 2.0包含三大核心技术组件:
-
几何生成模型(混元3D-DiT):基于可扩展的扩散变换器(DiT)架构,通过条件图像精准生成高精度几何结构。该模型能捕捉输入图像的关键特征,支持文本或图像输入快速生成3D模型基础形态,模型参数量为1.1B。
-
纹理合成模型(混元3D-Paint):针对生成的几何模型,通过大规模扩散模型合成高分辨率纹理贴图,实现细节丰富、色彩逼真的表面效果,支持PBR材质,模型参数量为1.3B。
-
多模态输入支持:突破性支持多视图输入(2-4张图片),可快速生成高精度3D资产。最近(2025年3月18日)推出的多视角形状生成模型(混元3D-2mv)进一步增强了这一能力,使从不同角度输入生成更加详细的几何结构成为可能。
性能与创新优势
-
高质量生成效果:在几何细节(如人脸、钢琴键)、条件对齐和纹理质量等方面表现优异。例如,足球纹理贴图无缝且清晰,复杂结构(如城堡、山体)的几何与纹理匹配度高。
-
效率优化:通过FlashVDM加速框架,将生成时间缩短至30秒内完成全流程。混元3D-2mini模型仅需5GB显存,标准版本形状生成需6GB显存,完整过程(形状+纹理)仅需12GB显存。
-
完整工具链支持:提供完整的推理代码、预训练模型及一站式创作平台,支持纹理更换、模型优化等功能,并兼容主流3D工具链,包括代码调用、Gradio应用、Blender插件以及官方网站快速体验。
开源模型系列
目前,混元3D 2.0已开源多个模型,覆盖完整的3D生成流程:
混元3D-2mini系列(轻量化版本)
模型 | 描述 | 日期 | 参数量 | 仓库链接 |
---|---|---|---|---|
Hunyuan3D-DiT-v2-mini | 小型图像到形状模型 | 2025-03-18 | 0.6B | 访问仓库 |
混元3D-2mv系列(多视角增强版)
模型 | 描述 | 日期 | 参数量 | 仓库链接 |
---|---|---|---|---|
Hunyuan3D-DiT-v2-mv-Fast | 指导蒸馏版本,可将DiT推理时间缩短一半 | 2025-03-18 | 1.1B | 访问仓库 |
Hunyuan3D-DiT-v2-mv | 多视角图像到形状模型,适用于需要从多角度理解场景的3D创作 | 2025-03-18 | 1.1B | 访问仓库 |
混元3D-2标准系列
模型 | 描述 | 日期 | 参数量 | 仓库链接 |
---|---|---|---|---|
Hunyuan3D-DiT-v2-0-Fast | 指导蒸馏模型,加速版几何生成 | 2025-02-03 | 1.1B | 访问仓库 |
Hunyuan3D-DiT-v2-0 | 图像到形状模型,主要几何生成组件 | 2025-01-21 | 1.1B | 访问仓库 |
Hunyuan3D-Paint-v2-0 | 纹理生成模型 | 2025-01-21 | 1.3B | 访问仓库 |
Hunyuan3D-Delight-v2-0 | 图像去光影模型,生成光照不变的纹理 | 2025-01-21 | 1.3B | 访问仓库 |
应用场景与突破
相较于1.0版本,混元3D 2.0在几何细节、纹理质量及生成效率上均有显著提升,CLIP指标验证其语义一致性表现优异。例如,可以直接导入一张草图,30秒内生成卡通风格的完整3D模型,几何结构更加锐利、精准,材质更加稳定。
在实际应用中,这些生成的模型可大幅降低游戏开发、UGC创作、虚拟现实内容创作、产品设计原型和教育演示等多个领域的建模门槛。对于缺乏3D建模专业技能的创作者,这一工具实现了从创意到3D模型的无缝转化。
相关资源与体验方式
- 项目官网:https://3d-models.hunyuan.tencent.com/
- GitHub仓库:https://github.com/Tencent/Hunyuan3D-2
- 在线体验:您可以通过项目官网直接体验混元3D 2.0的强大功能,无需本地安装
社区资源与扩展
以下是与混元3D-2相关的ComfyUI社区资源:
- ComfyUI-Hunyuan3DWrapper - 提供更全面的混元3D 2.0 ComfyUI集成
- ComfyUI-3D-Pack - 包含多种3D生成工具的ComfyUI扩展包
- Kijai/Hunyuan3D-2_safetensors - 社区转换的safetensors格式模型文件