UniRig是什么
UniRig是清华大学计算机系和VAST联合推出的创新自动骨骼绑定框架，用在处理复杂和多样化的3D模型。基于大型自回归模型和骨骼点交叉注意力机制，生成高质量的骨骼结构和蒙皮权重。框架引入Rig-XL数据集，包含超过14,000个3D模型，涵盖多种类别，用在训练和评估。UniRig在骨骼绑定精度和运动精度上显著优于现有的学术和商业方法，支持无缝应用在从动漫角色到复杂有机和无机结构的各种对象类别，极大地提高动画制作的效率。
UniRig的主要功能
- 自动骨骼生成：为各种3D模型（如人类、动物、虚构角色等）生成拓扑结构正确的骨骼树。
- 蒙皮权重预测：预测每个骨骼对网格顶点的影响权重，确保网格在骨骼动画驱动下自然变形。
- 支持多样化模型：适用于多种类型的3D模型，包括复杂的有机和无机结构。
- 高效动画制作：提高动画制作的效率，减少手动操作的时间和工作量。
- 动态效果支持：生成支持物理模拟的骨骼属性（如弹簧骨骼）。
UniRig的技术原理
- 骨骼树标记化：将骨骼树结构转换为序列化的标记，便于自回归模型高效处理。基于特殊标记（如<type>）表示骨骼类型（如弹簧骨骼、模板骨骼），用深度优先搜索（DFS）算法提取线性骨骼链，紧凑地表示骨骼结构。骨骼树标记化能减少序列长度，提高模型的训练和推理效率。
- 自回归模型：基于Transformer的自回归模型（如Skeleton Tree GPT）预测骨骼树。模型逐个生成标记构建骨骼树，确保生成的骨骼结构在拓扑上是有效的。模型的输入包括从3D网格采样的点云和可选的类别信息，输出是表示骨骼树的标记序列。
- 骨骼点交叉注意力机制：基于点云编码器和骨骼编码器分别提取点云和骨骼树的特征，用交叉注意力机制结合特征预测蒙皮权重。
- 大规模数据集：为训练和评估UniRig，研究者们构建Rig-XL数据集，包含超过14,000个3D模型，涵盖多种类别。数据集的多样性和规模让UniRig能学习到不同类型的骨骼结构和蒙皮权重，提高模型的泛化能力。
- 物理模拟辅助训练：在训练过程中引入物理模拟，基于模拟骨骼在物理力（如重力、弹性力）下的运动，评估预测的蒙皮权重和骨骼属性的合理性。间接监督方法能引导模型学习逼真的蒙皮权重，提高动画的真实感。
UniRig的项目地址
- 项目官网：https://zjp-shadow.github.io/works/UniRig/
- GitHub仓库：https://github.com/VAST-AI-Research/UniRig
- HuggingFace模型库：https://huggingface.co/VAST-AI/UniRig
- arXiv技术论文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf
UniRig的应用场景
- 动画制作：快速生成骨骼和蒙皮权重，减少手动操作，提升动画制作效率。
- 虚拟角色：为虚拟角色（如VTuber）生成自然流畅的骨骼绑定，支持实时动画。
- 游戏开发：快速生成角色和物体的骨骼绑定，支持动态效果，提升游戏视觉效果。
- 3D内容创作：适用建筑设计、工业设计等，支持多样化3D模型的骨骼绑定。
- 教育领域：作为教学工具，帮助学习者快速掌握骨骼动画的基本概念。