TANGLED是什么
TANGLED是上海科技大学、Deemos Technology和华中科技大学联合推出的3D发型生成方法，支持从任意风格和视角的图像中生成高质量的3D发丝。TANGLED基于三个核心步骤实现：用多样化的MultiHair数据集提供丰富的发型样本；基于多视图线稿的扩散框架，用线稿特征的交叉注意力捕捉发型的拓扑结构；基于参数化后处理模块修复复杂发型（如辫子）的细节。TANGLED提升了发型的真实感和多样性，支持文化包容性数字角色的创建，为动画和增强现实等领域提供新的应用可能性。
TANGLED的主要功能
- 多样化发型生成：支持处理各种复杂发型，如辫子、卷发、传统发型等。
- 多视图输入支持：接受单视图或多视图图像作为输入。
- 灵活的输入风格：支持多种输入风格，包括照片、手绘草图、卡通和油画等，满足不同应用场景的需求。
- 文化包容性：特别关注未被充分代表的发型纹理（如卷曲、辫子）和复杂几何结构，支持生成具有文化意义的发型。
- 高效集成：生成的3D发型能直接集成到现有的CG流程中，如Blender和Unreal Engine。
TANGLED的技术原理
- NeuraPressMultiHair数据集：提供457种多样化发型，标注了74个属性，重点关注复杂和具有文化意义的发型。数据集基于多视图渲染和线稿提取增强多样性，用GPT-4生成详细的文本标注。
- 扩散框架：基于多视图线稿的扩散模型，线稿特征捕捉发型的拓扑结构（如发丝密度、分界线）。用DINOv2提取线稿特征，基于交叉注意力机制将其整合到扩散模型中。随机混合不同视角的线稿特征，增强模型对不同输入风格和视角的适应性。
- 参数化后处理模块：针对复杂发型（如辫子）设计参数化建模和修复技术。用Frenet-Serret框架生成辫子的几何结构，基于注意力机制自然融入发型中。基于Laplacian平滑技术减少高频率噪声，确保发型的几何连贯性和视觉效果。
TANGLED的项目地址
TANGLED的应用场景
- 文化包容性虚拟人物创建：生成多样化发型，支持不同文化背景的虚拟人物设计。
- 动画发型设计：从草图生成3D发型，提升动画制作效率。
- 增强现实（AR）发型预览：结合AR技术，让用户虚拟试戴不同发型。
- 虚拟试妆应用：帮助用户在购买前预览发型效果。
- 基于草图的3D发丝编辑：基于修改草图快速调整发型，适用于创意设计领域。