AuraFusion360是什么
AuraFusion360是用于360°无边界场景修复的新型基于参考的方法，主要用于虚拟现实和建筑可视化等领域的三维场景修复。通过高斯散射表示的3D场景，实现了高质量的物体去除和孔洞填充。核心包括：深度感知的未见区域掩码生成，用于准确识别遮挡区域；自适应引导深度扩散（AGDD），无需额外训练的零样本方法，可实现初始点的准确放置；以及基于SDEdit的细节增强，确保多视角一致性。
AuraFusion360的主要功能
- 高质量修复：在保持几何精度的同时，显著优于现有方法，能够适应戏剧性视角变化，展现出卓越的感知质量。
- 高质量的多视图一致性：AuraFusion360 通过结合高斯点云的显式表示和扩散模型的生成能力，确保在显著视角变化下保持多视图一致性。
- 物体移除与高斯点云优化：AuraFusion360 能直接移除高斯点云中具有遮挡属性的物体，通过优化未投影的高斯点云来实现高质量的场景修复。
- 支持复杂几何结构的修复：适用于复杂几何结构的场景修复，能有效处理大视角变化和显著遮挡的情况。通过深度感知未见区域掩码生成和自适应引导深度扩散。
AuraFusion360的技术原理
- 深度感知未见区域掩码生成：通过深度图变形技术，识别场景中被遮挡的区域，生成未见区域掩码。基于单目深度估计和几何对齐，确保修复区域的准确性。
- 自适应引导深度扩散（AGDD）：AGDD 是一种零样本方法，无需额外训练即可将估计的单目深度与现有几何结构对齐。通过自适应调整深度信息，确保修复后的场景在几何上的一致性。
- 基于 SDEdit 的细节增强：通过 SDEdit 引导增强细节，确保多视角下的一致性。SDEdit 基于 RGB 引导，能保留参考视图信息，在修复过程中保留场景的细节和纹理。
- 360-USID 数据集支持：AuraFusion360 引入了360-USID 数据集，是首个针对360°无边界场景修复的全面数据集，包含地面真实数据。
AuraFusion360的项目地址
- 项目官网：https://kkennethwu.github.io/aurafusion360/
- Github仓库：https://github.com/kkennethwu/AuraFusion360_official
- arXiv技术论文：https://arxiv.org/pdf/2502.05176
AuraFusion360的应用场景
- 虚拟场景编辑：在VR环境中，需要移除或替换场景中的某些物体。AuraFusion360 可以高质量地修复这些被移除物体后的孔洞，确保场景的完整性和一致性。
- 建筑模型优化：在建筑模型中，需要移除某些不希望出现的物体，如临时支撑结构或施工材料。AuraFusion360 可以帮助优化这些模型，生成更清晰、更准确的建筑可视化效果。
- 特效制作：在影视特效中，需要移除或替换场景中的某些物体，例如吊索、支架或临时道具。AuraFusion360 可以高质量地修复这些区域，生成更逼真的特效效果。
- 文物修复：在文化遗产保护中，需要修复或重建某些损坏的文物或历史建筑。AuraFusion360 可以帮助生成高质量的修复效果，确保文物的完整性和历史价值。