3DTown是什么
3DTown 是哥伦比亚大学联合Cybever AI等机构推出的从单张俯视图生成3D城镇场景框架。框架基于区域化生成和空间感知的3D修复技术，将输入图像分解为重叠区域，基于预训练的3D对象生成器分别生成每个区域的3D内容，基于掩码修正流修复过程填补缺失的几何结构，同时保持结构连续性。3DTown 支持生成具有高几何质量和纹理保真度的连贯3D场景，在多种风格的场景生成中表现出色，优于现有的先进方法。
3DTown的主要功能
- 生成多样化的3D场景：支持不同风格和布局的场景生成，如“雪镇”、“沙漠小镇”等。
- 保持几何和纹理一致性：生成的3D场景在几何结构和纹理上与输入图像高度一致。
- 高效处理复杂场景：能有效处理复杂场景，避免几何失真和布局幻觉。
3DTown的技术原理
- 区域化生成：将输入图像分解为重叠区域，每个区域独立生成3D内容。用预训练的3D对象生成器对每个区域进行生成，提高局部对齐和分辨率。基于区域融合，将生成的区域逐步合并为连贯的全局3D场景。
- 空间感知3D修复：用单目深度估计和地标检测初始化粗略的3D结构，作为空间先验。基于掩码修正流（Masked Rectified Flow）技术，填补缺失的几何结构，同时保持已知内容的连续性。基于两阶段的掩码修正流管道，生成稀疏结构和结构化潜在表示，确保全局一致性。
- 结构化潜在表示：基于结构化潜在表示来构建3D场景，包括位置索引和潜在特征向量。用稀疏结构生成器和结构化潜在生成器，逐步生成3D场景的潜在表示。
- 模块化设计：基于模块化设计，将复杂的3D场景生成问题分解为多个子问题，每个子问题独立解决后再进行整合。
3DTown的项目地址
3DTown的应用场景
- 虚拟世界构建：快速生成虚拟城镇或场景，为虚拟现实（VR）和增强现实（AR）应用提供逼真的环境。
- 游戏开发：为游戏设计师提供高效工具，从简单俯视图生成复杂3D游戏场景，节省时间和成本。
- 机器人模拟：创建逼真的3D场景用于机器人训练，提高机器人在复杂环境中的导航和交互能力。
- 数字内容创作：帮助艺术家和设计师快速生成3D场景原型，加速创意过程，提升工作效率。
- 建筑与城市规划：从概念草图生成3D建筑模型和城市布局，辅助规划和设计工作，便于方案展示和评估。