CityDreamer4D是什么
CityDreamer4D是南洋理工大学 S-Lab 团队开发的用于生成无边界 4D 城市的组合生成模型。将动态物体（如车辆）与静态场景（如建筑和道路）分离，通过三个模块——建筑实例生成器、车辆实例生成器和城市背景生成器，基于高效的鸟瞰图场景表示法来生成城市场景。模型构建了包括 OSM、GoogleEarth 和 CityTopia 在内的多个数据集，涵盖多视角和多光照条件。CityDreamer4D 能生成逼真的 4D 城市，支持城市风格化、局部编辑和城市模拟等应用。
CityDreamer4D的主要功能
- 无边界 4D 城市生成：通过分离动态物体（如车辆）和静态场景（如建筑和道路），CityDreamer4D 能生成包含时间和空间维度的动态城市场景。支持生成无限扩展的城市布局，同时保持多视角一致性。
- 实例编辑与局部修改：CityDreamer4D 支持对建筑和车辆实例进行局部编辑，例如修改车辆的位置和风格，或调整建筑的高度和外观，不影响其他场景元素。
- 城市风格化：模型支持对生成的城市进行风格化处理，例如将城市风格转换为《我的世界》或赛博朋克风格，保持多视角一致性。
- 城市模拟：CityDreamer4D 可以作为强大的城市模拟工具，生成逼真的 4D 城市场景，支持街景和航拍视角，适用于自动驾驶、城市规划和虚拟现实等应用。
- 数据集支持：开发团队构建了多个数据集，包括 OSM（OpenStreetMap）、GoogleEarth 和 CityTopia，涵盖多视角和多光照条件。
CityDreamer4D的技术原理
- 分离动态与静态元素：CityDreamer4D 将动态物体（如车辆）与静态场景（如建筑和道路）分离，分别由不同的生成器处理。
- 模块化生成：模型由三个主要模块组成：
- 建筑实例生成器（Building Instance Generator）：负责生成建筑实例，使用对象中心坐标空间来捕捉建筑的紧凑形状。
- 车辆实例生成器（Vehicle Instance Generator）：生成车辆实例，采用对象规范坐标空间，结合周期性位置编码。
- 城市背景生成器（City Background Generator）：生成背景元素（如道路、植被等），使用生成性哈希网格来处理背景的不规则纹理。
- 鸟瞰图场景表示法：为了提高效率和可扩展性，CityDreamer4D 采用了高效的鸟瞰图（BEV）场景表示法。通过紧凑的 BEV 地图来描述城市布局，结合高度图来表示建筑高度，支持无边界扩展。
- 神经场组合：模型基于面向背景和面向实例的神经场来生成背景元素和实例（建筑和车辆）。能有效捕捉城市中不同元素的多样性和独特性。
CityDreamer4D的项目地址
- 项目官网：https://www.infinitescript.com/project/city-dreamer-4d
- GitHub仓库：https://github.com/hzxie/CityDreamer4D
- arXiv技术论文：https://arxiv.org/pdf/2501.08983
CityDreamer4D的应用场景
- 城市模拟与规划：CityDreamer4D 可以作为强大的城市模拟工具，生成逼真的 4D 城市场景，支持动态物体（如车辆）和详细环境的生成。
- 局部编辑与定制化：借助其组合式架构，CityDreamer4D 支持对建筑和车辆实例的局部编辑。可以独立修改车辆的位置和风格，或调整建筑的高度和外观，不会影响其他场景元素。
- 城市风格化：CityDreamer4D 支持城市风格化处理，能将《我的世界》（Minecraft）或赛博朋克（Cyberpunk）等不同风格无缝应用于整个城市。
- 多视角一致性：在生成的 4D 城市中，CityDreamer4D 能确保多视角一致性，支持街景和航拍视角的生成。