在2023年世界人工智能大会上,上海人工智能实验室联合香港中文大学和上海市测绘院发布了城市级NeRF实景三维大模型"书生·天际(LandMark)"。
据了解,该模型采用了新的实景三维模型表征和训练范式,可以用4K级图像精度展现大规模三维城市场景。"书生·天际"同时具备城市布局调整能力,可以移除、移动和新建城市建筑,同时能够调节光照、季节等城市风格,实现所谓的"上帝视角"。
此外,该模型在图像质量方面取得了突破,实现了4K分辨率离线渲染,并实现了城市级NeRF的100平方公里全范围1K分辨率、30帧实时渲染。
据现场介绍,"书生·天际"利用少量的倾斜拍摄图像即可实现大规模场景的三维实景建模,并具有无限的可扩展性。相比传统的建模方式,它提升了效率,并为城市数字孪生领域节约了人力和资源。
这项技术突破的核心是上海AI实验室提出的CityNeRF技术,该技术将NeRF建模技术从物体级扩展到城市级,通过融合卫星和近景影像等不同高度的影像,实现了城市级NeRF的建模。这为模型的大范围无限扩展建模提供了技术基础。