多尺度的CityNeRF: Building NeRF at City Scale

作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/450671684

编辑丨3D视觉工坊

arXiv2021年12月17日上传论文"CityNeRF: Building NeRF at City Scale"，作者来自香港中文大学、德国马普研究所和新加坡南洋理工学院。

神经辐射场（NeRF）通常在单尺度下，在三维目标和控制场景的建模中取得了优异的性能。第一次尝试这项工作NeRF从捕获城市概览的卫星级图像到显示建筑复杂细节的地面级图像的变化，引入城市规模。相机到场景的距离很宽，产生了不同的细节级别（level-of-detail）以及空间覆盖范围的多尺度数据，这是普通的NeRF它带来了巨大的挑战，并取得了折衷的结果。要解决这些问题，CityNeRF采用渐进学习（progressive learning）模式，同时发展NeRF模型和训练集。从浅的base block拟合远视图，随着训练，添加新块以适应越来越近视图中的细节。该策略有效地激活了位置编码（positional encoding）在训练过程中，中高频通道打开更复杂的细节。视图中有各种城市规模场景的快速变化CityNeRF它有优势，支持不同的细节级别（level-of-detail）视图渲染。

上图实际上告诉这样一个事实：对于城市场景，相机可以在很大程度上自由移动；值得注意的是，相机与场景之间的距离跨度很大，导致固有的多尺度特征：随着相机的增加，场景中的地面目标将获得较厚的外观图，几何细节较少，纹理分辨率较低；同时，来自周边区域的新目标正以不断增长的空间覆盖率被一个个纳入视图中。

NeRF使用多层传感器（MLP）参数化体积密度和颜色，成为输入坐标的函数。对于图像上显示的每个像素，光r（t）像素从相机的投影中心发射。一种分层抽样方法，确定近平面和远平面之间的光线排序距离向量。射线上的任何查询点r（tk），MLP傅里叶变换的特征，即位置编码（PE），输出颜色和密度：

将3D位置x(也可以添加观察方向)将正弦和余弦映射组合到预定义的频率级M，可实现PE：

然后根据经典体绘制（volume rendering）该方法优化了网络，包括所有采样点r（tk）估计的密度和颜色通过密度和颜色（quadrature）近似体绘制积分：

最后(颜色)损失函数是:

不过，普通NeRF如图所示：渲染图像上的缺陷显示在实心框高亮区域，GT patch侧面显示。（a） 所有尺度的联合训练都会导致近景纹理模糊，远景几何不完整；（b） 每个尺度的单独训练产生连续尺度之间不一致的几何和纹理。

另外，位置编码PE如图所示：（a） 不同尺度的视图需要不同的傅里叶特征频率来恢复细节；虽然近距离视图需要高频傅里叶特征，但低频傅里叶特征足以表示远程视图；（b） 渐进式训练策略有效激活PE在较深如B3)高频傅里叶特征，普通NeRF不断失败，即使加上最深的跳连接。

提出如图所示CityNeRF方法概述：（a） 城市规模场景中多尺度数据的图表，包括L∈ {1,2,3，…}表示每一个尺度。模型在每个阶段都与训练集同步增长。（b） 新的residual blocks附加到网络中，从最远尺度到当前尺度的样本合并集，监督这个训练过程；residual blocks如虚框所示。（c） 在不同residual blocks细节级渲染结果。可见细节从浅到深，一点一点添加。

由于浅的base blocks适用于远视图，所以学习特征与低细节相匹配，所以只激活PE低频通道。然而，新的residule blocks需要访问PE为了在更近的视图中构建新的细节，高频通道。

根据前面训练中最后一点变换层获得的潜在特征，输出残差的颜色和密度：

头输出聚合成：

在一个多尺度的监督框架下，训练步L的损失有以前的输出头聚合而成的:

实验结果比较：

本文仅进行学术分享。如有侵权行为，请联系删除。

3D推荐视觉精品课程：

1.自动驾驶领域的多传感器数据集成技术

2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进
4.中国第一门面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释
6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化
8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)

9.从零开始建造一套结构光3D重建系统[理论 源码 实践]

10.单目深度估计方法:算法梳理和代码实现

11.在自动驾驶中部署深度学习模型

12.相机模型及标定(单目) 双目 鱼眼）

13.重磅！四旋翼飞机：算法与实战

重磅！3DCVer-提交学术论文写作交流群已成立

扫码添加小助手微信，可申请加入3D视觉研讨会-学术论文写作和提交微信交流群旨在交流顶会、顶刊、SCI、EI等待写作和提交。

同时也可以申请加入我们的细分交流群。目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶，多传感器集成，CV入门，三维测量，VR/AR、3D人脸识别、医学影像、缺陷检测、行人重识别、目标跟踪、视觉产品着陆、视觉竞赛、车牌识别、硬件选择、学术交流、求职交流、ORB-SLAM系列源码交流，深度估计等微信群。

注：研究方向 学校/公司 昵称，例如：”3D视觉 上海交大 安静。请按格式备注，可快速通过并邀请进入群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注微信官方账号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程(三维重建系列，三维点云系列，结构光系列，手眼标定，相机标定，激光/视觉SLAM、自动驾驶等）、总结知识点，进入高级学习路线，最新paper分享，回答问题深耕五个方面，各大厂的算法工程师进行技术指导。同时，星球将与知名企业合作发布3家D视觉相关算法开发岗位和项目对接信息，打造集技术与就业于一体的铁杆粉丝聚集区，近4000星球成员打造更好的AI世界共同进步，知识星球入口:

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈子里有高质量的教程资料，回答问题，帮助你有效地解决问题

感觉有用，请给个赞和看~