Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect 论文阅读,简单总结。

摘要

论文聚焦于单目SLAM。当前没有工作对光学标定、运动偏移(Motion bias)和卷帘快门对算法的影响进行分析。本文针对当前最先进的直接法、基于特征的、半直接法SLAM,对上面提到的三个影响进行分析。得到一些结论(一些是反直觉的)。可能的提升方法被指出或者提出(实现?),比如亚像素的refine提升了ORB-SLAM的指标。

Introduction

三点影响:

  • 光学标定:对于同一个3D点,不同图像可能由于相机光学暗角(optical vignetting)、自动增益和曝光控制(auto gain and exposure controls)、得到不一样的亮度。
  • 运动偏移:在同一个图像序列上正向和反向有时会导致很大的指标差距。
  • 卷帘快门影响:统一图像上的像素可能是不同时间被拍摄得到,可能产生畸变,并对视觉里程计系统产生不可忽视的影响。

本文选择了DSO[8],ORB-SLAM[5],SVO[9],三个SLAM算法(分别是直接、基于特征、半直接)。目标是通过实验为以后的算法提供一些借鉴。三点贡献:

  • 揭示了光学标定可以很明显地提高直接法的指标,通过实验。得到了反直觉的结论并且分析了可能的原因。
  • 尽管运动偏移已经被[10]发现有很大的影响,但是没有经过仔细的研究。本文详细地讨论的这个影响,分析了原因,经过实验来支撑本文结论。
  • 在[8]中卷帘快门的影响被部分的进行了解决,即使用随机像素平移,本文对当前算法在全局快门和模拟卷帘快门相机图像上进行实验。同时还在工业相机上(卷帘快门,读取速度很快)进行了选择的算法的实验。
  • 在[8],[10]只有直接法和基于特征法的方法被进行过相关的讨论。本文中还进行了半直接法[7],[9]的讨论。
  • 对于存在的SLAM算法进行了可能的改进,亚像素精度的ORB-SLAM被提出。

相关工作

A 直接法(略)
B 特征法(略)
C 半直接法
半直接法可以被认为是上面两种方法的混合。SVO[7]提取Fast角点,并在这些区域上进行直接的图像对齐,来初始化位姿。特征后来被扩展为边缘[9]、线段[14]来提升健壮性。被选择的像素点的深度被只用多个视角的观测进行了持续地贝叶斯深度滤波。为了减少尺度漂移的积累,位姿和深度被使用BA持续地修正。特征的对应问题使用光流法进行解决,之后使用BA算法对重投影误差进行优化(优化的是land mark还是相机位姿还是两者,这个应该要看看)。由于其高效性和低成本,SVO可以被移植到其他设备上,因此得到了很多的应用。
D 数据集

  • TUM Mono VO[10]
  • EuRoc MAC[6]
  • ICL-NUIM[17]
  • Cityscapes[19]

评估

光学标定

35830-ca6h4zi1sqe.png
在TUM mono VO dataset上进行了是否有光学标定的评估。结果如上图所示,DSO在这个数据集上都要由于ORB和SVO,并且DSO是标定条件越多,效果越好。而ORB和SVO都是在进行光学标定后效果降低了,而且文中提到的两种标定对指标降低的程度相近。
88385-kqxu47ka81.png
分析认为,相机响应标定函数将暗区域的对比度压缩,将两区域的对比度增强。导致了基于特征点的ORB在暗区域的特征提取受到很大影响。为了试着解决,文章把角点提取的阈值降低,这又导致了匹配的是特征,而特征由于图像在暗的区域的信息被压缩,导致了分辨能力下降,出现了匹配不准确的现象。而对于SVO作者认为,SVO match的是图像块而不是特征,与DSO相似,对于暗区域对比度的下降更敏感一些。

运动偏移(? Motion Bias..)

15795-77ktrwdi475.png
研究方法是将一个数据集正着、反着跑算法。SVO在TUM Mono VO上跑的效果都很差作者对此没有展开分析,解释了他们的参数来源就放下不管了。接下来主要对比DSO和ORB。从结果上看DSO正反区别不大,ORB-SLAM反着跑指标提升很高。对于此结果,作者认为,前进时特征点在出现时往往有着很小的视差,这种情况下特征点深度的初始估计就很差,而反向跑特征点出现时视差就很大,也会得到更好地特征点的深度估计。DSO不存在特征点匹配,深度也是通过参数的联合优化得到的,所以不受这方面的影响。同时在Euroc上进行了测试,发现区别不打,这个数据集的场景比较多变,正反跑结果相同。
作者认为DSO的高指标由于以下几点:

  • DSO的深度被表示为逆深度,会影响线性化的有效范围,并能更好地处理远处的特征。
  • 点的采样策略,DSO的采样是均匀的,不会受到特征点聚集的影响。
  • 点管理,DSO只有当点的深度能够保持当前actived的深度符合统一的空间分布时才会被选择(这一点有些晦涩,我觉得是DSO的点有一个refine和remove的操作,避免了质量差的特征点进入地图)。
    68641-qevoj8pdnw.png
  • 离散的特征点带来的问题,DSO的深度是经过在极限上亚像素搜索确定的,而ORB是直接进行特征点匹配三角化得到的,这就受限于特征点的特征点的位置的离散化(特征点位置总是整数?)带来的问题。因此,作者使用光流法将特征点的匹配进行了进一步的refine发现指标得到了很好的提升。

卷帘快门的影响

在ICL-NUIM数据集上测试。三个方法都受到卷帘快门的影响,但DSO和SVO受到的影响大于ORB的。ORB结果要低于SVO和DSO的,主要原因是这个数据集纹理较少。然而这个数据集的卷帘快门是被模拟出来的,现存的工业相机读取速度很快,不一定有模拟的畸变那么大,所以作者接着测试了CityScapes以期得到进一步的结论,因为这个数据集是卷帘快门数据集。在这个数据集上SVO的表现就很差了。所以作者认为卷帘快门的效果分析在当前的数据集上很难进行。

Conclusion

四点结论:

  • 直接法在经过光学标定后效果提升很大,对于半直接或者特征法取决于选择的特征、相机光学响应函数、环境整体亮度,理想情况下动态的相机控制应该被采用以提供更高质量的图像[24]。直接法中,如果光学标定不可用,在线的光学标定应该被采用。
  • 特征法收到运动模式的影响更大,更多地工作应该被放在这个方面。
  • 直接法和半直接法对于卷帘快门影响更敏感,但当卷帘效应不大、环境纹理少时卷帘快门应该不是决定因素。当快门足够快,直接法也能得到好的结果。更深层次的分析还需要特定的数据集待开发。
  • 基于特征的方法对于离散造成的误差更加敏感,因此特征法更适合高分辨率的图像,而且亚像素优化可以极大地提升指标。

标签: 每日一篇论文

添加新评论