「CV」 深度估计概述
相关资源:深度估计资源
depth estimate
· black-box attack
· white-box attack
· adversarial learning
perturbation detection
1 介绍Permalink
深度估计以转化估计为主,即基于二维 RGB 图像估计出 RBG-D 图像,其主要是从图像明暗、不同视角、光度、纹理信息等获取场景深度形状;还有结合SFM(Structure from motion)和SLAM(Simultaneous Localization And Mapping)等方式预测相机位姿的算法;
深度估计是计算机视觉领域的一个基础性问题,可以应用在机器人导航、增强现实、三维重建、自动驾驶等领域;虽然有很多设备可以直接获取深度,但是设备造价昂贵;也可以利用双目进行深度估计,但是由于双目图像需要利用立体匹配进行逐像素视差计算,所以计算复杂度较高,且对于低纹理场景的匹配效果不好;而单目深度估计则相对成本更低,更容易普及;
单目深度估计不仅需要从二维图像中学会客观的深度信息,而且需要提取一些经验信息,后者则对于数据集中相机和场景会比较敏感;
2 分类Permalink
2.1 按学习方式分Permalink
2.1.1 监督学习Permalink
图片对应有一张深度图作为标签;
2.1.2 无监督学习Permalink
使用双目数据做监督,从双目预测视差变化,以相机位姿作为标签进行训练;
2.1.3 Struct from motionPermalink
基于视频的,以视频序列获取多视角图像,进行相机位姿估计;
1 回归任务Permalink
回归任务就是把CNN预测出来的像素值通过学习逼近ground truth,直接将预测出来的深度值和真实的深度值进行RMSE,没有离散化的过程。
2 分类任务Permalink
训练神经网络,把连续的像素值分类放置在不同的区间内。在分类任务中用到比较多的方法是条件随机场。此外,划分区间也有不同的方法。有直接等距离划分区间的,有在对数空间划分区间的
3 评价指标Permalink
通常误差越小越好,精确度越高越好;
-
ABS REL 绝对相对误差: AbsRel=1NN∑i=1|Di−D∗i|D∗i
-
SqREL 平方相对误差:
SeRel=1NN∑i=1|Di−D∗i|2D∗i -
RMS 均方根误差:
RMS=√1NN∑i=1|Di−D∗i|2 -
LOG RMS 对数均方根误差:
logRMS=√1NN∑i=1|logDi−logD∗i|2 -
精确度(%correct): max(DiD∗i,D∗iDi)=δ<T
N:像素总数,Di:第 i 个像素的估计深度值;D∗i:第 i 个像素对应的真实深度值;
T:Threshold, used in the accuracy metric as a convention in the literature.
附录Permalink
A 参考资料Permalink
- 单目图像深度估计 - 相对深度篇:Depth in the Wild & Size to Depth[EB/OL]. https://blog.csdn.net/qunniem/article/details/116269273. 2021-04-29/2022-02-18.
- 单目深度估计技术进展综述[EB/OL]. https://blog.csdn.net/MengYa_Dream/article/details/119924346. 2021-09-01/2022-02-18.
- 基于深度学习的单目深度估计综述[EB/OL]. https://zhuanlan.zhihu.com/p/111759578. 2020-03-08/2022-02-18.
Comments