研究领域——场景深度信息估计

 

      研究组的其中一个研究方向主要是围绕如何获取更加准确的场景距离信息，将获取到的二维平面图像三维化。关键问题在于，如何准确的获取或者估计出当前给定场景的深度信息（depth information）。

      从硬件方面来看，场景深度信息的获取可以分为两个方面：1）被动方式，即立体匹配，采用双目立体相机（两个摄像头并排摆放来模拟人类双眼）作为采集设备，然后利用立体匹配算法计算出双目视差，进而估算出深度值。2）主动方法，即利用深度传感器来直接获取深度值。最笨最早的方法采用激光煮点扫描的形式来获取距离（激光测距尺就是这种原理）。目前，典型的传感器有两类，一类叫做Time-of-flight（时间飞行）相机，另一类就是微软Kinect一代里面采用的结构光相机。（原理参考相关文献）

      上述两类方法虽然可以获取深度值，但是由于算法和硬件带来的问题，深度图像有大量得值缺失，而且精度不够。因此衍生出了第一类算法：深度超分辨率（深度复原，深度恢复，深度填充等），这也是我们所涉及的第一个块知识，即给定一个低质量的深度图像，如何复原出高质量深度图像。通常，给定的输入除了低质量分辨率的深度图外，还有同视角的彩色图像，可以借助于高分辨率的彩色图像来完成深度恢复。

      第二类方法叫做深度估计此。这类方法直接从彩色图估计出深度图像，没有辅助的低质量深度信息输入，任务对于推断精准的深度信息比较困难。此外，由于深度学习的出现，现阶段出现了另外几类的深度估计方法，根据输入图像类型以及监督学习方式可以分为以下几类：

1）        单目监督学习方式：即给定单目摄像头进行视频流采集，然后直接从彩色图中估算出深度图。该方法需要利用配对的彩色-深度图像进行网络监督学习。

2）        双目输入类型：该类别采用双目图像输入，根据监督类型又可分为以下两类：

a)      监督方式：我们可以获得配对的深度图像，可以采用双目输入，深度输出的方式来训练当前的网络。

b)     无监督方式，当前并不能获取到有效的深度监督信息，则利用双目立体视觉间的关系来训练整个网络，即采用无监督的方式。此类方法更加贴近于实际，现在研究的较多。

以上内容需要大家逐渐掌握，从看下面的基础材料开始，慢慢步入到看论文。一个最主要的方法是自己查阅博客和去中国知网下载相关的中文博硕士论文，以便更好的理解。

 

相关材料

以下内容可能涉及的不全（重点针对相机标定和立体匹配，投影等等三维知识，也是基础必读！！我们最终目的是懂得双目立体视觉，涉及过深的数学算法可以不看），所以针对上述内容还需各位自行去查阅：

1.重点推荐《学习OPENCV3》这本书里的第18章 相机模型与标定 553 第19章 投影与三维视觉 599，中文讲的非常好，也可以用opencv来练习，之前的版本也行，网上应该能找到。

2. 我的博士毕业论文：(caj格式可以到cnki官网下载软件打开) 链接：https://pan.baidu.com/s/16__qAOxKCCBiZcvkhq_Txw 提取码：yhdc）注：我的博士论文是传统的数学建模方法，但是也需要大家去理解是怎么做的，看明白里边的算法（只看绪论和自回归模型那一章节即可）

3. 张明亮的博士论文：重点讲解深度估计，可以以这个方向为重点。

4. 段祥越的硕士论文，里面包含了深度估计和深度复原。

5. 纪祥的硕士论文，里面包含了SLAM和深度学习的结合，难一些。（可以选读，对三维场景建模可以了解一些）

6. http://www.vision.caltech.edu/bouguetj/calib_doc/

上面这个是matlab的相机标定例子，里面讲的非常好，他是从opencv转过来的，但是比opencv更好。如果希望去学习matlab的同学可以试试，matlab还是比较好用的。

7. 以下内容可以有选择性学习：

计算器视觉（理论）：

链接：https://pan.baidu.com/s/1UAbfgT7_FNmwSu5S5MzcTw

提取码：8h6x

（目录：1.绪论2.边缘检测3.仿射变换与射影变换4.相机标定5.立体视觉6.运动与不确定性7.光流运动分析）

博洛尼亚大学立体视觉pdf：

链接：https://pan.baidu.com/s/10MQJhYRT4wfF388t87J6Kg

提取码：kh2i

(英文pdf，专门讲解立体视觉，可以配合下面的内容辅助学习：

 

立体匹配的研究背景，意义：

https://blog.csdn.net/wangyaninglm/article/details/51533549

视差，约束，方法，遮挡：

https://blog.csdn.net/wangyaninglm/article/details/51531333

相机模型与标定：

https://www.jianshu.com/p/887dd060ea99

双目标定与立体匹配：

https://www.jianshu.com/p/6342eb4d9a63

（一些双目和立体匹配问题的博客列表）

https://blog.csdn.net/u010368556/category_6746705.html

（双目匹配与视差计算）

https://blog.csdn.net/u010025211/article/details/53197337

（双目视觉标定的几个问题）

https://blog.csdn.net/u010368556/article/details/57074680

关于立体匹配的几个问题：

链接：https://pan.baidu.com/s/1Y_qikW0xW9m8PING6gQuZw

提取码：1qxi