第 44 卷 第 4 期
2020 年 4 月
测绘与空间地理信息
Vol．43，No．4
GEOMATICS ＆ SPATIAL INFOＲMATION TECHNOLOGY
Apr．，2020
基于立体视觉的目标深度图提取算法研究
1，
2
1
于广瑞 ，赵丹阳
（ 1．大连理工大学 精密与特种加工教育部重点实验室，辽宁 大连 116024；
2． 32023 部队，辽宁 大连 116023）
摘
要： 随着人类探测领域的扩大，智能移动平台已经在很多领域开始替代人类手工操作。为适应工作环境的
复杂多变，使智能移动平台探测环境能更好地进行自主导航和避障，目标深度图的提取变得十分重要。本文为
实现基于立体视觉的目标深度图的自动提取算法，讨论了工业相机的标定技术，重点研究了基于窗口的稀疏点
特征匹配算法，通过实验，验证该算法能较好地实现立体视觉下的目标深度图自动提取，满足精度要求。
关键词： 智能移动平台； 立体视觉； 相机标定； 特征点匹配； 目标深度图
中图分类号： P237
文献标识码： A
文章编号： 1672 － 5867（ 2020） 04 － 0104 － 04
Ｒesearch on Target Depth Map Extraction
Algorithm Based on Stereo Vision
YU Guangrui1，2 ，ZHAO Danyang
1
（ 1．Key Laboratory for Precision and Non－traditional Machining Technology of Ministry of Education，
Dalian University of Technology，Dalian 116024，China； 2．32023 Troops ，Dalian 116023，China）
Abstract： With the expansion of the field of human detection，intelligent mobile platforms have begun to replace human beings in many
fields． In order to adapt to the complex and changeable working environment and make the detection environment of intelligent mobile
platform better for autonomous navigation and obstacle avoidance，the extraction of target depth map becomes very important． In order to
realize the automatic extraction algorithm of target depth map based on stereo vision，this paper discusses the calibration technology of industrial camera，and focuses on the sparse point feature matching algorithm based on windows． Through experiments，it is proved that the
algorithm can achieve better automatic extraction of target depth map under stereo vision and meet the requirements of accuracy．
Key words： intelligent mobile platform； stereo vision； camera calibration； feature point matching； target depth map
0
引
言
智能移动平台已经广泛应用于行星探测、危险环境
运动过程实时获取多幅二维影像信息，通过 OpenCV 平台
对摄像机进行标定，建立二维影像与三维空间之间的映
射关系。相机的标定是计算机立体视觉的基本问题，其
［1］
作业、军事探测活动等。为了拓展探测距离和缩短探测
标定的精度直接影响后期深度提取的精度
周期，智能移动平台必须具备自主导航和避障能力。而
1．1
。
坐标系映射关系的建立
自主导航和避障功能的实现需要通过平台视觉系统探测
相机成像过程就是建立二维影像与三维空间的联
到移动平台、目标点与障碍物在空间中的相互位置关系；
系，其间会涉及图像坐标系、摄像机坐标系和空间直角坐
通过一定的算法，将收集到的空间数据建立环境模型，生
标系。图像坐标系 是 二 维 影 像 显 示 在 计 算 机 中 的 坐 标
成目标深度图，进行障碍物识别与定位； 最终确定平移参
系，分别以物理单位和像素单位表示。以像素为单位的
数与姿态变更参数，实现对移动平台的运动控制。
图像坐标系是以水平向左的 u 轴和垂直向上的 v 轴建立
1
相机标定技术
搭载在智能移动平台的传感器是由单相机构成，在
的坐标系，点坐标为 （ u，v） ，像素点大小为 k× 1，以 mm 为
单位。以物理为单位的图像坐标系是以水平向左的 x 轴
和垂直向上的 y 轴建立坐标系。
收稿日期： 2018－11－26
作者简介： 于广瑞（ 1988－ ） ，男，吉林九台人，助理工程师，机械工程专业硕士研究生，主要从事摄影测量与遥感、无人机航空摄影测
量等工作。
第4期
于广瑞等： 基于立体视觉的目标深度图提取算法研究
像素单位和物理单位的图像坐标系转换关系如下：
 1 0 u0 
  x
 u  k
  y
v = 
（ 1）
1
  0
v0   
l
 1 
  1

0
1
（ u
 1
（v


 （ un
 n
（v

1
0
图像坐标系和摄像机坐标系之间的关系：
 1 0 u 0 0  X C 
x
 k
 
 
1
  YC 
 y =
1
 
v 0 0  Z C 
zc  0
l
 1

 
 0 0 1 0  1 
由式（ 1） 和式（ 2） 可以得到：
 f － f cotθ u0
k
u
 k
 
1
 v = 
f
 
v0
zc  0
lsinθ
 1

0
0
1
()
k1
k2
u － u 
 ^1 － 1 
v v 
=   
 ^n
n
 u － u 
^
 vn － vn 
1
式中，( u
^
0  X C 
 
YC

0

0
－ u10 ） （ （ x1 ） 2 + （ y1 ） 2 ） （ u1 － u10 ） （ （ x1 ） 2 + （ y1 ） 2 ） 

－ v10 ） （ （ x1 ） 2 + （ y1 ） 2 ） （ v1 － v10 ） （ （ x1 ） 2 + （ y1 ） 2 ） 




－ u0n ） （ （ x n ） 2 + （ y n ） 2 ） （ u n － u0n ） （ （ x n ） 2 + （ y n ） 2 ） 

－ v0n ） （ （ x n ） 2 + （ y n ） 2 ） （ vn － v0n ） （ （ x n ） 2 + （ y n ） 2 ） 
^ 1
（ 2）
 =

 Z C 
1
105
v) 为校正后的像素坐标； ( u
^
（ 6）
v) 为校正
前的像素坐标。工业相机在拍摄过程中可以实时传输多
1
AP
zc
帧影像，得到多组方程组，叠加后简化表示为：
Dk = d
通过线性最小二乘算法解出径向畸变参数如下：
－
（ 8）
k = （ D T D） 1 D T d
（ 3）
式中，f 为工业相机的焦距； θ 为摄像机坐标系的倾斜
度； 在实验情况下设置为 90°。
摄像机标定是获取表征摄像机几何结构和位姿的参
数，包括内部参数和外部参数。内部参数描述了成像光
（ 7）
用畸变参数求解内外参数的过程就是非线性校正的
优化过程，使用 Levenberg － Marquardt 算法可将畸变误差
大幅度减小。
1．3
OpenCV 平台下的标定实现
束的形状，由摄像机内部的几何和光学特性确定，即对式
OpenCV 是跨平台开放计算机视觉库，它由一系列 C
（ 3） 矩阵 A 中 6 个内参数的估计，内参数可能会随着温
函数和少量 C+ + 类构成，可以实现图像处理和计算机视
［4］
觉的诸多通用算法 。OpenCV 中采取的标定方法是介
度、湿度、气压等环境因素的变化而变化，因此，还需要人
［2］
为对各内参数进行标定
； 外部参数描述了摄像机的空
于传统标定方法和自标定之间的一种方法，这种方法可
间姿态，由摄像机在空间直角坐标系中的坐标和方向确
以在没有摄像机运动信息的情况下进行标定，因此，比传
定。摄像机坐标系和空间直角坐标系之间的关系为：
统标定技术更加灵活，但是区别于自标定方法的是，它需
［5］
要一个特定的标定物以及一组已知的特征基元坐标 。
 XC 
 YC 
Ｒ3 × 3
  =
0T
 ZC 
 
1
(
t3 × 1
)
 XC 
 YC 
 
 ZC 
 
1
OpenCV 标定法通过至少 3 个不同位置获取标定物的图
（ 4）
像，可以 保 证 较 高 的 标 定 精 度。标 定 主 要 有 以 下 几 个
可以得出空间直角坐标系到图像坐标系的线性变
环节：
1） 输 入 所 需 参 数。包 含 完 整 标 定 板 的 图 像 view．
cvimage，标定板上各行各列的角点数 board_size。
1
换式：
2） 进行以下操作。使用自适应阈值将图像转换成黑
（ 5）
白图； 在图像二值化之前均衡图像亮度； 去除在轮廓检测
式中，Ｒ 3 × 3 为 旋 转 矩 阵； t3 × 1 为 平 移 向 量； m =
到的错误方块。
3） 确定输入图像为棋盘模式，使用 OpenCV 中的角点
km = A（ Ｒt） M
(u
v
1)
T
为图像点的齐次坐标； M = ( X
Y
Z
1)
T
为三维空间点的齐次坐标； k 为比例系数。由此得到了空
［3］
间点与图像点之间的映射关系
1．2
。
获取工业相机内外参数并校正
数字摄影测量相机在进行作业时，由于畸变的存在，
使像点偏离原有的成像位置，物方的位置关系在像方得
不到正确的映射，降 低 了 摄 影 测 量 成 果 的 质 量 和 精 度。
尤其对应用于近景摄影测量和低空大比例尺航测领域的
非量型数字相机，其畸变量值更大。因此，必须对数字相
机的畸变进行测量和纠正，以确保满足摄影测量作业的
精度要求，径向畸变公式如下：
［6］
检测函数 cvFindChessboardCorners 提取棋盘上的角点 。
如果所有的角点都被检测并且是按照一定顺序排列，则
函数返回非零值，表示角点提取成功； 如果函数不能检测
到所有角点或者不能记录角点，函数返回零值，表示提取
失败。
4） 使用 cvDrawChessboardCorners 函数将检测到的角
点在图像上显示出来。
在 OpenCV 平台下最终的标定结果为：
①图像的平均误差为 0．589 354 像素；
②相 机 内 参 数 矩 阵 为 ｛ 253． 433，0，127． 927 ｝ 、｛ 0，
259．466，
125．102｝ 、｛ 0，
0，
1｝ ；
测绘与空间地理信息
106
2020 年
③畸变系数为 ｛ 0． 120 589，－ 1． 95 258，－ 0． 028 296，
0．008 345 56｝ ；
④ 图 像 的 旋 转 向 量 为 ｛ 1． 798 27，2． 318 43，
－0．215 067｝ 。
实验结果证明，标定的像素误差小于 1 个像素，精度
良好符合要求。
2
目标深度图提取算法
图 1 灰度值向量变换图
Fig．1 Gray value vector transformation
目标深度图提取需要在已标定摄像机信息的基础
上，运行特征点匹配算法，获得精确匹配结果。为保证匹
配算法的精度和效率，引入极限约束将特征点匹配的搜
索范围从二维平面缩小到直线。再通过图像校正简化复
［7］
杂的极线计算过程，进一步提高匹配效率 。最后，通过
三维重建原理，计 算 出 图 像 像 素 间 的 位 置 偏 差，即 视 差
图，获取景物的深度信息，恢复出空间景物的三维信息。
2．1
特征匹配算法研究
目标深度图提取的关键算法是特征点匹配，目的是
在两幅影像间建立尽可能多的匹配关系。当空间的三维
场景投影成二维图像表达在计算机上时，同一物体在不
同视角下的影像会有很大的不同，但最终都综合成二维
图像中的灰度值，因此，对包含诸多不利因素的图像进行
无歧义匹配十分困难。所以图像匹配需要具备准确、快
［8］
速、强鲁棒性和抗干扰性 。特征点匹配主要有两种方
口下匹配点不存在。
基于窗口的匹配关键在于选择大小合适的窗口，窗
口过小，会因为匹 配 像 素 点 较 少 而 形 成 误 匹 配； 窗 口 过
大，会失去图像的细节特征，产生平滑的效果。不选择角
点而选择图像轮廓，图像轮廓具有良好的连续性，可以得
到更多轮廓点作 为 特 征 点，同 时，可 以 保 持 匹 配 点 的 高
精度。
通过计算视差图获取物体的深度信息。对于匹配确
定的两个点，记两个点 x 坐标的插值 d = x 1 － x 2 为视差
值，可以用视差图 评 价 匹 配 结 果，显 示 深 度 图 的 提 取 效
［10］
果
性的点数量并不多，因此速度快，效率高。缺点是物体的
实际结构没有被人为考虑，插值具有一定的盲目性。
由于智能移动平台进行避障的过程是实时进行的，
。初始视差图的每个像素灰度值都为 0，即全为黑。
设定左图中有一点 A1 = ( x 1
法： 稀疏点匹配和密集点匹配。
稀疏点匹配主要是对图像中一些强特征点进行匹
［9］
配，比如拐点、轮廓点 。一整幅图像中，具有较强特征
深度图提取
2．3
y1
1) 为已匹配点，
视差点为 d1 。 左图中所有匹配点中最大视差为 d max ，最
小视差为 d min ，则生成的视差图就会产生立体视觉，其影
像中各点的灰度值为：
d1 － d min
I p = 255 ×
d max － d min
（ 10）
因此，基于窗口的稀疏点匹配算法匹配特征点数量少、速
由公式（ 10） 可以分析得出，深度图提取生成的图像
度快、效率高，比密集点匹配算法更加具有目的性，误匹
中各个匹配特征点离相机越远灰度值越低，即越黑； 离相
配概率小。基于窗口的稀疏点匹配算法更适合进行深度
机越近的点灰度值越高，即越白，依此可以为智能移动平
图提取。
台避障提供数据参考。
2．2
基于窗口的稀疏点匹配
不同材质的物体具有不同的光反射性，大多数物体
3
实例分析
的表面都同时具有纯漫反射和纯镜面反射这两种反射特
为了验证算法的可行性，对普通相机拍摄的具有一
性。短基线图像中成像点的灰度值变化不大，因此设定
定重叠度的两幅影像进行了深度图提取，并对实验结果
影像中物体是纯漫反射进行分析。
进行分析。
假设两个影像点进行匹配，窗口匹配原则是对以这
两个点为中心的窗口的所有影像点进行匹配。分别将两
个影像点 p1 和 p2 窗口的所有点灰度值构成向量，如图 1
在同一地点使用普通相机拍摄两幅具有一定重叠度
的图像，拍 摄 的 两 幅 相 片 像 素 尺 寸 为 680 × 512，如 图 2
所示。
所示。
通过公式（ 9） 计算两个向量的夹角：
v1T v2
cosθ =
‖v1 ‖‖v2 ‖
（ 9）
两个向量间的夹角越小，匹配度越高，反之则越低。
cosθ 大小的选取需要根据不同影像进行定值，定值过大会
导致匹配点过少，定值过小会导致误匹配增多。本次匹
配将 cosθ 的最小值设为 0．9，当值小于 0．9 时即认为此窗
图 2 两幅具有重叠度的影像（ 一）
Fig． 2 Two overlapped images
第4期
于广瑞等： 基于立体视觉的目标深度图提取算法研究
以左图作为参考图像，对右图进行匹配，经过图像校
正，特征点匹配，图像处理后提取得到深度图如图 3 所示。
4
107
结束语
基于立体视觉的智能移动平台导航理论与计算机视
觉领域的研究成果结合起来，利用基于窗口的稀疏点特
征匹配算法可以快速、高效地提取智能移动平台所处三
维空间环境的深度信息，根据提取的深度信息，结合单片
机编程就可以将自动导航的算法进一步完善。为了有效
地解决智能移动平台导航与避障的现实问题，本文依据
立体视觉系统研究现状，对基于立体视觉的深度图提取
算法进行了实现。其中，标定技术采取 OpenCV 基于传统
图 3 深度图提取效果（ 一）
Fig． 3 Effect of depth map extraction
根据以上测试的不足，又进行了第二组测试，拍摄的
两幅具有一定重叠度的像片，如图 4 所示，像素尺寸均为
680×512，深度图提取效果如图 5 所示。
方法与自标定方法的中间方法，标定精度较高。深度图
的提取采用稀疏点匹配的算法选取轮廓点作为特征进行
匹配，利用视差值的概念，提出深度图表示的算法，用灰
度信息表示了三 维 空 间 范 围 的 深 度 信 息。经 过 实 验 验
证，基于立体视觉的目标深度图提取算法，完全能够满足
智能移动平台导航与避障的现实需求，可以开发与利用。
对于有遮蔽的部分区域，灰度信息对三维空间范围深度
的表达不够准确，还需要进一步研究改进。
参考文献：
［1］ 邱茂林，马颂德，李毅． 计算机视觉中摄像机标定综述
［J］．自动化学报，
2000，
26（ 1） ： 43－45．
［2］ 吴福朝，王光辉，胡占义． 由矩阵确定摄像机内参数与
图 4 两幅具有重叠度的影像（ 二）
Fig．4 Two overlapped images
2003，
14（ 3） ： 703－712．
位置的方法［J］．软件学报，
［3］ 刘传才．图像理解与计算机视觉［M］．厦门： 厦门大学出
2002．
版社，
［4］ 刘瑞琪，于仕祺．OpenCV 教程［M］．北京： 北京航空航天
2007．
大学出版社，
［5］ 王立钢，马国欣，向鹏． 基于双目视觉的标志点定位系
2015，
37（ 2） ： 160－164．
统硬件设计［J］．光学仪器，
［6］ 陈 胜 勇，刘 胜． 基 于 OpenCV 的 计 算 机 视 觉 技 术 实 现
［M］．北京： 科学出版社，
2008．
［7］ 李小平．双目视觉立体测量研究［D］．合肥： 中国科学技
2008．
术大学，
［8］ LOWE D C． Object recognition from local scale －invariant
图5
深度图提取效果（ 二）
Fig．5 Effect of depth map extraction
features［C］/ / Institute of Electrical and Electronic Engineers． International Conference on Computer Vision．
Kerkyra Greece： ICCV，
1999： 1150－1157．
根据深度图分析，篮球和桌布的轮廓都比较清晰地
提取了出来，均比远处的电视机以及书架灰度值高； 桌布
与书架的分割处边缘形成了清晰的灰度对比，深度图提
取效果有明显的改善。但是依然存在左下角匹配不够平
滑，匹配之后深度图提取不够平整的问题。
［9］ 徐奕，周军，周源华． 立体视觉匹配技术［J］． 计算机工
2003，
39（ 15） ： 1－5．
程与应用，
［10］ 王平，韩燮，韩焱，等．基于双目视觉技术的物体深度信
2014，
14（ 2） ： 56－61．
息的提取［J］．科学技术与工程，
［编辑： 任亚茹］
（ 上接第 103 页）
［2］ 万剑华，厉梅，马毅，等． 双台河口保护区湿地景观格
局变化研究［J］． 测 绘 与 空 间 地 理 信 息，2012，35 （ 8） ：
8－9．
［3］ 董艳，姜彬慧，于梅． 五十年辽河三角洲气候变化对植
物种群的影响［J］． 沈 阳 化 工 学 院 学 报，2008，22 （ 1） ：
29－34．
［4］ 崔保山，贺强，赵欣胜．水盐环境梯度下翅碱蓬（ Suaeda
salsa） 的生态阈值［J］．生态学报，2008，28（ 4） ： 1 408－
1 418．
［5］ 盘锦市统计局．盘锦统计年鉴 2004［M］．盘锦： 盘锦市统
计局，2005．
［编辑： 刘莉鑫］