本文内容来源于《测绘通报》 2022年第8期，审批号： GS京( 2022 ) 0570号

一种监测视频动态目标的空间定位方法

韩世静1、2、苗书锋3、郝阳1、陈润润1

1 .信息工程大学地理空间信息学院，河南郑州450001； 2 .南宁师范大学自然资源与测绘学院，广西南宁530001； 3 .武汉科岛地理信息工程有限公司，湖北武汉430081

基金项目：学校科研团队发展基金( f4211 ) )。

关键词：监控视频动态目标三维地理信息空间定位数字表面模型

引文格式：韩世静，苗书锋，邓阳阳，等.监控视频动态目标的空间定位方法.测绘通报，2022(8) 87-92.doi:10.13474/j.cn ki.11-2246.2022.0237

摘要

摘要：针对监控摄像机动态目标的空间定位问题，本文在考虑摄像机畸变的情况下，研究了监控摄像机、目标像素坐标与地理场景之间的映射关系，提出了一种基于数字表面模型( DSM )和平面约束的目标定位算法。 首先，完成摄像机的标定，确定摄像机的成像模型； 然后提取畸变校正后的目标像素坐标，通过目标定位算法计算出目标的三维地理坐标，最后进行定位精度评估，分析了两种定位算法的应用特点。 本文的定位算法将像素坐标定位的目标数据解析为三维坐标定位的空间地理信息，为多摄像机目标跟踪提供了统一的地理参考框架。

正文

监控视频以其信息丰富、直观、及时等特点，在智慧园区、智慧城管、智慧公安等行业得到广泛应用[1-2]。 但由于监控视频缺乏与地理环境的结合，在大范围复杂的场景中，难以人工快速确定视频目标的地理位置。 计算机视觉、深度学习、三维地理信息以及数字图像处理等技术的发展提供了多学科交叉融合的可能性，为解决这类问题开辟了新途径。 因此，监控视频与地理信息开辟了融合的途径[3-7]。 为了将监控视频的结果呈现给地理信息系统( GIS )，必须对视频进行地理定位(8)，国内外许多学者对此进行了研究。 文献[9—13]假设地面高程为0，基于单应矩阵实现了视频目标到地理场景的映射，其本质是目标的二维定位，应用场景适用于摄像机监控区域位于同一平面的情况。 在文献[14]中，提出了监视与三维GIS视图对应的视频的方法。 在文献[15]中，将监视影像与三维GIS视图对应，获取深度值，计算世界坐标，但视图对应的方法缺乏严密的数学基础。 文献[16]基于OpenGL透视图像与摄影测量共线方程的一致性，通过虚拟摄像机将摄影射线与三维场景相交来确定目标点的世界坐标，但OpenGL透视图像没有考虑摄像机畸变对定位的影响。 基于以上问题，本文在考虑摄像机畸变的基础上，研究监控摄像机动态目标的三维定位问题，建立监控摄像机、目标像素坐标与地理场景之间的映射关系。

1目标空间定位过程

监控摄像机的数量呈爆炸式增长，但在现实生活中，监控摄像机的视域很少大面积重叠。 因此，大多数监控场景都是单眼情况。 在摄像机拍摄过程中深度信息丢失，根据二维图像确定目标的三维地理位置需要利用地形信息。 流程如图1所示。

图 1 监控视频动态目标空间定位流程

图选项

(1)基于监控区域三维地理模型，获取该区域高精度的数字表面模型( DSM )。

)2)完成摄像机标定，确定摄像机的内部参数(焦距、像主点坐标、畸变系数等)和外部参数(旋转矩阵和平移矩阵)，确定摄像机的成像模型。

)3)获得监控摄像机动态目标的像素坐标，进行失真校正。

)4)构建目标点的成像空间直线，成像空间直线与DSM相交，交点即为监测目标的地理位置。

)5)如果监测区域的大范围相对平坦或可以划分为不同的平面，则目标的空间对准可以简化为基于平面约束的方法。

2目标定位算法2.1摄像机的成像模型

摄像机是三维世界和二维图像之间的一种映射，可以将世界坐标下的三维坐标点映射到二维平面上，是最具体、最简单的摄像机模型——基本针孔摄像机[17]。 设空间的一点m在世界坐标系中的坐标为[xw，YW，zw]，设对应的像点在像素坐标系中的坐标为[u，v]，设定透视投影式

(1) ) ) )。

式中，( u0，v0)是像主点坐标； fx、fy是照相机焦距； s是扭转参数； k是内参矩阵，通过摄像机内参标定可以获取的[R|t]是摄像机的外参矩阵，表示摄像机在世界坐标系中的方向和位置，通过摄像机外参标定可以获取的是比例因子。

2.2基于DSM的目标定位算法

DSM是指包括树木、桥梁、各种建筑物等高度在内的地面高程模型，无解析式，采用一系列有序的数值序列表示地表起伏。 对于标定的摄像机，在知道目标像素坐标和监测区域的DSM模型的情况下，可以采用遍历搜索的方法实现监测目标的定位(如图2所示)。 具体对位的计算步骤如下。

确定

图 2 基于DSM的目标定位原理

图选项

(1)摄像机视域的最高点m1 ) x1，Y1，Z1 )和最低点m2 ) x2，Y2，Z2 )。 在DSM中确定摄像机视域范围内的最高点高程Zmax和最低点高程Zmin，同时获取目标像素坐标( u，v )，代入式(1)，从而确定最高点m1 ) x1，Y1，Z1 )和最低点m2 ) x2，Y2，Z2 ) 最高点标高大于照相机中心点标高，即ZmaxZcam时，Zmax=Zcam。

)2)构造目标点成像空间直线，公式为

(2) ) ) )。

)3)检索目标点。 如果沿着该目标点成像空间直线搜索M1M2间、沿着x方向搜索的步骤为x

(3) ) )。

通过将式(3)代入式(2)，能够决定搜索点si ) Xi、Yi、Zi )。 DSM中( Xi，Yi )的海拔标为Ei ) Xi，Yi )，简写为Ei。 ei(Xi，Yi )可以通过式(4)求出平均值来确定。 如果( Xi，Yi )所在网格的四个角的高程分别为Z1、Z2、Z3、Z4，则

(4) ) )。

第一次出现EiZi时，表示通过了目标点。 在Ei=Zi情况下，搜索点si(Xi，Yi，Zi )成为目标点； 对于EiZi，目标点位于搜索点si(Xi、Yi、Zi )和si-1 ) Xi-1、Yi-1、Zi-1 )之间，需要插值处理。

(4)插值确定目标点。 在Ei-1 Zi Ei的情况下，为了正确决定目标点，按照式(5)进行插值处理。 在此，x、y分别是沿x、y方向搜索的步骤。

(5) ) )。

因此，在ei(Xi，Yi )=Zi情况下，目标点是搜索点si ) Xi，Yi，Zi )； 在Ei-1 Zi Ei的情况下，根据式(5)来决定目标点。 基于DSM的目标定位算法不受地理环境的限制，即使是平面、斜坡、高低起伏的复杂地理场景，也能实现监测目标的地理定位。 在城市中，大部分区域为平面，且单摄像机的视域范围小，在摄像机有限的视域范围内大范围为平面。 因此，监测目标的地理位置可以用平面约束的方法计算。

2.3基于平面约束的目标定位算法

令

(6) ) )。

式(1)为

(7) ) )。

将式(7)中的ZW变更为Zh，将Zh作为摄像机视域中某个平面的标高值，进行矩阵的运算和整理即可得到

(8) )。

式(8)为Zh平面约束的映射模型，其本质为二维坐标变换，可以实现像素坐标和世界坐标的相互映射。 在有足够约束平面的情况下，二维地理数据与三维地理数据近似。

试验3.1生成DSM数据

某公司办公园区约180.0 m204.8 m，采用互联网RTK配置4个相控点，型号为大疆精灵4-RTK的无人机进行摄影测量。 使用ContextCapture软件进行建模以生成该区域的三维模型。 在用全站仪实测66个地面点的同时，在三维模型上取相应的点坐标，采用均方根误差( RMSE )作为精度估算的评估标准，均方根误差为3.7 cm，高程均方根误差为6.5 cm，精度高，满足试验要求根据三维模型数据生成该区域的DSM数据，网格间隔为5 cm。

3.2试验方案

试验地点位于某公司办公园区一角，监控摄像头为大华高速智能白色光球，型号为DH-SD-6c 3230 u-HN-D2，1/2.8英寸CMOS传感器，帧率为25帧/秒，影像尺寸为19201080 在试验场，在摄像机的视野范围内均匀配置了25个紧贴地面的标识点。 该地面标识表示25个监测对象在监测影像中的位置，同时配置3个房角点( E1，E14，E23 )和1个花坛点) E5 )用于摄像机外参标定。 全站仪实测了29个标记点(如图3所示)的三维地理坐标，同时修正变形后，拾取了29个标记点的像素坐标。

图 3 29个目标标志点分布(畸变校正后)

图选项

3.2.1内参标定

使用精度为0.01 mm、排列为129、方格边长为40 mm的氧化铝标定板，从不同角度录制视频，分格选取30张棋盘格照片。 采用张正友标定法[18]进行内参标定，剔除重投影误差较大的照片，最终选取平均重投影误差为0.14像素的16张棋盘格照片进行标定，标定结果如下：

内参矩阵是

径向应变系数为[-0.0057(0.6183-1.549 ) ]，切线应变系数为[ 0.0001 ] 0.0004 ]。

3.2.2外参标定

由于摄像机视野范围广，远处的标记点不清晰，难以提取标记点的像素坐标。 因此，采用视频切割框架方式，提取心轴测量时的图像，共计29帧。 根据3.2.1的标定结果对29帧图像进行畸变校正后，提取测深杆接地点的像素坐标。 选择分布均匀、网格结构良好的7个标志点对(见表1 )进行EPNP Iteration[19-20]计算，获取摄像机外参数矩阵。

表1图像坐标和世界坐标的对应点对

表格选项

标定的摄像机在世界坐标系中的坐标为[ 79.345，92.718，90.444 ]，旋转矩阵和平移矩阵如下

3.2.3目标定位计算及分析

为了验证监控视频目标定位的精度，根据指标点的像素坐标，通过提出的目标定位算法，计算指标点的三维地理坐标。 将计算结果与全站仪实测数据进行比较，得到每个目标点在x、y、z方向的误差，进行进一步分析。

3.2.3.1基于DSM的目标定位算法

实验中使用的DSM网格间隔为5 cm，以此作为探索步骤，按照2.2节的定位方法，定位25个目标点的结果如图4所示。 x方向误差绝对值最大为0.438 m，最小为0.002 m，均方根误差为0.168 m； y方向误差绝对值最大为0.369 m，最小为0.004 m，均方根误差为0.107 m； z方向误差绝对值最大为0.312 m，最小为0.002 m，均方根误差为0.078 m。 采用基于DSM的目标定位方法，其定位精度主要受DSM精度和目标像素点误差的影响，DSM精度越高，定位误差越小，目标像素点误差越大，定位误差越大。 拾取像素坐标时，E18、E19、E25主轴接触点不清晰，像素坐标误差大，其定位误差明显较高； 从地砖接缝的十字交叉位置拾取E40、E41、E42的像素坐标时，像素坐标误差小，定位误差明显低。 基于DSM的目标定位方法不受目标点相机位置的影响，定位精度均衡。 点的均方根误差为0.214 m。

图 4 基于DSM的目标定位算法在X、Y、Z方向的误差

图选项

3.2.3.2基于平面约束的目标定位算法

从图3中可以看出，摄像机的大部分视域范围是平面的，可以采用基于平面约束的目标定位算法。 选定的25个地面标志点均匀分布在监测视域中，最大高程为87.16 m，最小高程为86.851 m。 视域范围整体从右向左逐渐变低。 以25个地面标志点的平均高程( 87.026 m )为平面约束，按式(8)进行目标的地理定位，结果如图5所示。

图 5 基于87.026 m的平面约束目标定位算法在X、Y、Z方向的误差

图选项

X方向误差绝对值最大为0.713 m，最小为0.036 m，均方根误差为0.339 m； y方向误差绝对值最大为0.519 m，最小为0.002 m，均方根误差为0.184 m； z方向误差绝对值最大为0.175 m，最小为0.006 m，均方根误差为0.080 m。 采用平面约束目标定位方法，其定位精度主要受约束平面高程值与目标地理场景下高程值之差的影响，差值越大误差越大。 例如，E34、E35、E36； 差距越小，误差就越小。 例如，E8、E9。 如果差异很近，则距离相机越远，误差越大，如E40、E41和E42。 该区域误差视域范围的中心区域小，左右两侧大； 中心区域越远离相机，误差越大，越接近误差越小的状态。 点的均方根误差为0.394 m。

4试验对比分析

每个目标点的定位误差如图6所示。 两种定位方法采用同一摄像机模型，同一目标像素坐标一致，同一目标点采用两种定位方法的结果不同。 由图6可知，当前场景下，基于高精度DSM的目标定位算法相对平缓，基于平面约束的定位算法起伏稍大。

基于

图 6 点位误差对比

图选项

DSM的目标定位算法主要涉及DSM和目标点像素坐标的精度，与目标和摄像机距离无关，点定位误差均匀。 该算法不受地形的限制，适用范围广，计算量大。 如果目标点不在DSM表面上，或者位于高度突变的边界上，则会出现很大的位置误差。 如果本地表是平坦的，则可以采用基于平面约束的目标位置算法。 该方法计算量小，定位精度主要受目标点实际高程与约束平面高程之差的影响，差值越大，定位误差越大，同时也与目标与摄像机的距离有关，距离越大，定位误差越大。 因此，在特定场景中，约束平面高程值的选择对定位结果有重要影响，必须根据三维地理模型选择离地面较近的约束平面。提高精度。

五结

本文提出了一种基于DSM和平面约束的监控视频动态目标空间定位方法，两种方法都可以实现目标的三维地理定位。 总体而言，前者具有不受地形限制、应用范围广、定位精度均匀的优点，其定位精度主要受DSM和目标像素坐标精度的影响； 后者受地形条件的制约较大，适用于摄像机视场范围内大部分为平面或可以分割为不同平面的场景，但计算量小，其定位精度主要受约束平面高程和目标像素坐标精度的影响，通过选择近地面的约束平面提高可以获得定位精度本文的研究可为多摄像机目标跟踪提供统一的地理参考框架，对实现监控视频目标的地理定位具有重要参考价值，有助于解决目标识别跟踪、语义理解等二维图像信息不可深入挖掘的问题。 在实际应用中，可以根据监控摄像机视域的情况选择合适的定位算法，后续工作的重点是结合深度学习实现多摄像机的目标识别和定位。

作者简介

作者简介：韩世静( 1984—)，女，博士生，讲师，主要从事导航定位与位置服务，计算机视觉研究。 E-mail: hsjmsf@163.com

通讯作者：郝阳阳。 e-mail:XiangyangHao2004@163.com

初审：杨瑞芳

再审：宋启凡终审：金君

信息