摘要：ZHANG Yongjun, ZHU Changjun, ZOU Siyuan, LIU Xinyi, MAO Qingzhou, WAN Yi.

本文内容来源于《测绘学报》2025年第1期（审图号 GS京(2025)0114号）

像方距离场与物方平面约束联合的航空影像与激光点云精确配准

张永军

1.

2.

摘要：

基金项目

第一作者：张永军（1975—），男，教授，研究方向为航空航天摄影测量、影像点云融合和三维城市建模。 E-mail：

通信作者：万一 E-mail：yi.wan@whu.edu.cn

本文引用格式

张永军, 朱昌俊, 邹思远, 刘欣怡, 毛庆洲, 万一.

ZHANG Yongjun, ZHU Changjun, ZOU Siyuan, LIU Xinyi, MAO Qingzhou, WAN Yi.

阅读全文

在摄影测量与遥感中，光学影像和激光探测与测距（light detection and ranging，LiDAR）点云都是关键的数据源。LiDAR点云能够精确获取地表的几何结构，但由于缺乏光谱和纹理信息，其单独应用在虚拟现实和实时应急响应等领域[1]具有局限性，因此常需与影像数据结合使用[2-3]。光学影像可以捕捉丰富的色彩和纹理信息，并通过多视影像密集匹配恢复地物的空间结构。然而，在处理弱纹理、重复性纹理和阴影区域时，基于影像匹配的三维重建精度往往不足[4]。通过将LiDAR点云引入影像密集匹配过程，可以显著提高三维重建的精度[5]。因此，由于这两类数据在信息上的互补性，它们在自动驾驶[6-8]、真正射影像生成[9]和3D城市建模[4-5]等领域得到了广泛的融合应用。然而，基于POS（positioning and orientation system）数据进行影像直接定向，然后进行的直接配准仍存在一定几何偏差[10]，研究LiDAR点云和光学影像精确的几何配准仍具有重要意义。

由于光学影像和LiDAR点云数据的获取机理、组织形式和表达方式存在差异，在两种模态数据之间建立可靠、通用且可重复的同名特征映射仍是研究的难点。尽管深度学习方法能够从影像与点云中学习到高级别的抽象特征表示和匹配关系[11-13]。但目前仍缺乏航空影像与机载LiDAR点云配准的训练数据集，目前该领域仍以传统方法为主。根据配准策略的不同，将光学影像与LiDAR点云的配准方法大致分为以下3类[1,14-15]：基于区域的配准方法[16-17]、基于多视几何的配准方法[15,18]和基于特征的配准方法[1,19-20]。

基于区域的配准方法通常先将点云转化成强度图像或者高程栅格数据，然后设计代价函数来衡量点云生成影像与光学影像之间的全局相似性，常用的相似性测度包括差方和（sum of squared differences，SSD）[21]、归一化互相关函数（normalized cross-correlation，NCC）[17,22]和互信息（mutual information，MI）[16,23-24]等，在最小化代价函数的同时调整配准参数[16-17]。然而，由于要计算全局的相似性，这类算法的计算复杂度较高，不适用于大范围测区的光学影像与LiDAR点云的配准。基于多视几何的配准方法将光学影像转换为摄影测量点云，从而将LiDAR点云和多视影像之间的配准问题转化为三维配准问题，再通过成熟的三维配准算法，如迭代最近点算法（iterative closest point，ICP）[25]最小二乘三维表面匹配[18]来求解配准几何参数。然而，这类方法要求影像间必须构成立体观测[15,18]，不适用于单层覆盖或者交会角过小的光学影像数据。

基于特征的配准方法分别从LiDAR点云和影像中提取特征，并根据较为稳健的特征匹配获得同名特征，从而根据同名特征求解配准参数。这类方法依据特征基元的不同，可大致分为基于点特征、线特征、面特征的方法。跨模态影像匹配算法常用于提取点特征[1,26-27]，但匹配效果易受点云密度及噪声影响。一般而言，基于线特征的配准较基于点特征的配准更为稳健。然而，光学影像与LiDAR点云中提取的直线形态差异较大，不易直接建立二者的同名映射关系。文献[20，28]基于线特征构建距离场，在不显式建立同名线特征对应的情况下，实现了单张光学影像与LiDAR点云的配准。然而，由于文献[20，28]并未顾及多视航空影像之间的几何约束而仅仅进行了单片影像定向，不同视角的配准结果可能不满足多视一致性，也无法提升配准精度。基于面特征的配准方法通常使用LiDAR点到影像局部平面的距离作为约束[29]，或者使用摄影测量连接点到LiDAR中拟合的局部平面的距离作为约束[19,30]，但由于航空影像与机载LiDAR点云中都不易提取出竖直立面，导致这类方法缺乏水平方向上的约束，配准的水平精度往往不高[14]。

尽管当前光学影像和LiDAR点云数据配准领域已经提出了多种方法，但现有方法通常难以同时兼顾水平与高程约束以及多视航空影像之间的几何约束。因此，本文提出了一种像方距离场与物方平面约束联合的航空影像与激光点云精确配准方法。该方法分为两个阶段：基于线元距离场的单像配准和线面约束结合的区域网平差。在单像配准中，基于航空影像中提取的线元素构建距离场，通过最小化LiDAR点云投影线在距离场中的全局代价，实现单张影像与LiDAR点云的配准。在区域网平差阶段，在满足多视航空影像之间的复杂几何约束的同时，基于同名线元素匹配以提取控制点作为水平及高程约束，利用影像连接点到LiDAR点云中最近水平面的距离作为高程约束，能够有效提升多视航空影像与机载LiDAR点云的配准精度。

DFPC配准方法流程如图1所示。该方法分为基于线元距离场的单像配准与线面约束结合的区域网平差两个阶段。在基于线元距离场的单像配准中，首先使用LSD（line segment detector）算法从影像上提取线元素[31]，使用基于不规则三角网跟踪的屋顶边缘直线段提取方法从LiDAR点云中提取建筑物轮廓[32]。然后，基于影像线元构建距离场，将点云中提取的建筑物轮廓线投影至像方，通过渐进式稳健求解算法优化影像外方位元素，实现单张光学影像与LiDAR点云的配准。在线面约束结合的区域网平差阶段，选择部分线特征分布较为密集的影像作为关键景影像，并对所有关键景影像和LiDAR点云逐一进行单像配准。基于单像配准的结果进行同名线元素匹配，获得线元素控制点。然后，基于影像间的连接点与线元素控制点，通过区域网平差更新所有影像的位姿与连接点物方坐标。接着，基于更新后连接点附近LiDAR点云平面拟合的结果，对摄影测量连接点进行过滤，以生成高程控制点。最后，利用高程控制点，通过区域网平差进一步精化多视航空影像与机载点云的配准。

图1 DFPC配准方法流程

Fig. 1 Flowchart of DFPC registration method

由于光学影像和LiDAR点云的获取机理、组织形式和表达方式存在差异，直接建立线元素的映射关系存在较大难度。因此，本文基于文献[20]不显式建立线元素对应的配准方法求解配准参数，配准流程如图2所示。分别从影像与点云中提取线元素，再基于影像线元素构建距离场，通过最小化点云投影线元素在距离场中的总代价来求解配准参数。

图2 基于线元距离场的单像配准（距离场值按低到高渲染成从蓝色到黄色的伪彩色）

Fig. 2 Single image registration based on line distance field (distance field rendered in pseudo-color from blue to yellow by value from low to high)

(1)

式中，D（·）表示距离场。式（1）是一个非线性模型，需要线性化后通过最小二乘法迭代求解，定义

(2)

对F（p）线性化后，得到的线性方程组为

(3)

式中，ε是F（p）的估计值与观测值的差值，即从距离场中内插得到的距离值；Δp是投影参数的改正数；J是系数矩阵，可以通过复合求导的原理获得

点云和影像中提取的线元素差异极大，点云中提取的线一般表示几何轮廓，而影像线则可能包含了由纹理和颜色突变导致的线边缘，这些线边缘在点云线中通常无法找到同名线。为了准确地求解配准参数，需要在式（1）的求解中引入稳健估计。本文采用文献[33]提出的渐进式稳健求解算法对观测值中的粗差进行剔除，该方法使用稳健权值函数对观测值进行迭代加权

(5)

式中，r是残差；β是固定归一化尺度参数[33]，反映残差的平均水平，通常设置为以像素为单位的配准初始系统误差。α是渐进调节的稳健控制参数，决定了权值函数的稳健程度。α的取值范围为[-1，2]，当α=2时，观测值等权，权值函数不具备稳健性，配准迭代过程中均匀减小α，即可逐渐提升权值函数的稳健程度，当α减少至-1时，停止迭代。迭代过程中α的改正值定义为τ，即αj=αj-1-τ，用于平衡迭代次数与稳健求解的成功率，较小的τ值会增加迭代次数，但同时提高了解算的成功率。当粗差比例低于80%且τ取值范围为[0.05，0.5]时，求解成功率总是接近100%，权值函数对于τ不敏感。而当粗差比例大于80%时，通常需要较小的τ值，从而进行更多次的迭代以保证求解成功率。

当图像内无法提取出一定数量的几何线特征时，无法使用基于线元距离场的单像配准算法。此外，由于配准所使用的建筑物线元素主要是屋顶轮廓，相对于影像航高，屋顶轮廓近似位于同一平面，该算法在竖直方向上提供几何约束较为有限[20,28]。在包含多视观测时，只基于单张影像的配准算法未考虑多视几何约束，未充分利用多余观测，不能有效提高配准精度。为应对上述问题，本节提出了一种基于线面特征的控制点生成方法，在单像配准的基础上，通过点云控制点约束的区域网平差实现高精度的配准。

在大范围多视航空影像与机载点云的配准中，由于航空影像间存在多视几何约束，不必对每张影像进行单独配准，只需选择部分线特征分布较为密集的影像作为关键景影像，以进行单像配准并提取线特征控制信息。为确保关键景影像在整个测区内的均匀分布，定义关键景影像为那些在相邻影像中线特征数量最多的影像，即

(6)

式中，P（Ij）表示影像Ij中点云投影线特征的数量；Cj表示影像Ij的摄影中心；N（i）表示影像摄影中心Ci的K邻域。

对于每张成功实现单像配准的航空影像，首先基于单像配准后的投影参数p，将所有三维点云线Llas投影至像方得到点云投影线Lprj，再根据直线相似性评价测度S，在点云投影线Lprj和影像线Limg之间匹配最相似的线段

(7)

式中，Ac是归一化的凸包（convex-hull）面积，凸包由投影线Lprj和影像线Limg的4个端点围成；l1和l2分别是两条线段的长度；θ是两条线段间的夹角；w（θ，α，β）为式（5）的权函数，对夹角θ进行稳健加权。

对于每对匹配到的二维同名线对等间距采集同名点，原理如图3（a）所示。首先将点云投影线Lprj投影至影像线Limg上，再从公共部分等间距均匀采集一定数量的点获得同名点对。然后，从Lprj对应的三维点云线Llas上线性内插同名点对应的空间点坐标，从而获得线元素控制点。

图3 控制点生成

Fig. 3 Ground control point generation

为了获取稳定的高程控制点，对于每个邻近LiDAR点云的摄影测量连接点，使用K-D树检索其在LiDAR点云中的n个最邻近点，采用主成分分析（principal component analysis，PCA）来检验这n个最邻近点的分布。将n个最邻近点组成数据矩阵X，其中每一行对应一个三维点

(8)

计算X的协方差矩阵C，并对C进行特征值分解

(9)

式中，P是包含特征向量的矩阵；Λ是对角矩阵，将Λ的特征值归一化后按大到小排列，记为λ1、λ2、λ3。若λ3相对较小，远小于λ1和λ2，则邻近点主要分布在其他两个特征向量所构成的平面上，即邻近点近似共面；若λ1远大于λ2和λ3，则邻近点主要沿着λ1所对应的特征向量的方向分布，即邻近点近似共线。为了寻找在LiDAR点云的局部平面附近的摄影测量连接点，设置经验性阈值T1和T2，当λ1T1且λ3T2时保留摄影测量连接点，使用稳健平面估计在这些点附近拟合局部平面。

由于水平面在机载LiDAR点云中广泛存在，且较其他方向的平面更为稳定，本文仅使用LiDAR点云中的水平面来生成控制点，即仅保留平面法向量N与竖直方向向量夹角小于一定阈值的平面

(10)

式中，N是归一化的平面法向量；n⊥是竖直方向单位向量；Tθ是夹角阈值。将摄影测量匹配点T沿着法向量N投影至拟合的局部水平面上（图3（b）），所获得的投影点G作为控制点。由于单像配准后影像坐标系与点云坐标系仍有微小的水平偏差，控制点的平面坐标并不准确。因此，这些控制点将只用于高程控制。

试验数据详细信息见表1。数据集Ⅰ获取自浙江省宁波市城区，数据集Ⅱ获取自武汉大学校园，数据集中包含建筑、树木和道路等丰富地物，有助于评估本文算法在不同场景下的配准效果。宁波数据集包含了大范围的多视航空影像，有助于检验本算法利用多视几何约束对大范围光学影像与机载点云的配准效果。武汉大学数据集仅包含50张下视航空影像，彩色点云数据由武汉珞珈伊云光电技术有限公司提供的MT1500激光雷达设备采集。武汉大学数据集测区范围小，便于开展对比试验。测区概况如图4所示。

表1数据集详细信息

Tab. 1

新窗口打开| 下载CSV

图4 LiDAR点云和影像分布（LiDAR点云按高程渲染成从蓝色到红色的伪彩色）

Fig. 4 LiDAR point cloud and image distribution (LiDAR point cloud rendered in pseudo-color from blue to red by elevation from low to high)

由于LiDAR点云参考坐标系与人工实测检查点的参考坐标系基本一致，本文试验将LiDAR点云坐标系作为参考，将影像配准至点云坐标系。使用配准后所有检查点的均方根误差作为定量精度评价指标

基于宁波数据集开展大范围多视光学影像与机载点云配准试验。考虑到提取的影像线中包含有一定的噪声，将α的起始值设定为1.5，为了在配准开始时就增强对噪声的抵御能力。本文将τ设置为0.03，从而进行更多次的迭代，以确保配准过程的稳定性并提升配准的成功率。归一化尺度参数β的设定基于宁波数据集的影像初始POS精度。考虑到宁波数据的影像初始定位系统误差不超过20像素，本文将β设置为20以适应具体的试验环境。

通过将提取的点云线投影至像平面上，根据点云线的投影与影像中建筑物轮廓的一致性，来定性评价单像配准的结果。图5展示了单像配准前后线元素的投影结果的部分示例。图5（a）显示了根据初始POS进行配准前的投影结果，图5（b）展示了单像配准后的投影结果。由图5可以看出，在配准前，投影结果与相应的建筑物轮廓明显偏离，但经过单像配准后，投影线已经基本与建筑物轮廓吻合。这表明单像配准能够有效地实现单张光学影像与LiDAR数据的配准。

图5 宁波数据集单像配准前后点云线元素投影结果对比

注：红线为点云投影线。

Fig. 5 Comparison of point cloud line element projection results before and after single image registration in Ningbo dataset

关键景影像选择中，邻域大小K的取值为25，筛选出均匀覆盖测区的22张关键景影像（图6）。为了评估线面约束结合的区域网平差后局部区域的配准效果，选择了一些典型建筑物的屋顶点云，并利用区域网平差前后的参数将它们反投影到相应的影像上。DFPC方法的完整流程配准前后的投影结果如图7所示。图7中，蓝点表示点云投影，上方显示了根据初始POS进行配准前的投影结果，而下方展示了经过DFPC方法配准后的投影结果。由图7可以看出，DFPC方法能够将错位的建筑物屋顶点云与影像精确对齐。

图6 关键景影像分布

Fig. 6 Key images distribution

图7 宁波数据集DFPC方法配准前后投影结果对比

注：蓝点为LiDAR点云投影。

Fig. 7 Comparison of projection results before and after DFPC registration on the Ningbo dataset

配准前后的检查点残差分布如图8所示。灰色底图为LiDAR点云范围，红点表示检查点在测区中的平面位置，箭头指向表示残差方向，箭头长度表示残差大小。为了方便展示，图8中的箭头被放大了1000倍，图8（a）、（b）分别表示配准前后的检查点水平方向残差，图8（c）、（d）分别表示配准前后检查点高程方向残差。由图8可以看出，配准前多视航空影像坐标系存在相对点云坐标系的系统偏移，配准后高程方向的系统误差显著降低，而水平方向的系统无明显系统误差，只存在一定的随机误差。定量化配准精度见表2。配准前基于光学影像初始POS进行直接配准的水平误差为0.75 m，高程误差为0.98 m。经本文算法配准后，水平精度大幅提升至0.16 m，高程精度提升至0.19 m，配准精度优于点云间距。

图8 宁波数据集中DFPC方法配准前后检查点残差

注：灰色底图为LiDAR点云范围，红点表示检查点位置，箭头指向表示残差方向，箭头长度表示残差大小。

Fig. 8 Check points residuals before and after registration with the DFPC method for Ningbo dataset

表2基于DFPC的宁波数据集配准精度

Tab. 2

新窗口打开| 下载CSV

配准试验在一台配备Intel（R）Core（TM）i5-10600KF处理器、64 GB内存和NVIDIA GeForce GTX 1660 SUPER，操作系统为Windows 10 X64操作系统的计算机上进行。本文算法在Visual Studio 2019下实现，采用并行处理进行优化。配准总用时约为50 min，其中关键景影像的单像配准用时11 min，其余的线元素提取和控制点生成分别用时25 min和13 min，工程占用总存储空间510 MB。综合考虑配准精度和效率，本文算法能够有效实现大范围多视航空影像与LiDAR点云之间的高精度配准。

为了突出本文算法的配准效果，将DFPC配准算法与基于ICP算法[25]和基于HPMEC跨模态影像匹配[27]算法的配准策略的精度与效率进行对比。ICP配准过程中密集匹配点云的生成十分耗时，并且点云数据量极大。基于HPMEC算法匹配[27]跨模态影像的配准中，深度图的生成效率较低，跨模态算子匹配的时间复杂度也较高。因此，本文选择了测区范围较小的武汉大学数据集上对比各方法的配准精度，试验的硬件配置与2.2节相同，根据文献[33]的理论与数据集的特点，将单像配准中的稳健调节参数α、β和τ分别设置为1.2、15和0.03。由于该数据集的影像数量较少，为了确保配准精度，所有影像均被视为关键景影像并进行了单像配准。

在武汉大学数据集上不同方法配准后的检查点残差分布如图9所示，为了方便展示，图9中的箭头被放大了100倍。HPMEC[27]方法配准后高程方向仍有明显的系统误差（图9（d）），而ICP的配准算法在一定程度上减小了点云坐标系与影像坐标系之间的系统偏移（图9（b）、（e））。本文方法能够有效提升平面的配准精度（图9（c）），并且显著降低了高程方向上的系统误差（图9（f））。表3给出了本文配准方法与ICP和HPMEC配准精度和效率的定量对比结果，最优值加粗表示。由表3可知，在初始配准平面误差0.32 m，高程误差1.28 m的情况下，DFPC方法的配准精度（dXY=0.06 m，dZ=0.16 m）显著优于HPMEC（dXY=0.31 m，dZ=1.04 m）和ICP算法的配准精度（dXY=0.27 m，dZ=0.32 m）。

图9 武汉大学数据集中不同方法配准后的检查点残差

注：灰色底图为LiDAR点云范围，红点表示检查点位置，箭头指向表示残差方向，箭头长度表示残差大小。

Fig. 9 Check points residuals after registration with different methods on Wuhan University dataset

表3武汉大学数据集中DFPC与其他方法的配准精度与效率对比

Tab. 3

新窗口打开| 下载CSV

表3还给出了各配准方法的效率对比，基于HPMEC匹配[27]法的配准策略需要为每一张影像生成对应的点云深度图和点云坐标图，这些中间结果占用了硬盘空间超过10 GB，耗时近20 min。尽管HPMEC方法的匹配效率明显优于同类的跨模态匹配算法[27]，完成所有的匹配仍使用了约110 min。ICP的性能瓶颈在于密集匹配点云的生成效率，本文试验使用三维重建软件ContextCapture进行密集匹配，总用时约60 min，生成约6 GB的密集匹配点云。而DFPC方法总配准用时仅12 min，中间结果仅占用存储空间37 MB。这表明，DFPC方法具有更少的运算时间和更小的存储开销。

DFPC算法本质上是一种精配准方法，其中POS数据作为单像配准的重要初始值，为待配准的影像提供了初始的姿态和位置信息，POS数据的精度直接影响到最终的配准精度。由于航空影像间通常存在多视几何约束，即使仅有初始位置信息，也可以通过空中三角测量恢复影像间的相对姿态。因此，从实用的角度出发，本节将系统地评估影像初始位置精度对配准结果的影响。试验基于武汉大学数据集进行，首先在影像的外方位线元素中引入不同量级的系统误差，以模拟不同水平的影像初始定位精度，然后统计并分析检查点的平面和高程均方根误差（RMS）。

图10展示了不同初始定位精度对配准精度的影响，随着初始定位误差的增大，配准的平面和高程误差都呈现上升趋势。整体上，平面误差的上升趋势快于高程误差。当影像初始定位精度优于4 m时，平面和高程均保持在可接受的范围内。当影像初始定位误差到达6 m时，平面误差会显著增加。总体来看，影像初始定位精度对配准精度有较大影响，特别是在平面配准方面。当影像初始定位精度太差时，应在使用前通过粗配准方法尽量提高影像的初始定位精度，以确保DFPC精配准算法的最佳效果。

图10 影像初始定位精度对配准精度的影响

Fig. 10 The influence of the initial positioning accuracy of the image on the registration accuracy

为了实现机载点云与航空影像之间的精确几何配准，本文提出了一种像方距离场与物方平面约束联合的航空影像与激光点云精确配准方法。该方法分为基于线元距离场的单像配准与线面约束结合的区域网平差两个阶段。在基于线元距离场的单像配准中，首先分别从航空影像和LiDAR点云中提取线元素，然后基于影像线元素构建距离场。接着，将点云线元素投影至像方，通过渐进式稳健求解算法优化影像位姿。在线面约束结合的区域网平差阶段，通过关键景影像的单像配准与同名线特征匹配，获得线元素控制点。基于影像间的连接点与线元素控制点，通过区域网平差更新所有影像的位姿与连接点物方坐标。基于更新后的摄影测量连接点附近LiDAR点云平面拟合的结果，生成高程控制点。最后，通过高程控制点进一步精化配准结果。试验结果表明，本文算法能在初始值较差的情况下实现稳健配准，配准精度优于点云间距，配准精度与配准效率都显著优于ICP算法和通过跨模态匹配进行配准的策略。

尽管本文算法在试验中表现出良好的稳健性和精度，但仍存在一些局限，需进一步研究和改进。首先，作为一种精配准算法，DFPC的配准结果仍然依赖于影像的初始定位精度。此外，该算法目前只适用于一般城区，在建筑稀少的城郊、战时损毁建筑群和大型露天矿场等场景中，由于难以提取出稳定且有效的线元素，配准效果可能受到限制。未来的研究将在单片配准阶段引入影像金字塔等多分辨率匹配策略，以提升本文算法对初始定位精度的稳健性。此外，还将重点探索如何在复杂场景下增强线特征的提取能力，或引入其他几何或语义特征，以提升本文算法的适用性。

来源：测绘学报