摘要:遥感影像在获取过程中会经常受到条带噪声的污染,降低遥感影像的视觉效果,对影像解译和反演等处理产生不利影响。当前一些主流的基于变分的条带噪声去除方法,虽然可以去除条带噪声,但是往往也会导致影像细节信息的严重丢失。基于上述问题,本文提出了一种基于细节信息约束的遥感
本文内容来源于《测绘学报》2024年第9期(审图号GS京(2024)1896号)
基于细节信息约束的遥感影像条带噪声去除模型
王密,1, 董滕滕,1, 彭涛1, 项韶1, 兰穹穹1,21.武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉 430079
2.
摘要:遥感影像在获取过程中会经常受到条带噪声的污染,降低遥感影像的视觉效果,对影像解译和反演等处理产生不利影响。当前一些主流的基于变分的条带噪声去除方法,虽然可以去除条带噪声,但是往往也会导致影像细节信息的严重丢失。基于上述问题,本文提出了一种基于细节信息约束的遥感影像条带噪声去除模型(DISUTV)。在DISUTV模型中,将所提出的基于双边滤波器与正交子空间投影的细节信息分离算子与单向全变分正则化项、群组稀疏正则化项及单向全变分正则约束项进行了有效结合,并采用交替方向乘子法对其进行求解,用于从条带噪声影像中获取不含有细节信息的高精度条带噪声。利用模拟数据与真实数据对本文方法的条带噪声去除能力、细节信息保持能力及稳健性进行了验证并与现有前沿方法进行了比较。试验结果表明,本文方法在去除条带噪声的同时能更好地保留影像的细节信息,并且呈现出了较好的定性与定量结果。
王密(1974—),男,博士,教授,博士生导师,研究方向为高分辨率光学卫星影像数据处理与智能服务。E-mail:
通信作者:董滕滕 E-mail:2022206190049@whu.edu.cn
本文引用格式王密, 董滕滕, 彭涛, 等.阅读全文
近些年,随着遥感技术的迅速崛起和发展,遥感影像以其蕴含的丰富信息在军事和民用领域得到了广泛应用[1-3]。然而,探测器像素响应的不均匀性、空气介质的差异、传感器的机械运动以及影像采集过程中温度的变化,使遥感影像中含有大量的条带噪声,限制了遥感影像在影像解译、反演等方面的应用[4]。因此,条带噪声去除是遥感影像应用和分析中重要的预处理步骤。目前常用的去条带方法主要有4类:基于统计的方法[5-10]、基于滤波的方法[11-14]、基于深度学习的方法[15-16]和基于变分的方法[17-22]。
基于统计的方法假设每个检测器的数字分布是相同的,然后将目标分布调整为参考分布,这些方法主要包括矩匹配[5-6]、直方图匹配[7]和基于矩匹配的改进算法[8-10]。这类方法实现简单、处理速度快,但对数据分布的假设限制了它们的有效性,即当地物分布复杂时,每个探测器获取的特征会发生较大变化,从而影响条带噪声的去除效果。基于滤波的方法,如基于小波的滤波器[11-12]、自适应滤波器[13]或有限脉冲响应滤波器[14]等,均是在给定频率下构造相应的滤波器来去除条带噪声,常用于处理周期性的条带噪声。这些方法处理速度快,且可以在地理切片影像上产生良好的结果,但无法有效去除非周期性条带噪声。基于深度学习的方法主要利用深度卷积神经网络对条带噪声进行校正,文献[15]提出了一种深度迭代算法(deep unfolding for iterative stripe noise removal, DIRN),利用条带噪声相邻列之间的相关性对红外影像的条带噪声进行了去除。文献[16]从变换域的角度提出了一种创新的小波深度神经网络,该网络充分考虑了条带噪声的固有特性和不同小波子带系数之间的互补信息,以较低的计算量便可以较好地去除条带噪声。目前大多数的深度学习方法在训练时使用的均是模拟条带噪声,因此在对真实条带噪声进行去除时,往往无法得到预期的结果。
基于变分的方法则是将条带噪声去除问题视为不适定逆问题,通过最小化能量函数来去除条带噪声。文献[17]在对经典TV模型及条带噪声方向性进行分析的基础上,提出了一种充分考虑条带噪声方向信息的单向全变分模型(unidirectional variational model, UTV)用于条带噪声的去除,但该模型在去除条带噪声时会破坏影像的细节信息。文献[18]总结了传统变分方法及其改进算法在去除条带噪声时容易产生过度平滑和条带伪影的缺点,在小波域中提出了一种由低秩模型驱动的条带噪声去除模型(wavelet-domain low-rank/group-sparse destriping model, WDLRWGS),实现了对周期条带噪声与非周期条带噪声的有效去除。文献[19]将低秩矩阵恢复模型与总变分正则化项相结合,提出了一种基于低秩张量分解的条带噪声去除模型(low-rank tensor decomposition model, LRTD),实现了对周期条带噪声与非周期条带噪声的有效去除。文献[20]为了在不破坏影像细节信息的情况下实现对条带噪声地去除,提出了一种基于引导滤波的全变分去条带算法(wavelet decomposition and total variation-guided filtering model, TVGF),该算法首先利用小波变换对影像进行多尺度表示,并通过总变分方法对影像进行边缘保持平滑处理,接着将平滑后的影像作为引导影像,在空间域中利用引导滤波器实现了对条带噪声地去除。文献[21]提出了一种基于Hodrick-Prescott分解的低秩矩阵恢复算法(Hodrick-Prescott decomposition embedded in the low-rank framework, LRHP),用于去除遥感影像中的不规则条带噪声。文献[22]将小波技术与变分模型结合起来实现了条带噪声的去除。由于优化模型设计的灵活性,这类方法是目前较为有效的去条带方法,但目前大多数基于变分的方法都存在一个共同问题:由于模型的正则化强度很难把控,在去除条带噪声时会丢失影像的细节信息[23]。
针对变分法在去除条带噪声时会丢失影像的细节信息这一问题,本文提出了一种基于细节信息约束的遥感影像条带噪声去除模型(unidirectional variational model based on detail information separation, DISUTV),旨在将变分模型求解过程中的条带噪声与细节信息分离。变分法对条带噪声进行去除时会破坏影像细节信息的主要原因在于对变分模型进行求解的过程中,由于模型的正则化强度很难把控,一些与条带噪声相似性较高的细节信息很容易被当作条带噪声提取出来,使得在去除条带噪声的同时也破坏了影像的细节信息。鉴于此,本文提出了一种基于双边滤波器与正交子空间投影的细节信息分离算子(detail information separation, DIS),对模型求解过程中的条带噪声进行约束,分离出条带噪声中的细节信息,从而得到不含有细节信息的高精度条带噪声,在去除条带噪声的同时能更好地保留影像的细节信息。本文使用模拟数据与真实数据对本文方法进行试验验证。结果表明,与现有前沿去条带方法相比,本文方法在条带噪声去除、细节信息保护及稳健性上呈现出较好的定性和定量结果。
条带噪声是一种结构性噪声,具有单向性及方向性[23],且具有一定的群组稀疏性[24]。因此本文在构建的DISUTV模型中,使用DIS对群组稀疏正则化项、UTV正则化项和UTV正则约束项进行了约束,以此来表示条带噪声的群组稀疏性[24]、方向性及清晰影像的局部连续性[25]。最后采用交替方向乘子法(alternating direction method of multipliers, ADMM)对所提出的DISUTV模型进行了求解,用于从条带噪声影像中获取不含有细节信息的高精度条带噪声,从而在完全去除条带噪声的同时更好地保留影像的细节信息。本文方法的具体流程如下:
(1)构建DIS算子与条带噪声去除模型DISUTV。本文在1.1节与1.2节中对DIS与DISUTV的构建过程进行了详细说明。
(2)标准化输入与相关参数的初始化。输入含条带噪声影像Y,相关参数λ1、λ2、β1、β2、β3、δs、δr。令
S=0 Y
ξ=τ=10-4,β=0 Em×1,N=1000,l=0,t=0。相关参数的含义已在下文给出。
(3)输入相关参数后,采用ADMM算法对所提出的基于细节信息约束的条带噪声去除模型DISUTV进行了求解。在求解过程中,使用提出的细节信息分离算子DIS对条带噪声进行约束,分离出条带噪声中含有的细节信息。本文在1.3节中对DISUTV模型地求解进行了详细描述。
(4)求解完成后,得到不含有细节信息的高精度条带噪声S,利用提取出的S可以计算出最终的去噪影像U=Y-S。
1.1 DIS算子DIS算子是基于双边滤波器(bilateral filters, BF)与正交子空间投影技术实现的,用于对条带噪声进行约束,实现影像细节信息的分离。条带噪声S中既含有条带噪声SP,也含有影像的细节信息D,因此S可以表示为
(1)式中,SSP,D∈Rm×n,其中m与n分别表示影像的行数与列数。
由于条带噪声是CCD(charge-coupled device)响应函数不一致与影像由多次探测拼接共同作用形成的,因而在噪声方向上有明显的相关性。通常条带噪声具有低秩性的特点,且秩仅为1,根据现有的研究工作[26-27],可以将条带噪声定义为
(2)式中,Em×1为元素全为1的m×1阶矩阵;β∈Rn×1。因此式(1)可以表示为
(3)条带噪声的秩为1,而细节信息的秩相对较大,细节在条带噪声上的投影能量相对较小,如果忽略细节在条带噪声上投影的微弱能量,就可以认为条带噪声SP与影像细节D正交[28]。可以表示为
(4)将式(4)代入式(3)可得
(5)将式(5)代入式(2)可得SP
(6)为获取更为理想的条带噪声。本文采用迭代提取,逐步累加的策略来分离条带噪声与细节信息。即首先使用BF对S进行滤波处理,获得S的滤波残差图R(R∈Rm×n),之所以使用BF对S进行平滑处理,是因为BF在平滑影像的同时,可以很好地保留影像的细节信息(图1)使得到的滤波残差图R中的条带噪声更突出,从而更利于条带噪声与细节信息的分离。接着采用式(6)对R中的条带噪声进行提取,这时所提取到的只是一小部分条带噪声
,通过对上述步骤进行迭代,将每一次迭代中所获得的条带噪声
进行累加,最终便可以实现影像细节信息的分离。
图1图1 BF滤波残差
Fig.1 BF-filtered residual
1.2 DISUTV模型对于一幅含有条带噪声的影像Y,去除条带噪声意味着将条带噪声S与清晰影像X从Y中分离。如果是加性条带噪声,则Y、X与S(YXS∈Rm×n)满足关系
(7)若是乘性条带噪声则有
式中,表示矩阵的Hadamard积(即两矩阵对应位置的元素相乘)。影像的取值是非负的,可以利用对数函数将式(8)所表示的乘性条带噪声转换为加性条带噪声,此时便可以将条带噪声作为加性噪声来处理。因此在本文考虑以下影像退化模型(9)式中,Y、U和S(YUS∈Rm×n)分别表示观测影像、清晰影像和条带噪声,本文中处理的条带噪声都是垂直的。如果是水平的条带噪声,可以将其旋转为垂直的再进行处理。本文提出的DISUTV模型为
式中,第1项为基于DIS约束的UTV正则化项用于描述条带噪声的方向特征,即沿条带噪声方向的平滑度;第2项为基于DIS约束的群组稀疏正则化项,被用来描述条带噪声的群组稀疏性;第3项为基于DIS约束的UTV正则约束项,即本文模型的拟合项,被用来描述清晰影像的局部连续性;DIS为本文方法的细节信息分离算子,用于对条带噪声进行约束,分离出条带噪声S中的细节信息。λ1与λ2是平衡这3项的正则化系数;表示所有元素的绝对值之和;▽x表示垂直条带方向上的一阶差分算子,▽y表示条带方向上的一阶差分算子。式(10)中,基于DIS约束的群组稀疏正则化项,是将条带噪声S沿垂直条带方向划分为若干块Si,并且每块具有不同的权重wij,其大小与
成反比,以此来描述条带噪声的群组稀疏性,具体形式如下
式中,j为第i块条带噪声的第j列;表示所有元素的平方和然后求平方根;τ为无限接近0但不为0的数,以避免被0整除。1.3 ADMM优化算法目前有许多方法可用于求解基于变分的优化模型,文献[29-31]针对高光谱解混问题提出了一种高效且收敛的对称高斯-赛德尔交替方向乘子法(symmetric Gauss-Seidel alternating direction method of multipliers, sGS-ADMM)对其提出的变分模型进行求解,但当前针对遥感影像条带噪声去除问题普遍采用的是ADMM法。因此,本文采用ADMM法[32]对DISUTV模型进行了有效求解。
令D=▽yDIS(S)、Q=DIS(S)、V=▽xY-▽xDIS(S)(DQV∈Rm×n),则式(10)可以表示为
(12)
将式(12)用增广拉格朗日函数进行展开
式中,P、1 P、2 P(3 P1 P2 P3∈Rm×n)为拉格朗日乘子;β1、β2、β3为正惩罚参数;表示矩阵中每项数的平方和的开方值。然后使用交替方向乘子法(ADMM)对式(13)进行ADMM迭代,便将式(13)分解为以下子问题(14)
下文对式(14)中的子问题分别进行交替求解,主要分为以下3步。
1.3.1 求D、Q、V的最优解由于D、Q、V是相互独立的,因此可以分别求取它们的最优解。
(1)求解D。D子问题可以表示为
(15)
采用式(16)对式(15)进行求解
(16)
式中,
,且
。
(2)求解Q。Q子问题可以表示为
(17)
令
、
、
,利用软阈值算子对Q求解,如式(18)所示
(18)
式中,
。
(3)求解V。V子问题可以描述为
(19)
采用软阈值收缩算子便可对V进行求解,如式(20)所示
(20)
1.3.2 求解SS子问题可以描述为
(21)
S子问题是一个典型的最小二乘问题,等效于求解以下线性方程
(22)
对式(22)可以采用快速傅里叶变换(FFT)有效求解。
1.3.3 更新拉格朗日系数P1、P2、P3需要在每次迭代中对拉格朗日系数P、1 P、2 P3按照式(23)进行更新
(23)
本文利用ADMM算法将式(10)分解为3个简单的子问题:D、Q、V子问题可以通过软阈值算子解决;对于S子问题,可以选择FFT进行高效求解;拉格朗日系数P、1 P、2 P3可以并行更新。最终便可以获取到不含有任何细节信息的高精度条带噪声。
2 试验验证为了验证DISUTV模型的条带噪声去除能力、细节信息保持能力及其稳健性,将DISUTV与6种前沿的去条带方法进行了比较。用于比较的6种方法分别为小波域低秩去条带法[18](WDLRWGS)、基于低秩张量分解的去条带法[19](LRTD)、UTV法[17]、基于引导滤波的全变分去条带法[20](TVGF)、深度迭代法[15](DIRN)和基于Hodrick-Prescott分解的低秩矩阵恢复法[21](LRHP)。
2.1 评价指标为了对本文方法性能提供一个更为全面的评价,从定性和定量两个方面验证了所提出的DISUTV模型的条带噪声去除能力、细节信息保持能力及其稳健性。对于模拟条带噪声的去除,本文采用条带噪声提取指标IS、结构相似度指标SSIM、影像信息保持指标IM以评价去条带法的性能。IS与SSIM越接近1、IM越小,说明提取的条带噪声越完全,影像的细节信息与结构信息保持得越好。
各指标定义如下
(24)
(25)
式中,ST、S分别为提取的条带噪声与添加的条带噪声;X、分别为去条带影像与参考影像;μX与分别为X与的均值,为X与的协方差,σX与分别为X与的标准差;c1与c2为大于0的常数。在真实条带噪声去除试验中,本文选取了方差(δ)、信噪比(PSNR)、影像信息熵(H)、结构相似度指标(SSIM)与降噪比(NR)验证了DISUTV模型的性能。δ、PSNR和NR越大,说明去噪后影像的灰度层次越丰富,影像质量越高,噪声去除的越完全;H越大、SSIM越接近1,说明影像的细节信息与结构信息保持的越好。各指标定义如下
(27)
(28)
(29)
(30)
式中,μ为影像的均值;M与N分别为影像的行数与列数;p(i)表示灰度值为i的概率密度函数;N0表示噪声影像的频率分量的功率;N1表示去条带影像的频率分量的功率。除此之外,本文还对比了模拟数据与真实数据去除条带噪声前后的列平均交叉轨迹曲线,以更直观地显示DISUTV模型的性能。
去条带模型性能的好坏不仅取决于条带的类型和强度,还与模型参数的选择与组合有关,因此很难对所提出模型的参数进行自动化处理。在式(10)中,正则化系数λ1对条带噪声进行了约束,决定了条带噪声的群组稀疏性;正则化系数λ2决定了清晰影像的局部连续性;BF平滑参数δs决定了条带噪声与细节信息的分离程度。通过大量试验得出当0.001≤λ1≤0.002,0.005≤λ2≤0.01,1.0≤δs≤1.5时可得到比较好的去条带效果。在试验中使用的影像均为16位的,2.4节更详细地讨论了所提模型的参数估计,本文使用的对比方法的参数设置,将以参考文献[15,17-21]给定的范围为准。
2.2 模拟数据试验为了验证DISUTV模型的条带噪声去除能力、细节信息保持能力及其稳健性,本文给5幅具有不同内容的LuoJia-3 01星的线阵推扫影像(原始影像1—原始影像5)添加不同强度的随机加性条带噪声进行了模拟试验,生成的条带噪声影像与原始影像如图2所示,尺寸大小为400×400像素,将生成的条带噪声影像记为噪声影像1(r=0.2,I=0.2)、噪声影像2(r=0.3,I=0.3)、噪声影像3(r=0.5,I=0.5)、噪声影像4(r=0.8,I=0.8)、噪声影像5(r=0.9,I=0.9)。其中r、I分别表示添加噪声的百分比与强度。
图2图2 模拟数据
Fig.2 Analog data
本文中展示了本文方法与对比方法在模拟数据噪声影像1、噪声影像3、噪声影像5上的去条带效果如图3—图5所示,图中红色框内为去噪结果的局部放大图,绿色框内为原始噪声影像相应位置的局部放大图。本文从条带噪声去除能力、细节信息保持能力及稳健性3个方面分析了DISUTV模型的去条带性能。
图3图3 噪声影像1去噪结果
Fig.3 Noise image 1 denoising results
图4图4 噪声影像3去噪结果
Fig.4 Noise image 3 denoising results
图5图5 噪声影像5去噪结果
Fig.5 Noise image 5 denoising results
首先探究了DISUTV模型的稳健性。从各算法的去噪结果(图3—图5)中可以看出,在使用WDLRWGS、UTV、DIRN和LRHP对噪声强度不同、地物分布不同、灰度变化幅度不同的模拟数据进行条带噪声去除时,上述4种方法并没有取得令人满意的效果,去噪影像中依然残留着条带噪声,这说明WDLRWGS、UTV、DIRN和LRHP在面对不同的条带噪声影像时,无法产生较为准确和稳定的输出结果,算法的稳健性较差。通过对LRTD(图3(d)—图5(d))的去噪结果进行分析,发现LRTD无法完全去除强度较弱的条带噪声,但对强度较大的条带噪声取得了较为优秀的去噪结果,算法的稳健性要优于WDLRWGS、UTV、DIRN和LRHP。TVGF与本文方法在面对不同类型的模拟条带噪声影像时,均取得了令人满意的去噪结果,表明TVGF与本文方法在应对不同类型条带噪声影像时的稳定性和准确性是优于其他5种方法的,算法的稳健性较好。
接着,根据各算法的去噪结果(图3—图5)并结合各算法所提取的条带噪声(图6—图8)着重分析了DISUTV模型的条带去除能力与细节信息保持能力。本文首先分析了WDLRWGS、UTV、DIRN和LRHP的去条带能力与细节信息保持能力,可以看出,WDLRWGS、UTV、DIRN和LRHP不仅没有实现对条带噪声的完全去除,而且还破坏了影像的细节信息。这主要与各算法所存在的局限性有关,WDLRWGS算法是利用小波变换的多尺度和多方向分析能力,通过低秩分解和组稀疏求解来分离影像条带噪声的,这种方法主要适用于周期性的条带噪声去除,在处理非周期性或非线性条带噪声时,可能无法完全去除影像中的条带噪声;UTV算法的性能通常依赖于一些参数的选择,如阈值和滤波器大小等,这些参数需要根据具体的影像和噪声特性进行调整,选择不当可能会导致去噪效果不佳;DIRN在训练时是通过给清晰影像添加某一强度的模拟条带噪声来生成配对训练数据,但是条带噪声存在多种模式,如果在训练过程中未能充分考虑或覆盖到所有可能的条带噪声模式,就无法有效地对条带噪声进行去除;LRHP是一种专门应用于月球矿物学探测仪(M3)的去条带噪声方法,因此在其他数据集上的应用可能会受到一些限制。LRTD是一种基于低秩张量分解的算法,该算法在低秩张量分解过程中,会将输入数据分解为多个低秩张量的乘积,其中每个低秩张量表示一个特定的特征,如空间、光谱和条带噪声,如果输入数据中的条带噪声强度较弱,它的特征可能与影像的真实信息非常相似,从而被误认为是影像的真实信息,导致算法难以正确地去除强度较弱的条带噪声。仅从去噪影像的目视效果上看本文方法与TVGF的去噪效果是最好的,但通过对本文方法与TVGF所提取的条带噪声进行分析,可以看出与本文方法相比,TVGF算法所提取的条带噪声中残留着明显的细节信息,这是因为在本文模型中,采用了DIS算子对UTV正则化项、群组稀疏正则化项及UTV正则约束项进行了约束,从而可以得到不含有细节信息的高精度条带噪声,在完全去除条带噪声的同时,更好地保留了影像的细节信息。
图6图6 噪声影像1条带噪声提取结果
Fig.6 Noise image 1 strip noise extraction results
图7图7 噪声影像3条带噪声提取结果
Fig.7 Noise image 3 strip noise extraction results
图8图8 噪声影像5条带噪声提取结果
Fig.8 Noise image 5 strip noise extraction results
表1列出了不同方法对5个模拟数据的IS、SSIM与IM结果,最优的IS、SSIM与IM的值已加粗显示。可以看出,本文方法在这3方面都优于其他方法,表明所提出的DISUTV模型具有较好的条带噪声去除能力、细节信息保持能力及稳健性。
表15个模拟数据的定量评估
Tab.1 Quantitative assessment of the five simulated data
影像指标WDLRWGSUTVLRTDTVGFDIRNLRHP本文方法噪声影像1IS1.325 136.077 100.986 621.840 280.881 2114.370 890.993 05IM0.000 130.001 170.000 080.000 190.000 050.002 980.000 01SSIM0.977 670.905 250.997 330.998 740.989 060.773 780.999 63噪声影像2IS1.215 803.183 341.650 131.739 210.757 4910.378 900.978 89IM0.000 230.001 190.000 390.000 400.000 130.005 070.000 01SSIM0.979 990.907 890.998 480.998 140.986 540.923 520.999 32噪声影像3IS2.749 154.099 882.591 541.946 610.863 1615.347 400.973 95IM0.001 500.002 490.001 430.000 770.000 220.028 610.000 03SSIM0.875 910.788 500.982 690.972 570.885 280.724 370.985 58噪声影像4IS6.609 296.718 181.673 471.813 510.842 486.222 320.953 44IM0.006 590.005 900.000 760.001 020.000 350.005 210.000 16SSIM0.981 850.857 070.996 580.993 450.987 900.929 460.998 97噪声影像5IS2.235 9319.599 771.891 681.650 290.749 2822.744 061.101 17IM0.001 200.016 380.000 810.000 860.000 350.048 870.000 32SSIM0.974 460.880 790.995 360.981 210.967 330.815 500.995 67新窗口打开| 下载CSV
此外,本文还比较了模拟数据去除条带噪声前后的列平均交叉轨迹曲线,以更直观地显示各方法的去条带性能。图9显示了不同方法在模拟数据噪声影像1—噪声影像5上去除条带噪声前后的列平均交叉轨迹曲线图,横轴表示影像的列数,纵轴表示影像的列平均值。可以看出本文方法的列平均交叉轨迹曲线与原始影像的列平均交叉轨迹曲线符合得更好,进一步证明了DISUTV模型不仅可以有效去除条带噪声,同时还缓解了影像细节信息的丢失问题。
图9图9 模拟数据去除条带噪声前后的列平均交叉轨迹曲线
Fig.9 Column-averaged cross-trajectory curves for simulated data before and after removal of strip noise
为了深入验证DISUTV模型的条带噪声去除能力、细节信息保持能力及稳健性,本文还在模拟试验中,为一幅LuoJia-3 01星的线阵推扫影像添加了不同强度和不同比例的随机条带噪声(图10)。6种比较方法与本文方法的定量评价指标IS、SSIM与IM的值见表2。在表2中,最优的IS、SSIM与IM的值已加粗显示。由表2可知,与其他方法相比,本文方法在对不同强度的噪声进行去除时,均取得了最优的IS、SSIM与IM值,这说明DISUTV模型相较于其他方法具有更好的条带噪声去除能力、细节信息保持能力及稳健性。
图10图10 模拟数据
Fig.10 Simulation data
表2模拟数据在不同噪声水平下的定量评估
Tab.2 Quantitative evaluation of simulated data at different noise levels
测试影像1IS1.325 136.077 100.986 621.840 280.881 2114.370 890.993 05IM0.000 130.001 170.000 090.000 190.000 050.002 990.000 01测试影像2IS1.136 284.365 110.918 531.328 230.701 879.796 840.980 72IM0.000 150.001 120.000 110.000 110.000 190.002 990.000 01SSIM0.976 840.890 300.995 980.998 680.961 720.773 920.999 31测试影像3IS0.973 984.225 190.709 791.018 740.817 206.185 950.989 26IM0.000 110.001 850.000 050.000 040.000 300.002 980.000 02SSIM0.973 980.883 260.994 000.997 320.933 510.773 830.998 15测试影像4IS1.491 042.413 471.108 921.481 220.724 294.399 200.952 36IM0.000 620.001 400.000 420.000 500.000 460.003 000.000 06SSIM0.973 070.891 890.991 350.990 160.905 620.773 740.992 53测试影像5IS1.064 842.566 630.797 231.097 030.729 263.992 920.940 76IM0.000 270.001 610.000 200.000 190.000 530.003 000.000 07SSIM0.970 850.897 710.989 060.989 220.892 170.773 490.990 71新窗口打开| 下载CSV
同时,为了对本文方法有一个更全面的评价,使用图2与图10所示的模拟数据对各算法的运行时间T进行了对比分析(表3)。可以看出,LRHP与DIRN的处理速度最快,均在5 s左右。这是因为,LRHP是一种基于Hodrick-Prescott分解的低秩矩阵恢复算法,该算法将Hodrick-Prescott分解嵌入在低秩框架,从而快速实现条带噪声的去除。DIRN是一种基于深度学习的条带噪声去除算法,在模型训练完成后,便可以使用训练好的模型实现对条带噪声快速去除,但这种方法在训练模型时需要花费大量的时间。WDLRWGS的处理速度次之,WDLRWGS是一种在小波域由低秩条带模型驱动的条带噪声去除模型,在小波域中该模型仅需要相对较少的计算量便可以实现对条带噪声的去除。UTV、TVGF与本文方法的处理速度在同一水平,均在24 s左右。这是因为,UTV、TVGF与本文方法均是根据条带噪声的特性提出相应的条带噪声模型后,采用ADMM算法对模型进行求解,从而实现条带噪声的去除。LRTD的处理速度最慢,LRTD是一种基于低秩张量分解的条带噪声去除模型,在对噪声影像进行处理时,会先将噪声影像分解为多个不同的张量,然后根据条带噪声的性质,对表示条带噪声的张量进行处理,实现对条带噪声的去除,这样就会需要大量的计算,从而导致处理速度较慢。总体上来说,虽然本文方法的处理速度不是最快的,但结合各算法的条带噪声去除能力、细节信息保持能力及稳健性,本文方法的综合性能,是要优于其他方法的。
表3各算法处理图2与图10所示的模拟数据所使用的平均时间
Tab.3 Average time used by each algorithm to process the simulated data shown in Fig.2 and Fig.10
指标WDLRWGSUTVLRTDTVGFDIRNLRHP本文方法T18.26624.16840.74423.7155.4835.02925.355新窗口打开| 下载CSV
2.3 真实数据试验本文使用中国资源卫星中心提供的GF5B高光谱影像中受真实条带噪声污染较为严重的某几个波段的子影像进行了试验对比,验证了DISUTV模型在对真实条带噪声去除时的条带噪声去除能力、细节信息保持能力及稳健性。使用的真实数据(图11(a)、图12(a)),其中图11(a)、图12(a)分别为第7波段子影像与第15波段子影像,分别命名为真实噪声影像1、真实噪声影像2,尺寸大小均为400×400像素。可以看出,选取的两幅影像的条带噪声干扰程度、地物分布的复杂程度、灰度变化幅度均存在很大差异,能够代表不同类型的条带噪声影像。
图11图11 真实噪声影像1去噪结果
Fig.11 Real noise image 1 denoising results
图12图12 真实噪声影像2去噪结果
Fig.12 Real noise image 2 denoising results
本文结合各方法对真实条带噪声的去噪结果(图11—图12)与条带噪声提取结果(图13—图14)来分析了各方法对真实条带噪声的去除能力、细节信息保持能力及稳健性。由图11—图14可以看出,WDLRWGS、LRTD、DIRN与LRHP对不同强度真实条带噪声的去噪结果均没有达到令人满意的程度,在去噪结果图中可以看到依然残留着少量的条带噪声,并且上述算法的条带噪声提取结果中均残留着明显的细节信息。TVGF与本文方法均较好地去除了真实条带噪声,但TVGF所提取出的条带噪声中残留着明显的细节信息,而本文方法所提取的条带噪声中不含有影像的细节信息,这说明本文方法在处理真实条带噪声时具有更好的条带噪声去除能力、细节信息保持能力及稳健性。
图13图13 真实噪声影像1条带噪声提取结果
Fig.13 Real noise image 1 strip noise extraction results
图14图14 真实噪声影像2条带噪声提取结果
Fig.14 Real noise image 2 strip noise extraction results
此外,为进一步分析比较各方法对真实条带噪声的条带噪声去除能力、细节信息保持能力及稳健性,本文还绘制了去噪前后的列平均交叉轨迹曲线图(图15),图中横轴表示影像的列数,纵轴表示影像的列均值。由图15可知,对于不同类型的真实条带噪声,本文方法的列平均交叉轨迹曲线与噪声影像的列平均交叉轨迹曲线一致性保持得最好,由此可以看出本文方法在处理真实条带噪声时具有更好的条带噪声去除能力、细节信息保持能力及稳健性。
图15图15 真实数据去噪前后列平均交叉轨迹曲线
Fig.15 Average cross-trajectory curves of columns before and after denoising of real data
表4给出了6种比较方法与本文方法的定量评价指标δ、PSNR、H、SSIM与NR的值,最佳的值已加粗显示。由表4可以看出,在使用真实数据测试时,本文方法的去噪结果获得了最优的PSNR、H与SSIM值,这表明使用本文方法去噪后,影像的质量最高,影像细节信息与结构信息保持得最好。而WDLRWGS的δ值、UTV的NR值均优于本文方法,这主要是因为:WDLRWGS并没有完全去除影像中的条带噪声,从而使得去噪影像的灰度层次更加丰富,获得了最优的δ值;UTV在对条带噪声去除时,不仅去除了条带噪声,还去除了一些与条带噪声相似性较高的细节信息,从而导致UTV获得了最优的NR值。但除了WDLRWGS与UTV之外,本文方法的δ值与NR值均是最优的,这说明在对条带噪声完全去除并不破坏影像细节信息时,本文方法将获得最优的δ、PSNR、H、SSIM与NR值,因此,从总体上看使用本文方法去噪后,影像的质量最高,细节信息与结构信息保持得最好,灰度层次也最丰富,并且条带噪声去除情况也最完全。
表4不同算法去噪能力与信息保持能力对比
Tab.4 Comparison of denoising ability and information retention ability of different algorithms
影像指标噪声影像WDLRWGSUTVLRTDTVGFDIRNLRHP本文方法真实噪声影像1δ138.855 94147.801 22137.872 99137.164 33138.678 79142.138 95106.009 90139.651 91PSNR56.996 7166.197 2256.099 1569.571 6665.311 4762.086 0457.844 9369.900 19SSIM0.854 240.979 090.945 110.993 160.989 970.932 500.843 570.993 47H6.604 806.560 116.431 756.555 046.575 336.564 556.427 186.593 57NR00.920 621.413 411.124 261.390 461.115 731.339 221.391 13真实噪声影像2δ323.049 52328.230 63316.036 46316.548 27323.549 80319.592 59265.940 65323.565 86PSNR63.470 2065.751 39963.119 7565.701 2567.668 1565.892 4863.351 9374.613 66SSIM0.995 520.977 380.973 210.976 600.999 500.976 890.900 980.999 68H6.370 756.372 716.336 836.372 0336.372 566.365 756.200 996.374 60NR00.939 951.202 940.958 071.096 461.041 651.072 501.116 32新窗口打开| 下载CSV
2.4 参数分析对于去条带优化模型,很难设置统一的参数来处理所有类型的条带噪声。研究人员通常根据条带噪声水平和影像内容来经验地设置参数。本文提出的DISUTV模型主要有两个正则化参数λ1、λ2和一个BF平滑参数δS。一般来说,对于不同强度的条带噪声,需要设置不同的参数。此外,3个参数之间的相互作用也不可忽视,合理的参数组合将会得到更为优秀的结果。本文对参数的取值进行了详细分析,采用与文献[33]中相同的策略,即调整一个参数而固定其他参数,来分析该参数对去噪结果的影响。当δS固定时,探究了SSIM与IS值随λ1与λ2的变化情况。然后,以同样的方式调整参数δS,探究了IS与IM值随δS的变化情况。在试验中,使用模拟数据噪声影像1、噪声影像3、噪声影像5探究了λ1、λ2的取值(图2),使用噪声影像1—噪声影像5探究了δS的取值,试验结果如图16和图17所示。
图16图16 正则化参数对不同噪声影像去噪结果的影响
Fig.16 Effect of regularization parameters on denoising results of different noise images
图17图17 平滑参数δS的影响
Fig.17 Effect of smoothing parameter δS
由图16可知,当λ1固定时,随着λ2的增大,SSIM的值先增大后减小,IS的值先增大再减小再增大,这说明模型的影像细节信息保持能力先变好后变坏,条带噪声提取能力先变好再变坏再变好;当λ2固定时,随着λ1的增大,SSIM的值逐渐减小,IS的值先减小再增大再减小,这表明模型的影像结构信息保持能力逐渐变坏,条带噪声提取能力先变坏再变好再变坏。且从总体上来看,随着λ1和λ2的增大,SSIM的值在逐渐减小,IS的值在逐渐增大,当0.001≤λ1≤0.1、0.005≤λ2≤0.015时,SSIM已无限接近于1,说明提取出条带噪声后,影像的结构保持较好,但在此区间范围内,IS存在小于1和大于2的情况,这说明在此区间范围内存在条带噪声提取不完全和过量提取的问题,这是不可取的。接着在0.001≤λ1≤0.1、0.005≤λ2≤0.015此区间范围内,通过试验及进一步分析,最终确定正则化系数λ1与λ2的取值范围分别为[0.001,0.002]与[0.005,0.01],由图16可以看出,在此区间范围内SSIM无限接近于1,IS也无限接近于1且略大于1,这说明此时在条带噪声完全提取后,依然较好地保护了影像的结构信息。由图17可以发现,随着δS的增大,IS的值在逐渐增大然后趋于平缓,IM的值在逐渐减小然后趋于平缓,可以看出当1.0≤δS≤1.5时,IS与IM均已经趋于平缓,此时影像中的条带噪声已被完全提取,且较好地保留了影像的细节信息。
3 结语本文提出了一种基于细节信息约束的遥感影像条带噪声去除模型DISUTV。在DISUTV模型中,采用基于DIS约束的UTV正则化项、群组稀疏正则化项与UTV正则约束项对条带噪声沿条带噪声方向的平滑度、条带噪声的群组稀疏性与清晰影像的局部连续性进行了描述,并采用ADMM算法对其进行了求解,用于从条带噪声影像中获取不含有细节信息的高精度条带噪声,从而在完全去除条带噪声的同时更好地保留影像的细节信息。定性地分析了去噪后的影像、提取的条带噪声和列平均交叉轨迹曲线及定量地分析了影像的各评价指标,结果都表明DISUTV模型具有优秀的条带噪声去除能力、细节信息保持能力及稳健性。
○“易智瑞”杯《测绘学报》2024年度优秀论文评选(⑯–㉚号摘要)
○
○
○
○
来源:测绘学报