基于加权的可见光与红外光图像融合算法.pdf

基于加权的可见光与红外光图像融合算法 陈伟斌，牛犇，顾宏斌 （南京航空航天大学 民航学院，江苏 南京 ） 摘要：红外图像所含边缘等细节偏少、可见光又容易受外部环境干扰，融合图像可以提供更全面的信息，符合人 或机器的视觉特性，为图像进一步分析、识别等提供基础。 提出一种比值与梯度加权的可见光与红外光图像融合 算法，结合小波变换在图像分解中的特性及信号集中的特点，将小波变换应用于红外光和可见光图像融合中可以 提高融合信息的理解能力。 针对分解获得的低频系数主要反映图像细节信息的特点，对低频系数采用比值加权分 析融合规则；针对分解获得的高频系数主要反映图像边缘信息特征的特点，对高频系数采用改进边缘检测算子梯 度加权的融合规则。 选取多组图像进行了不同融合规则实验对比分析，通过客观评价指标进行评价，改进的融合 算法可以获得较清晰的融合图像，可以增加图像的互补信息，并能较好地提高融合图像的清晰度。 关键词：红外图像；图像融合；小波变换；比值加权融合算法；梯度加权融合算法 中图分类号： 文献标识码：文章编号：- （）- - Fusion Algorithm of Infrared Images and Visible Images Based on Weighting - ， ， - （College of Civil Aviation，Nanjing University of Aeronautics and Astronautics，Nanjing ，China） Abstract： ， ， ， ， ， Key words： ； ； ； ； 引言 红外图像具有较为明显的目标信息，但是边缘细 节缺乏，可见光图像有丰富的纹理和颜色信息，但易受 光照等外部环境影响。 将红外光和可见光进行信息融 合，充分利用红外光对外部环境的不敏感特性，在夜间 和低照度空间结合可见光的丰富细节信息，两种特征 互补用以获取更加明显的物体特征具有很强的现实意 义，已被广泛应用于计算机视觉的前期处理。快速高 收稿日期： 修订日期： 基金项目：江苏省普通高校研究生科研创新计划（中央高校基本科研业务费专项资金）项目资助（ ）；浙江省教育厅科技项目资助 （） 作者简介：陈伟斌（ ），男，浙江温州人，讲师，博士研究生，主要研究方向为图像处理、计算机视觉。 第 卷第 期航 空 计 算 技 术 年 月 万方数据 质量的融合技术，在计算机视觉领域中的目标识别、目 标跟踪、虚拟现实目标跟踪与定位、医学图像处理等相 关领域都有着广泛的应用价值及拓展空间。 目前，图像融合常用的方法有平均加权算法、 变换法、 变换法、 变换法和小波变换等。 由于小波变换在时域和频域同时具有良好的局部化性 能，可以通过伸缩和平移等运算功能对信号进行多尺 度细化分析，小波分析可以将图像分层按小波基展开， 可以将图像信息根据事先给定的处理要求展开到特定 的级数，能够有效地控制计算量。 并且小波变换具有 较完善的重构能力，可以保证图像在分解过程中没有 信息损失和产生冗余信息 。 因此，在图像融合问 题的研究和创新中，基于小波变换的融合方法研究最 为广泛。 本文通过分析红外图像的成像特点和小波变换后 的高低频系数的相关与差异性，对经过小波变换后的 低频系数和高频系数的融合规则进行了改进，提出了 一种比值加权及改进边缘检测算子梯度加权红外光和 可见光图像融合算法。 二维小波变换实现 小波变换是完成对图像从高尺度向低尺度的分 解。 小波分解的结果将图像划分成子图像的集合。 在 第一级小波分解时，原始图像被划分成一个低频子图 像和三个高频子图像的集合。 在第二级小波分解时， 第一级分解得到的低频子图像继续被划分成一个低频 子图像和三个较高频子图像的集合，第一级分解得到 的三个高频子图像不变。 小波分解过程可以根据设定 分解级数持续进行，得到更多的子图像集合。 任意给定大小为 M N 的图像 f（ x ，y），在小波变 换的每一层次，图像被分解为四个 大小相同的图 像，这四个图像是由原始图像与一个小波基图像的内 积后，再通过行和列方向进行 倍的间隔抽样生成。 对于小波第一层分解，可以表述如下，后续多层分解可 以此类推 。 f （m，n） f（x，y），矱 （x m，y n） （） f （m，n） f（x，y）， （x m，y n） （） f （m，n） f（x，y）， （x m，y n） （） f （m，n） f（x，y）， （x m，y n） （） 式中，矱为尺度函数，为小波函数，并且满足如下等 式关系： 矱 （x，y） 矱 （x）矱 （y）， （x，y） 矱 （x） （y） （） （x，y） 矱 （y ） （x），（x，y） （x） （y） （） l j，m，n（x，y） jl（x jm，y jn） （） 式中，j；l ，；j，l，m，n 都为整数。 通过对小波 基函数的研究和分析，在本文融合算法中选用的是 双正交样条小波基函数。 这类小波包括两 个滤波器，即重构尺度滤波器和分解尺度滤波器。 当 滤波器具有线性相位特性时，输出信号将不产生相位 畸变。 这种特点对图像信号的分析和处理非常重要， 因为视觉信息对于相位畸变非常敏感。 融合规则设计 基于小波变换的图像融合方法，首先 ，对源图像 （可见光图像） 和源图像（红外图像） 进行基于 双正交样条小波基函数分解变换；其次，将 分解得到的低频系数和高频系数分别采用不同的融合 规则进行处理，提取低频系数及高频系数有效信息特 征；最后，对新的低频系数和高频系数进行重构，获得 融合图像。 基于比值加权分析的低频系数融合算法 经过小波变换得到的低频系数保留了原始图像的 基本概貌信息。 低频图像反映了原图像的平均和近似 特性，为了保留更多的图像有效信息，对低频系数的融 合规则采用比值加权分析法。 低频子带系数融合规则 如下： 设 CA（m，n）和 CB（m，n）分别为红外图像和可见 光图像的低频系数值，融合图像的低频系数表示为 CF（m，n），考虑到图像的低频系数是图像中变换较为 缓慢的部分，并且包含了图像大多数细节信息，研究表 明，低频系数值越大，包含的信息量越多。 为了使融合 图像不失真，对低频子带系数进行比值加权。 其中，融 合采用的加权系数为 a，即： a CA（m，n） CA（ m，n） CB（ m， n ） a 若 CA（m，n） CB（m，n） CB（m，n） CA（m，n） CB（m，n） a 若 CA（m，n） CB（m，n） （） 则低频融合规则为： CF（m，n） CA（ m，n） a CB（m，n） a 若 CA（m，n） CB（m，nJ） CA（m，n） a CB（m， n） a 若 CA（m，n） CB（m，n） （） 与其他融合算法相比较，本文采用的低频系数加 权算法能够保留图像更多的有效信息，仿真实验表明， 清晰部分的细节信息对应的低频系数较大，因而通过 加权分析可以提升融合效果。 基于边缘检测算子梯度加权的高频系数融合算法 经过小波变换得到的高频系数反映的是图像边缘 航 空 计 算 技 术第 卷第 期 万方数据 特征和原图像灰度突变的特性，包含了许多细节信息。 细节信息包括图像的边缘、边界信息及像素的亮度突 变部分等。 对于高频系数融合算法，可以采用对高频 系数取较大值的规则，但是这种单纯取大值的方法没 有考虑邻域像素对中心像素的影响，并且容易将较大 的噪声值误选为高频系数，从而降低图像的融合质量。 因此，本文对高频系数的融合规则采用边缘检测算子 梯度加权分析算法。 为了提取邻域像素对中心像素影响的有用信息， 在图像高频部分的融合规则中选取 区域像素，对 此区域像素进行梯度运算 。 仿真实验表明 算子对灰度渐变和噪声较多的图像处理效果较 好。 这一优点较适用于可见光图像，因此进行图像梯 度计算时选取的梯度算子为 算子。 水平和垂 直方向模板如图 所示。 图像的梯度幅值可以用向量 Gx，Gy 的范数表示，本文选取以为范数的梯度作 为图像的梯度幅值，即：G （ Gx ， Gy ）。 图 算子 假设两幅图像各点计算的梯度值分别为 GA（ i，j） 和 GB（i，j），当这两个梯度值之间的差值大于值 T （T 为选取经验常数值），则认为梯度值大的图像含有 较高的亮度突变信息，则保留梯度值较大的高频图像 的灰度值；当这两个梯度值之间的差值小于值 T，则两 幅图像具有相似的细节信息，对两幅图像的高频系数 采取加权求和的算法，保留两幅图像的信息。 假设红 外图像和可见光两幅图像的高频系数值分别为 FA（i，j）和 FB（ i，j），对两幅图像采取梯度加权融合法， 融合图像 FF（i，j）表示为： FF（i，j） FA（i，j），FB（i，j） 若 GA（i，j） GB（i，j）T GA（i，j），GB（i，j） GA（i，j） GB（i，j） FA（i，j） FB（i，j） 若 GA（i，j） GB（i，j） T （） 实验结果分析与指标评价 为了验证本文算法的有效性，本文选择了三组红 外图像和可见光图像进行了仿真实验，并主要针对基 于 双正交样条小波基变换的常用不同融合 规则进行了实验对比分析。 图 显示了本文提出的改 进融合算法的图像融合效果。 图 中选用的融合规则 为低频系数采用平均算法，高频系数取绝对值最大算 法。 图 中选用的融合规则为低频系数采用绝对值最 大法，高频系数也选用绝对值最大算法。 为了对融合 算法进行客观评价，本文选用了信息熵、互信息量、交 叉熵、峰值信噪比和平均梯度作为衡量融合效果的客 观评价指标。在客观评价指标中，融合图像的信息熵 越大，表明融合图像的信息量越丰富；互信息量越大， 图 基于比值加权与梯度加权图像融合（T ） 图平均及绝对值最大融合规则融合后图像 年 月陈伟斌 等： 基于加权的可见光与红外光图像融合算法 万方数据 图低频和高频系数绝对值最大融合规则融合后图像 表明融合图像从原始图像提取的信息越多，融合的效 果也越好；交叉熵越小，表明图像间的差异越小；峰值 信噪比越高，表明融合效果和质量越好；图像的平均梯 度可以反映图像的微小细节反差 、纹理变化、层次变化 特征，图像的平均梯度越大，表明图像的清晰度越高。 下表对不同融合规则得到的图像融合图像在不同客观 指标下进行评估（以每种算法的第三组图片为例）。 不同融合规则的图像融合评价表 融合算法信息熵互信息量交叉熵 峰值 信噪比 低频取平均高频 绝对值取大 低频和高频取大值 本文融合算法 通过实验结果进行比较分析可以看出，利用本文 融合算法得到的融合图像在视觉效果上优于另外两种 融合算法得到的融合图像，并且传统的绝对值取大法 融合规则在视觉特性上会丢失原图像中的许多信息 ， 会使融合图像整体偏亮。 通过对客观评价指标结果进 行比较分析可以看出，对低频系数采用平均和取极大 值法及对高频系数取极大值法，在 种客观指标结果 中均不如本文提出的基于比值加权分析的低频系数融 合和基于边缘检测算子梯度加权分析的高频系数融合 的图像融合效果。 结束语 小波变换的多分辨率特性可以对图像进行不同尺 度的分解，通过分解可以获取目标图像不同层次的轮 廓信息和细节信息，并且在小波变换中分解方程及其 滤波器系数对任意两相邻尺度均保持恒定。 红外图像 和可见光图像通过小波变换可以获取不同方向的图像 细节信息及边缘信息，为最低图像融合提供更多信息 参考。 同时，小波变换还具有信号能量集中的特点，这 一特点有利于降低小波变换在时间和空间上的复杂 度，在图像融合应用领域具有相对优势。 本文将小波 变换应用于红外和可见光图像融合，提出了基于比值 加权及边缘检测算子梯度加权分析算法。 将该算法应 用于红外图像和可见光图像融合实验，通过客观评价 指标进行评价，并与传统融合算法进行比较分析，结果 表明该算法能够有效地融合图像信息。 通过信息熵、 峰值信噪比、平均梯度等指标可以看出，本文提出的融 合规则使融合后的图像信息量提升，同时会得到较为 清晰的融合图像。 由于红外图像和可见光图像融合中 采用的融合