无人机遥感技术具有使用成本低、获取速度快、机动灵活等优点[1,2]，在精准农业航空领域上发挥着重要作用。受现有无人机航空遥感成像系统性能所限，目前仍无法单次获取大面积、高分辨率的遥感图像。因此，针对获取的序列遥感图像进行配准，以提高遥感图像的信息获取能力十分必要。传统图像配准[3,4]算法存在计算量大、效率低、配准效果不佳等缺陷[5]，如何实现快速、精准的图像配准，是当前图像配准算法研究领域的一个关键问题。

Smith等提出了一种利用图像邻域灰度差的特征点检测法来实现图像配准[6]，但该算法易受旋转及噪声的影响；随后有学者提出Harris算法[7]，一定程度上克服了Moravec算法在旋转不变性与噪声上的不足，但受尺度变化的影响较大；Lowe等[8,9]提出的SIFT(scale-invariantfeaturetransform）算法在灰度与仿射变换方面具有不变性，同时检测出的SIFT特征点具有很好的稳定性。

近年来，Bay等[10]在SIFT算法基础上提出了SURF(speeduprobustfeature）加速算法，特征点只用了64维向量，提升算法速度的同时有效减少了计算量。许越等[11]提出以特征点匹配的残余误差为目标函数，但该方法只适用于高分辨率遥感常规对地成像任务的一般要求；同年周微硕等[12]针对配准中存在的几何变形问题提出了一种基于几何不变性局部相似特征的配准算法，但对粗匹配依赖过高，且存在剔除正确匹配点的情况。

针对精准农业航空采集的遥感图像具有图像尺寸变化大，采集角度多变，重叠区域大，重叠区域内可检测特征点丰富的特点[13,14,15]，本研究以点特征检测方法为设计基础，结合矩阵降维处理方法[16]，提出一种适用于精准农业航空遥感图像配准的改进算法—SNS算法，并通过与经典算法的配准比较实验进行验证，以期农业航空获取高分辨率的大面积遥感图像提供有益参考。

1、SNS算法设计

SNS算法在SIFT算法[17,18]与SVD(singularvaluedecomposition）算法[19]的基础上，根据农业航空高分辨率大面积遥感图像的特点，以减少特征提取、压缩图像数据量[20]为方向进行改进。

1.1 SNS算法流程

SNS算法的主要工作原理：

1）对待配准图像以SVD函数求取图像矩阵A的2个正交矩阵U、V和一个对角阵Σ。Σ对角线上从大到小依次排列待配准图像矩阵的奇异值；

2）按照已定奇异值个数n，取Σ和V的前n列分别组成新矩阵Σ1和V1，重构矩阵A1；再利用uint8函数将数字矩阵A1转换为图像矩阵A2;

3）对参考图像矩阵B重复步骤1)～2），获得图像矩阵B2;

4）对A2和B2进行特征提取，获得128维的特征点集合；

5）对特征点进行粗匹配（欧式距离法）与精匹配（RANSAC算法），得到特征匹配对。依据特征匹配对估测正确投影变换模型；

6）将待配准图像矩阵A按照投影变换模型进行空间变换，得到配准后图像矩阵A3;

7）配准后图像矩阵A3与参考图像矩阵B进行图像融合，最终获得拼接图像矩阵C。

SNS算法流程图如图1a所示，其中图像配准是整个算法的核心关键模块，采用与SIFT算法相类似的点特征检测方法，具体流程如图1b所示。

图1SNS算法及其图像配准流程

1.2 点特征检测算法改进

1.2.1 SIFT点特征检测原理

SIFT点特征检测方法[21,22]在灰度与仿射变换方面具有不变性，通过高斯函数和原图像卷积对尺度空间极值点进行检测，得到特征点坐标和特征尺度，再以这些特征点为中心各建立一个8×8的特征向量生成域，在生成域的4个小块里各形成1个种子点。SIFT点特征检测方法在描述一个特征点时会选择16个种子点，故最终得到的是含有128维向量信息的特征点。

SIFT点特征检测方法在处理特征点描述与特征点粗匹配时运算量大，耗时较多，因此，本文针对这2个环节进行优化，以提高配准算法速度。

1.2.2 算法改进

SNS算法的核心处理模块包括：尺度空间极值点检测；特征点精准定位；特征点主方向确定；数据降维重构。进行尺度空间极值点检测，设图像为f(x,y)，由高斯函数和原图像卷积得到图像的尺度空间L(x,y,σ)：

式中G为二维高斯函数，σ为尺度因子，*为卷积运算符。尺度因子不同，尺度空间也不同。算法中检测到的极值点所在尺度为该特征点的特征尺度，因此，SNS算法可同时检测出特征点的坐标和特征尺度。

算法利用海森矩阵[23]消除伪特征点，精准定位特征点。海森矩阵H的定义式如式（3）所示，矩阵的迹和行列式的定义式如式（4）、式（5）所示。

式中Dxx、Dxy、Dyy分别为图像在x、xy、y方向上的二阶导数；设r为较大特征值与较小特征值之比。当r接近1时，说明2个曲率很接近，此时可以认为该极值点为一个特征点。

特征点主方向确定，主要为求解特征点的梯度，包括模值与方向。设梯度的模值为m(x,y)，方向为θ(x,y)，分别由式（6）和式（7）计算。

式中(x,y)表示图像中特征点所在的坐标，L表示特征点所在的尺度。在实际操作中，则取邻域内像素最大模值的方向作为特征点的主方向。

农业航空遥感图像具有重叠面积大、可采集特征点丰富的特点，符合矩阵降维处理的特征，SNS算法采用SVD方法进行矩阵分解，实现数据降维再重构。具体为，设M为mn的任意矩阵，奇异值分解如式（8）所示。

式中均为正交矩阵，两者的列分别由MMT单位化后的特征向量和MTM单位化后的特征向量构成；Σm×n为非负对角阵，对角线上的元素是矩阵M的奇异值，来源于MMT或MTM特征值的算术平方根；T为设定的正确匹配对阈值。删除矩阵Σ中奇异值最小的列，保留n1列；同时，矩阵V也只保留n1列，由此生成的再生矩阵A1，即可有效减少非权重特征值，保留期望特征值，从而压缩数据量，实现图像的数据降维。

2、结果与分析

2.1 不同仿射变换的图像配准试验

为进行SNS算法与3种经典配准算法（SIFT、SURF[24]和Harris[25]）的性能比较，进行不同仿射变换图像的配准试验（图2）。试验硬件环境为：CPU为IntelCorei5-7200U2.50GHz，内存12GB，显存2GB，操作系统为Windows10，编程环境为Matlab2015b。试验图片为无人机拍摄的红外遥感图像，无人机型号为大疆精灵4四旋翼无人机，有效载荷约为1380g，飞行时间约为28min，搭载热红外成像相机，最大分辨率为640×512像素；采集地点为华南农业大学院士亭附近园林，采集区域面积大小约为22m2。分别对SIFT、SNS、SURF和Harris算法的配准速度和配准精度进行试验分析，建立经过仿射变换后的待配准图像（图2）：试验原图分辨率为640×512；尺度放大图分辨率为950×760；尺度缩小图分辨率为400×320；旋转30°图分辨率为811×764；旋转30°尺度放大图分辨率为1000×942；旋转30°尺度缩小图分辨率为500×471。每组试验各运行100次，取配准总时间与均方根误差的平均值作为评价指标，SNS算法取前50个奇异值[26]重构图像。配准总时间越小，说明配准效率越高；均方根误差以待配准图像与融合图像匹配度为标准，数值越小，说明配准效果越好。

图2不同仿射变换的待配准图像

图3a～3d是参考图像与原图进行配准的效果，参考表1和表2的第1列数据可知，在配准速度相差不大的情况下，SNS算法的配准误差降低了33.34%，表明SNS算法在进行原图配准与拼接时有更好的配准效果。其原因在于SNS算法使用了SVD数据降维方法[27,28]，压缩了数据量，提高了整体的配准准确率。针对本组试验，SURF和Harris算法的效率较高，处理速度较快。

图3e～3g是参考图像与尺度缩小图的配准效果，根据表1及表2的第2列数据可知，在尺度缩小情况下，SNS算法的配准速度比SIFT算法提高4.12%,SIFT算法的配准效果优于SNS算法13.32%。这是因为在尺度缩小图中，SIFT特征点检测法检测的特征点数量比原图少，可用于配准的特征点对少；而SIFT算法和SNS算法在特征点数量减少的情形下检测到的特征点对数量相近，因此配准时间相差不大。SNS算法的配准误差略大是因为进行空间变换时所用的投影变换矩阵未如理想。Harris算法不具备尺度不变性，无法进行有尺度变换的配准拼接。SURF算法的均方根误差比SIFT算法大83.51%，比SNS算法大80.98%，表明SURF的空间变换模型误差较大，配准拼接效果不理想。

图3不同算法的参考图像与6种仿射变换图像的配准效果

图3h～3j是参考图像与尺度放大图的配准效果，参考表1与表2的第3列数据可知，在尺度放大的情况下，SNS算法的配准时间和配准精度[29,30]分别优于SIFT算法1.56%和2.80%。这是因为在尺度放大图中SIFT特征点检测算法检测的特征点增多，即使压缩了部分最不重要的特征点后仍有许多无法构成特征匹配对的特征点，从而降低了整体配准与拼接的速度。SNS算法的优势在于对图像进行奇异值分解再重构，重构图像特征点会有所减少，尤其是不重要不明显的特征点大幅减少，从而减少不必要的寻找特征匹配对的计算量，提高了配准速度与配准精度，因此SNS算法在配准时间和配准精度上略有优势。Harris算法不具备尺度不变性，无法进行有尺度变换的配准拼接。SURF算法则是牺牲配准精度来换取配准速度。

图3k～3m是参考图像与旋转30°图的配准效果，参考表1与表2的第4列数据可知，在旋转30°的情况下，SNS算法的配准时间比SIFT算法快8.22%，配准误差小2.85%。Harris算法的旋转不变性没有充分体现，是因为旋转角度刚好不是在水平方向和垂直方向上，因此原本已经检测到的特征点消失，无法完成配准。SURF算法的配准误差与SIFT算法相近，配准速度比SIFT算法提高68.22%，比SNS算法提高65.38%。

图3n～3q是参考图像与旋转30°尺度放大图的配准效果，参考表1与表2的数据可知，在旋转30°尺度放大的情况下，SNS算法的配准时间比SIFT算法减少4.66%，配准误差减少7.27%。在旋转30°后尺度放大图中，可检测特征点多于30°旋转的图像，因此在特征点数量增多的情况下，SNS算法具有速度优势。SURF算法和Harris算法也得益于特征点数量增加，配准效果较为理想。

表14种算法的配准时间

表24种算法的均方根误差

图3r～3s是参考图像与旋转30°尺度缩小图的配准效果，由于SURF算法和Harris算法配准过程中特征匹配对不足4对，不能满足估计投影变换模型的最低要求，无法实现配准与拼接，因此本次试验无SURF算法和Harris算法的配准效果对比图。参考表1与表2数据可知，SNS算法在配准时间上减少6.83%，配准误差减少32.02%。其原因在于图像旋转30°再进行尺度缩小，特征点数量比只旋转30°时更少，SNS算法利用SVD对图像进行压缩，获取足以进行配准与拼接的特征匹配对数量，提升了整体的配准精度。

2.2 多幅遥感图像配准效率测试试验

为进一步比较SIFT算法与SNS算法的处理效率，进行多幅遥感图像测试试验。试验环境如下：CPU核心数为16个，型号为Intel(R)Xeon(R)Gold6130CPU@2.10GHz，内存为32GB，显存为8G，操作系统为Windows10,编程环境为Matlab2015b；无人机型号为大疆（DJI）精灵4四旋翼无人机，有效载荷约为1380g，飞行时间约为28min，搭载可见光相机最大分辨率为4000×3000像素。试验图像由160张无人机50m低空遥感图像组成，每幅图像的分辨率为437×800，采集地点为惠州市博罗县杨村镇井水龙村柑橘试验基地，采集区域面积大小约为3.13hm2。每个算法各运行50次，取试验图像数据集配准总时间作为比较指标，配准总时间越短，说明配准效率越高速度越快。

图4a为待配准试验图像数据集；图4b为SIFT算法配准效果图，分辨率为1282×3116；图4c为SNS算法配准效果图，分辨率为1337×2949。试验结果表明，SNS算法的总配准时间相较于SIFT算法减少了10.34%，表明本次试验中SNS算法的配准处理效率和速度明显优于SIFT算法。

图4多幅遥感图像配准效果图

综上试验表明，Harris算法适合尺度变化不大，旋转角度较小的图像配准，但是在有尺度变化的或者是重叠区域较小的情况下，无法完成配准，因此在农业航空遥感图像配准中受限；SURF算法结合积分图像与窗型滤波器的特点，具有配准速度快的优点，但由于使用近似高斯滤波和近似梯度的方法，以牺牲配准精度为代价提高配准速度，在重视配准精度的农业航空遥感图像配准中适用性不强；SIFT算法可用于各种情况下的图像配准；SNS算法在重叠区域大，重叠区域内特征点较多的情况时表现最佳，在多幅遥感图像测试实验中处理效率明显优于SIFT算法。

图像配准是遥感图像处理中的重要一环[31]，如何实现SNS算法求解更准确的空间变换模型，进而快速提取适量稳定的特征点，是该算法进一步应用于农业、地质检测、城市规划等[32]领域的探索重点。

3、结论

SNS算法针对农业航空遥感图像尺寸变化大，采集角度多变，重叠区域大，重叠区域内可检测特征点丰富的特点进行优化设计，与SIFT算法相比，配准速度平均提高5.01%，配准精度均方根误差平均降低10.48%；在多幅遥感图像配准效率测试试验中，总配准时间相较于SIFT算法减少10.34%。可见，SNS算法在农业航空遥感图像的配准处理上具有速度较快、精度较高的优势，可为智慧农业快速、精准获取大面积农田区域图像进行田块管理、作物管理、病虫害管理、产量预测等应用提供有益指导。

参考文献：

[1]汪沛,罗锡文,周志艳,等.基于微小型无人机的遥感信息获取关键技术综述[J].农业工程学报,2014,30(18):1-12.

[2]刘建刚,赵春江,杨贵军,等.无人机遥感解析田间作物表型信息研究进展[J].农业工程学报,2016,32(24):98-106.

[3]沈跃,朱嘉慧,刘慧,等.基于彩色和深度信息结合K-means聚类算法快速拼接植株图像[J].农业工程学报,2018,34(23):134-141.

[4]周薇,冯娟,刘刚,等.苹果采摘机器人中的图像配准技术[J].农业工程学报,2013,29(11):20-26,293.

[5]余先川,吕中华,胡丹.遥感图像配准技术遥感图像述[J].光学精密工程,2013,21(11):2960-2972.

[7]贾莹.基于Harris角点检测算法的图像拼接技术研究[D].长春:吉林大学,2010.

[9]孙伟晔.基于SIFT算法的快速图像配准技术[D].长春:吉林大学,2017.

[11]许越,徐之海,冯华君,等.双场景类型遥感图像的配准拼接优化[J].浙江大学学报:工学版,2019,53(1):107-114.

[12]周微硕,安博文,赵明,等.基于几何不变性和局部相似特征的异源遥感图像配准算法[J].红外技术,2019,41(6):561-571.

[13]杨占龙.基于特征点的图像配准与拼接技术研究[D].西安:西安电子科技大学,2008.

[14]李思湉.基于特征的遥感图像自动配准与变化检测研究[D].西安:西安电子科技大学,2017.

[15]吴丹力.基于特征点与互信息的遥感图像配准方法研究[D].福州:福州大学,2016.

[16]王振,雷田田,范丽亚,等.PDEs对四种图像降噪降维方法的影响[J/OL].聊城大学学报:自然科学版:[2019-10-15]

[17]徐杰,胡越黎,郁怀波.一种基于SIFT的图像拼接算法及其FPGA实现[J].仪表技术,2019(9):15-18,48.

[18]陈裕.基于SIFT算法的无人机遥感图像配准[D].长沙:中南大学,2009.

[19]马爱华.基于拓扑知觉和SVD配准算法的图像拼接技术[D].兰州:兰州理工大学,2012.

[20]覃凤清.数字图像压缩综述[J].宜宾学院学报,2006(6):88-90.

[21]寇冬晨,韩瑜,顾浩.基于Hessian矩阵的角点自动检测算法[J].指挥控制与仿真,2018,40(2):118-122.

[22]闻泽联.基于点特征的遥感图像配准方法研究[D].西安:西安电子科技大学,2017.

[23]余婷.基于特征的遥感图像自动配准技术研究[D].杭州:浙江大学,2013.

[24]吴如梦,方挺,李文钦.基于SURF特征的无人机航拍图像拼接方法[J].现代制造技术与装备,2019(8):34-36.

[25]周志艳,闫梦璐,陈盛德,等.Harris角点自适检测的水稻低空遥感图像配准与拼接算法[J].农业工程学报,2015,31(14):186-193.

[26]赵夫群,耿国华.基于图像特征和奇异值分解的点云配准算法[J/OL].激光与光电子学进展,[2019-10-20].

[27]凌程,耿修瑞,杨炜暾,等.一种改进的基于奇异值分解的亚像素级图像配准算法[J].中国科学院大学学报,2019,36(1):101-108.

[28]黄帅,吴克伟,苏菱.基于Harris尺度不变特征的图像匹配方法[J].合肥工业大学学报:自然科学版,2011,34(3):379-382.

[29]陈显毅.图像配准技术及其MATLAB编程实现[M].北京:电子工业出版社,2009.

[30]曹闻.遥感图像配准与融合技术研究[D].郑州:解放军信息工程大学,2004.

[31]贾银江.无人机遥感图像处理关键技术研究[D].哈尔滨:东北农业大学,2016.

[32]夏绥丹.数字图像处理技术在遥感图像分类中的应用[J].中国新通信,2019,21(15):162.

陆健强,李旺枝,兰玉彬,何秉鸿,林佳翰.基于点特征检测的农业航空遥感图像配准算法[J].农业工程学报,2020,36(03):71-77.