2018基于典型相关分析方法的尺度不变特征变换误匹配剔除

5760269

　　摘要：针对尺度不变特征变换(SIFT)描述子仅利用特征点的局部邻域灰度信息而对图像内具有相似灰度分布的特征点易产生误匹配的问题，提出一种基于典型相关分析(CCA)的SIFT误匹配剔除方法。该方法首先利用SIFT算法进行匹配，得到初始匹配对; 然后根据典型相关成分的线性关系拟合直线，利用点到直线的距离剔除大部分误匹配点对; 对剩余的匹配点对，逐一分析其对典型相关成分的共线性的影响，剔除影响程度大的特征点对。实验结果表明，该方法能够在剔除误匹配的同时保留更多的正确匹配，提高了图像配准的精度。
　　关键词：误匹配;尺度不变特征变换;随机采样一致性算法;典型相关分析;图像配准
　　引言
　　图像配准是图像处理和计算机视觉中的一个基本问题，是诸如图像融合、变化检测等许多应用中的重要技术环节。基于特征的图像配准方法需要从待配准图像中提取一些共同的特征，然后建立这些特征之间的对应关系，求解变换模型参数来完成配准。所以，特征匹配是基于特征的图像配准方法中的关键步骤，匹配效果直接影响变换模型的求解。
　　现有的特征匹配方法主要包括图匹配方法[1-2]、谱方法[3-4]和基于局部描述子的方法[5-8]等。近年来，大量基于局部描述子的特征匹配算法被提出，此类方法首先对每个特征点进行描述，然后通过计算特征描述之间的相似性来判断特征点是否匹配。在现有的局部描述子中，尺度不变特征变换(Scale Invariant Feature Transform， SIFT)方法[5]应用最为广泛。大多数情况下，SIFT 方法都可以得到满意的匹配结果，然而对具有相似灰度分布的图像进行匹配时会产生大量的误匹配点。为了消除误匹配，提高匹配精度，常用的方法是对最近描述子和次近描述子之间的欧氏距离比设定阈值剔除误匹配。此外，随机采样一致性(RANdom Sample Consensus， RANSAC)方法[9]在剔除误匹配问题上得到了广泛应用[10]。近来，Kupfer等[11]提出了模式寻求(Mode Seeking， MS)方法，利用SIFT特征点中的尺度、方向和位置属性建立尺度比、方向差和位移差直方图，通过对位移差设定阈值剔除误匹配。为了降低RANSAC算法的随机性，Moisan等[12]提出了最优化的RANSAC(Optimized RANSAC， ORSA)算法，该方法具有较低的随机性且能保留更多正确的匹配关系。文献[13]通过比较对应k最近邻图的邻接矩阵消除误匹配，该方法需要在每次剔除误匹配后重新建立k最近邻图，计算较复杂。文献[14]利用偏最小二乘成分之间的共线关系拟合直线，根据点到直线的距离剔除误匹配。但这些方法在剔除误匹配的同时易丢失正确匹配，不利于图像配准。
　　因此，在误匹配剔除过程中需要解决两个问题：1) 剔除尽可能多的错误匹配;2) 保留尽可能多的正确匹配。针对这两个问题，本文在文献[14]的基础上利用典型相关分析(Canonical Correlation Analysis， CCA)的仿射不变性提出一种由粗到细的误匹配剔除方法，首先利用典型相关成分之间的共线关系拟合直线并对点到直线的距离设定阈值剔除大部分误匹配，改进了文献[14]中的直线拟合方法;其次，利用一种共线度量确定剩余的匹配中有无误匹配，并通过分析每一对匹配对共线度的影响进一步剔除误匹配。
　　一、误匹配剔除的CCA方法
　　1.1误匹配剔除的典型相关成分直线拟合方法
　　假设经过SIFT匹配后的特征点坐标分别为X=[x1，x2，，xn]R2n和Y=[y1，y2，，yn]R2n， x和y分别为它们的均值向量，CCA算法的目标是找到两个投影方向u、vR2，使得si=uT(xi-x)和ti=vT(yi-y)(1in)的相关系数达到最大，其中si和ti分别表示特征点xi和yi对应于投影方向u和v的典型相关成分。u和v可通过式(1)和式(2)的特征值问题求解：
　　C-1xCxyC-1yCTxyu=r2u(1
　　v=(1/r)C-1yCTxyu(2)
　　其中：Cxy是X和Y之间的协方差矩阵，Cx和Cy分别是X和Y各自的协方差矩阵，r为典型相关系数。
　　根据文献[14]，利用CCA算法求得所有匹配的第一典型相关成分{(si，ti)，i=1，2，，n}后，则可利用点集{(si，ti)，i=1，2，，n}拟合直线t=ks+b，其中k和b分别为直线的斜率和截距。然后计算每个点(si，ti)到直线t=ks+b的距离di，若di大于给定的阈值T1，则(xi，yi)为一对误匹配。
　　为增强直线拟合的稳健性，本文采用直方图的方法求解斜率k和截距b。首先计算点集{(si，ti)，i=1，2，，n}中每对点确定的直线的倾斜角：
　　ij=arctan tj-tisj-si; 1i， jn
　　根据倾斜角直方图的峰值确定最优倾斜角0，从而得到斜率k0=tan 0。然后构造截距bi=ti-k0si(1in)的直方图，根据直方图的峰值确定最优截距b0。
　　1.2基于典型相关成分共线程度的误匹配剔除
　　设经过1.1节误匹配剔除后剩余m对匹配仍记为X和Y，其均值向量仍记为x和y。计算这些匹配的典型相关成分{(si，ti)，i=1，2，，m}，由于直线拟合方法不能剔除所有的误匹配，后续将通过分析每一对匹配对典型相关成分共线率的影响逐个剔除误匹配。共线率描述了点集{(si，ti)，i=1，2，，m}在其两个主要方向上的分布。
　　定义1 共线率。设点集{(si，ti)，i=1，2，，m}的协方差矩阵为Cst，其特征值为12，则共线率定义为：
　　=1-2/1(3
　　当点集{(si，ti)，i=1，2，，m}构成直线时，=1。若点集{(si，ti)，i=1，2，，m}当前的共线率c小于给定的阈值T2，则说明当前的匹配关系中仍然存在误匹配，可通过分析每对匹配对典型相关成分共线率的影响剔除误匹配。
　　令i和i分别表示从X和Y中删除第i对匹配关系(xi，yi)之后的点集，它们之间的协方差更新为：
　　Cixy=mm-1Cxy-m(m-1)2(xi-x)(yi-y)T (4
　　i和i各自的协方差矩阵Cix和Ciy具有相似的更新格式：
　　Cix=mm-1Cx-m(m-1)2(xi-x)(xi-x)T(5
　　Ciy=mm-1Cy-m(m-1)2(yi-y)(yi-y)T(6)
　　得到协方差矩阵Cixy，Cix和Ciy后，将其代入式(1)和式(2)计算删除第i对匹配关系之后的投影方向u，v和相关系数r。为得到当前的共线率，只需利用当前的相关系数r。这是因为当前典型相关成分的协方差矩阵Cist可按式(7)计算：