- 相關(guān)推薦
基于典型相關(guān)分析方法的尺度不變特征變換誤匹配剔除
摘要：針對尺度不變特征變換(SIFT)描述子僅利用特征點(diǎn)的局部鄰域灰度信息而對圖像內具有相似灰度分布的特征點(diǎn)易產(chǎn)生誤匹配的問(wèn)題，提出一種基于典型相關(guān)分析(CCA)的SIFT誤匹配剔除方法。該方法首先利用SIFT算法進(jìn)行匹配，得到初始匹配對; 然后根據典型相關(guān)成分的線(xiàn)性關(guān)系擬合直線(xiàn)，利用點(diǎn)到直線(xiàn)的距離剔除大部分誤匹配點(diǎn)對; 對剩余的匹配點(diǎn)對，逐一分析其對典型相關(guān)成分的共線(xiàn)性的影響，剔除影響程度大的特征點(diǎn)對。實(shí)驗結果表明，該方法能夠在剔除誤匹配的同時(shí)保留更多的正確匹配，提高了圖像配準的精度。
關(guān)鍵詞：誤匹配;尺度不變特征變換;隨機采樣一致性算法;典型相關(guān)分析;圖像配準
引言
圖像配準是圖像處理和計算機視覺(jué)中的一個(gè)基本問(wèn)題，是諸如圖像融合、變化檢測等許多應用中的重要技術(shù)環(huán)節�；谔卣鞯膱D像配準方法需要從待配準圖像中提取一些共同的特征，然后建立這些特征之間的對應關(guān)系，求解變換模型參數來(lái)完成配準。所以，特征匹配是基于特征的圖像配準方法中的關(guān)鍵步驟，匹配效果直接影響變換模型的求解。
現有的特征匹配方法主要包括圖匹配方法[1-2]、譜方法[3-4]和基于局部描述子的方法[5-8]等。近年來(lái)，大量基于局部描述子的特征匹配算法被提出，此類(lèi)方法首先對每個(gè)特征點(diǎn)進(jìn)行描述，然后通過(guò)計算特征描述之間的相似性來(lái)判斷特征點(diǎn)是否匹配。在現有的局部描述子中，尺度不變特征變換(Scale Invariant Feature Transform， SIFT)方法[5]應用最為廣泛。大多數情況下，SIFT 方法都可以得到滿(mǎn)意的匹配結果，然而對具有相似灰度分布的圖像進(jìn)行匹配時(shí)會(huì )產(chǎn)生大量的誤匹配點(diǎn)。為了消除誤匹配，提高匹配精度，常用的方法是對最近描述子和次近描述子之間的歐氏距離比設定閾值剔除誤匹配。此外，隨機采樣一致性(RANdom Sample Consensus， RANSAC)方法[9]在剔除誤匹配問(wèn)題上得到了廣泛應用[10]。近來(lái)，Kupfer等[11]提出了模式尋求(Mode Seeking， MS)方法，利用SIFT特征點(diǎn)中的尺度、方向和位置屬性建立尺度比、方向差和位移差直方圖，通過(guò)對位移差設定閾值剔除誤匹配。為了降低RANSAC算法的隨機性，Moisan等[12]提出了最優(yōu)化的RANSAC(Optimized RANSAC， ORSA)算法，該方法具有較低的隨機性且能保留更多正確的匹配關(guān)系。文獻[13]通過(guò)比較對應k最近鄰圖的鄰接矩陣消除誤匹配，該方法需要在每次剔除誤匹配后重新建立k最近鄰圖，計算較復雜。文獻[14]利用偏最小二乘成分之間的共線(xiàn)關(guān)系擬合直線(xiàn)，根據點(diǎn)到直線(xiàn)的距離剔除誤匹配。但這些方法在剔除誤匹配的同時(shí)易丟失正確匹配，不利于圖像配準。
因此，在誤匹配剔除過(guò)程中需要解決兩個(gè)問(wèn)題：1) 剔除盡可能多的錯誤匹配;2) 保留盡可能多的正確匹配。針對這兩個(gè)問(wèn)題，本文在文獻[14]的基礎上利用典型相關(guān)分析(Canonical Correlation Analysis， CCA)的仿射不變性提出一種由粗到細的誤匹配剔除方法，首先利用典型相關(guān)成分之間的共線(xiàn)關(guān)系擬合直線(xiàn)并對點(diǎn)到直線(xiàn)的距離設定閾值剔除大部分誤匹配，改進(jìn)了文獻[14]中的直線(xiàn)擬合方法;其次，利用一種共線(xiàn)度量確定剩余的匹配中有無(wú)誤匹配，并通過(guò)分析每一對匹配對共線(xiàn)度的影響進(jìn)一步剔除誤匹配。
一、誤匹配剔除的CCA方法
1.1誤匹配剔除的典型相關(guān)成分直線(xiàn)擬合方法
假設經(jīng)過(guò)SIFT匹配后的特征點(diǎn)坐標分別為X=[x1，x2，…，xn]∈R2×n和Y=[y1，y2，…，yn]∈R2×n， μx和μy分別為它們的均值向量，CCA算法的目標是找到兩個(gè)投影方向u、v∈R2，使得si=uT(xi-μx)和ti=vT(yi-μy)(1≤i≤n)的相關(guān)系數達到最大，其中si和ti分別表示特征點(diǎn)xi和yi對應于投影方向u和v的典型相關(guān)成分。u和v可通過(guò)式(1)和式(2)的特征值問(wèn)題求解：
C-1xCxyC-1yCTxyu=r2u(1
v=(1/r)C-1yCTxyu(2)
其中：Cxy是X和Y之間的協(xié)方差矩陣，Cx和Cy分別是X和Y各自的協(xié)方差矩陣，r為典型相關(guān)系數。
根據文獻[14]，利用CCA算法求得所有匹配的第一典型相關(guān)成分{(si，ti)，i=1，2，…，n}后，則可利用點(diǎn)集{(si，ti)，i=1，2，…，n}擬合直線(xiàn)t=ks+b，其中k和b分別為直線(xiàn)的斜率和截距。然后計算每個(gè)點(diǎn)(si，ti)到直線(xiàn)t=ks+b的距離di，若di大于給定的閾值T1，則(xi，yi)為一對誤匹配。
為增強直線(xiàn)擬合的穩健性，本文采用直方圖的方法求解斜率k和截距b。首先計算點(diǎn)集{(si，ti)，i=1，2，…，n}中每對點(diǎn)確定的直線(xiàn)的傾斜角：
θij=arctan tj-tisj-si; 1≤i， j≤n
根據傾斜角直方圖的峰值確定最優(yōu)傾斜角θ0，從而得到斜率k0=tan θ0。然后構造截距bi=ti-k0si(1≤i≤n)的直方圖，根據直方圖的峰值確定最優(yōu)截距b0。
1.2基于典型相關(guān)成分共線(xiàn)程度的誤匹配剔除
設經(jīng)過(guò)1.1節誤匹配剔除后剩余m對匹配仍記為X和Y，其均值向量仍記為μx和μy。計算這些匹配的典型相關(guān)成分{(si，ti)，i=1，2，…，m}，由于直線(xiàn)擬合方法不能剔除所有的誤匹配，后續將通過(guò)分析每一對匹配對典型相關(guān)成分共線(xiàn)率的影響逐個(gè)剔除誤匹配。共線(xiàn)率描述了點(diǎn)集{(si，ti)，i=1，2，…，m}在其兩個(gè)主要方向上的分布。
定義1 共線(xiàn)率。設點(diǎn)集{(si，ti)，i=1，2，…，m}的協(xié)方差矩陣為Cst，其特征值為λ1≥λ2，則共線(xiàn)率定義為：
τ=1-λ2/λ1(3
當點(diǎn)集{(si，ti)，i=1，2，…，m}構成直線(xiàn)時(shí)，τ=1。若點(diǎn)集{(si，ti)，i=1，2，…，m}當前的共線(xiàn)率τc小于給定的閾值T2，則說(shuō)明當前的匹配關(guān)系中仍然存在誤匹配，可通過(guò)分析每對匹配對典型相關(guān)成分共線(xiàn)率的影響剔除誤匹配。
令i和i分別表示從X和Y中刪除第i對匹配關(guān)系(xi，yi)之后的點(diǎn)集，它們之間的協(xié)方差更新為：
Cixy=mm-1Cxy-m(m-1)2(xi-μx)(yi-μy)T (4
i和i各自的協(xié)方差矩陣Cix和Ciy具有相似的更新格式：
Cix=mm-1Cx-m(m-1)2(xi-μx)(xi-μx)T(5
Ciy=mm-1Cy-m(m-1)2(yi-μy)(yi-μy)T(6)
得到協(xié)方差矩陣Cixy，Cix和Ciy后，將其代入式(1)和式(2)計算刪除第i對匹配關(guān)系之后的投影方向u，v和相關(guān)系數r。為得到當前的共線(xiàn)率，只需利用當前的相關(guān)系數r。這是因為當前典型相關(guān)成分的協(xié)方差矩陣Cist可按式(7)計算：
Cist=uTCixuuTCixyv
uTCixyvvTCiyv(7)
其中uTCixyv=ruTCixu=rvTCiyv， 所以其特征值分別為1+r和1-r。根據式(3)得刪除第i對匹配關(guān)系之后的共線(xiàn)率τi=2r/(1+r)。當考慮點(diǎn)集i和i的兩對典型相關(guān)成分時(shí)，共線(xiàn)率為第一典型相關(guān)成分共線(xiàn)率和第二典型相關(guān)成分共線(xiàn)率的平均值，即：
τi=r11+r1+r21+r2(8)
其中r1和r2分別為點(diǎn)集i和i的第一和第二典型相關(guān)系數。
檢驗所有的匹配對1≤i≤m，選出共線(xiàn)率最大的序號i0，則(xi0，yi0)是一對誤匹配，將其從原點(diǎn)集中刪除，此時(shí)協(xié)方差矩陣Cxy，Cx和Cy更新為Ci0xy，Ci0x和Ci0y，均值向量更新為：
μx=mm-1 μx-1m-1 xi0(9
μy=mm-1 μy-1m-1 yi0(10
重復上述過(guò)程直到當前的共線(xiàn)率超過(guò)閾值T2。
二、由粗到細的誤匹配剔除算法
給定參考圖像和待配準圖像，首先用SIFT算法提取特征點(diǎn)并建立匹配關(guān)系。CCA誤匹配剔除算法如下：
1) 利用式(1)和式(2)計算點(diǎn)集X和Y的典型相關(guān)成分{(si，ti)，i=1，2，…，n}，并按1.1節的方法擬合直線(xiàn)并對點(diǎn)到直線(xiàn)的距離與平均距離的比值設定閾值T1剔除部分誤匹配;
2) 對剩余的m對匹配關(guān)系，初始化均值向量μx，μy和協(xié)方差矩陣Cx，Cy和Cxy，利用式(1)、(2)和(8)計算當前的共線(xiàn)率τc;
3) 若τc≥T2，則返回當前的匹配關(guān)系，否則按式(4)、(5)、(6)、(1)和(2)計算刪除每對匹配關(guān)系后的共線(xiàn)率τi(1≤i≤m);
4) 若i0=arg maxi∈{1，2，…，m}τi，則刪除第i0對匹配關(guān)系(xi0，yi0)，令τc=τi0，更新Cxy、Cx和Cy為Ci0xy、Ci0x和Ci0y，并按式(9)和(10)更新均值向量μx和μy。令m=m-1，返回第3)步。
三、實(shí)驗結果與分析
實(shí)驗分為兩部分：首先通過(guò)模擬數據對算法的有效性進(jìn)行檢驗;然后將算法應用到實(shí)際光學(xué)圖像和合成孔徑雷達(Synthetic Aperture Radar， SAR)圖像SIFT特征點(diǎn)的誤匹配剔除中，對算法的應用性進(jìn)行檢驗。
3.1算法的有效性檢驗
為檢驗算法的有效性，在200×200的范圍內產(chǎn)生100個(gè)均勻分布的點(diǎn)作為待配準點(diǎn)集，然后構造仿射變換由待配準點(diǎn)集得到參考點(diǎn)集，如圖1(a)所示。將這100對點(diǎn)進(jìn)行隨機匹配，使得其中分別有10， 20， …， 90對正確匹配，然后將這9組數據作為誤匹配剔除算法RANSAC[10]、ORSA[12]和CCA的輸入。RANSAC算法閾值參數設置為0.004，最大迭代次數為1000。CCA算法的閾值T1設為所有距離的均值，可以保留更多的正確匹配，傾斜角和斜率直方圖的窗寬為各自取值范圍的0.01倍。閾值T2決定了最后匹配對的精度，T2越大，匹配對越少，精度越高;反之，匹配對越多，精度越低。本次實(shí)驗中在已知正確匹配數目的條件下，以最大迭代次數取代閾值T2。
圖1給出了正確匹配對數為10時(shí)CCA算法剔除誤匹配的過(guò)程，其中(b)和(c)為傾斜角和截距直方圖，(d)中實(shí)線(xiàn)是由(b)和(c)中的峰值確定的直線(xiàn)，虛線(xiàn)是由穩健最小二乘方法擬合的直線(xiàn)[14]。通過(guò)(d)中的直線(xiàn)及點(diǎn)到直線(xiàn)的距離剔除誤匹配后，剩余53對匹配。圖1(e)給出了剩余43對錯誤匹配的迭代消除過(guò)程。
實(shí)驗以匹配對數和均方根誤差(Root Mean Square Error， RMSE)作為評價(jià)標準，分別衡量最后匹配的數量和質(zhì)量。由于RANSAC和ORSA均具有隨機性，對每組數據進(jìn)行10次實(shí)驗，并統計匹配對數與RMSE的均值和標準差。當正確匹配對數為30～90時(shí)，RANSAC和ORSA都能得到正確的匹配結果，3種算法無(wú)差別。當正確匹配對數為10和20時(shí)，ORSA算法優(yōu)于RANSAC算法，CCA算法均能得到與真實(shí)對應關(guān)系一致的結果，如表1所示。
圖片
圖1CCA誤匹配剔除模擬結果
表格(有表名)
表13種方法不同正確匹配對數時(shí)的對比
方法
10對正確匹配
匹配對數RMSE/像素
20對正確匹配 匹配對數RMSE/像素
RANSAC5.9±1.52164.9±339.412.6±7.8027.78±43.36
ORSA32.6±30.4034.51±39.22200
CCA100200
3.2算法的應用性檢驗
本節分別針對光學(xué)圖像和SAR圖像進(jìn)行匹配實(shí)驗，并將CCA方法實(shí)驗結果與ORSA[12]及MS[11]方法進(jìn)行比較。匹配過(guò)程如下：首先用SIFT方法提取特征點(diǎn)并用閾值為0.9的距離比方法得到初始匹配，然后分別用3種方法進(jìn)行誤匹配剔除。實(shí)驗中，光學(xué)圖像采用的是具有仿射變換的城堡圖像，大小分別為492×486和613×523。圖2為兩幅光學(xué)圖像的CCA誤匹配剔除結果，其中SIFT算法給出502對匹配，如圖2(c)。圖2(d)給出了CCA方法找到的263對匹配，其對應的均方根誤差為RMSE=2.2716。最后的配準結果如圖2(e)。
SAR圖像使用的是“5・12”汶川地震前后綿陽(yáng)市獅兒河水庫的ALOSPALSAR圖像，震前圖像拍攝于2008年2月17日，震后圖像拍攝于2008年5月19日。震前震后圖像的大小分別為500×400和450×350。圖3為獅兒河水庫圖像的CCA誤匹配剔除結果，其中圖3(c)中SIFT算法給出331對匹配。CCA方法找到85對匹配，如圖3(d)所示，對應的均方根誤差為RMSE=2.0071。為進(jìn)行對比，圖2和圖3對應的閾值T2分別設置為1-6.8×10-5和1-6×10-5。增大這兩個(gè)閾值會(huì )減小RMSE，同時(shí)也會(huì )減少匹配對數。將由ORSA和MS方法的結果列于表2，從表2中可以看出，CCA方法找到的匹配對在數量和質(zhì)量上優(yōu)于ORSA和MS。
圖片
圖2光學(xué)圖像誤匹配剔除結果
表格(有表名)
表2不同方法在SIFT誤匹配剔除上的對比
圖像對
ORSA方法
匹配對數RMSE/像素
MS方法
匹配對數RMSE/像素
CCA方法
匹配對數RMSE/像素
圖22162.36012592.28252632.2716
圖3832.2003443.0080852.0071
圖片
圖3SAR圖像誤匹配剔除結果
四、結語(yǔ)
本文針對SIFT描述子對具有相似灰度分布區域的圖像易產(chǎn)生誤匹配的缺點(diǎn)，提出了一種基于典型相關(guān)分析的誤匹配剔除方法。該方法首先通過(guò)典型相關(guān)分析對SIFT匹配后的特征點(diǎn)對的位置關(guān)系進(jìn)行重新描述，利用典型相關(guān)成分擬合直線(xiàn)剔除大部分誤匹配; 然后通過(guò)分析每對匹配對典型相關(guān)成分共線(xiàn)率的影響迭代剔除誤匹配，克服了過(guò)度剔除正確匹配的缺點(diǎn); 最后，模擬和真實(shí)實(shí)驗的結果驗證了方法的有效性和可行性。閾值T2與匹配精度之間的定量關(guān)系有待進(jìn)一步研究。
參考文獻：
[1] LIU Z， QIAO H， YANG X， et al.Graph matching by simplified convexconcave relaxation procedure[J]. International Journal of Computer Vision， 2014， 109(3)： 1-18.
[2] FENG W， LIU Z， WAN L， et al.A spectralmultiplicitytolerant approach to robust graph matching[J]. Pattern Recognition， 2013， 46(10)： 2819-2829.
[3] KANG U， HEBERT M， PARK S. Fast and scalable approximate spectral graph matching for correspondence problems[J]. Information Sciences， 2013， 220(20)： 306-318.
[4] WANG H， HANCOCK E R. A kernel view of spectral point pattern matching[J]. Structural， Syntactic， and Statistical Pattern Recognition， 2004， 3138： 361-369.
[5] LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision， 2004， 60(2)： 91-110.
[6] BAY H， ESS A， TUYTELAARS T， et al.SpeededUp Robust Features (SURF)[J]. Computer Vision and Image Understanding， 2008， 110(3)： 346-359.
[7] TEKE M， VURAL M F， TEMIZEL A， et al.Highresolution multispectral satellite image matching using scale invariant feature transform and speeded up robust features[J]. Journal of Applied Remote Sensing， 2011， 5(1)： 53553.
[8] YANG L， TIAN Z， ZHAO W. A new affine invariant feature extraction method for SAR image registration[J]. International Journal of Remote Sensing， 2014， 35(20)： 7219-7229.
[9] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM， 1981， 24(6)： 381-395.
[10] KIM T， IM Y. Automatic satellite image registration by combination of matching and random sample consensus[J]. IEEE Transactions on Geoscience and Remote Sensing， 2003， 41(5)： 1111-1117.
[11] KUPFER B， NETANYAHU N S， SHIMSHONI I. An efficient SIFTbased modeseeking algorithm for subpixel registration of remotely sensed images[J]. IEEE Geoscience and Remote Sensing Letters， 2015， 12(2)： 379-383.
[12] MOISAN L， MOULON P， MONASSE P. Automatic homographic registration of a pair of images， with a contrario elimination of outliers[J]. Image Processing On Line， 2012， 2： 56-73.
[13] AGUILAR W， FRAUEL Y， ESCOLANO F， et al.A robust graph transformation matching for nonrigid registration[J]. Image and Vision Computing， 2009， 27(7)： 897-910.
[14] YAN W， TIAN Z， WEN J， et al.SIFT mismatching correction based on partial least squares[J]. Journal of Computer Applications， 2012， 32(5)： 1255-1268.(延偉東， 田錚， 溫金環(huán)， 等. 基于偏最小二乘的SIFT誤匹配校正方法[J]. 計算機應用， 2012， 32(5)： 1255-1268.)
【基于典型相關(guān)分析方法的尺度不變特征變換誤匹配剔除】相關(guān)文章：
基于FPGA的指紋特征點(diǎn)集匹配的設計與實(shí)現03-07
基于IHS變換的遙感影像融合方法研究11-22
求矩陣的特征值和特征向量的變換方法01-01
基于人眼視覺(jué)特性的多尺度DR圖像增強方法03-07
基于聚類(lèi)分析的數據挖掘方法03-08
圖像紋理特征的分析方法研究03-07
基于FPGA的快速傅立葉變換03-19
基于希爾伯特-黃變換的信號處理方法研究11-22