本發(fā)明涉及高光譜圖像配準(zhǔn)，特別是涉及一種高光譜圖像配準(zhǔn)方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù)：
1、隨著遙感技術(shù)的快速發(fā)展，高光譜圖像（hyperspectral?image，hsi）在多時相監(jiān)測、環(huán)境變化檢測、精準(zhǔn)農(nóng)業(yè)和城市測繪等領(lǐng)域得到廣泛應(yīng)用。相比傳統(tǒng)rgb圖像，高光譜圖像在數(shù)百個連續(xù)光譜波段上提供精細(xì)的光譜信息，能夠?qū)崿F(xiàn)對地物材料的精準(zhǔn)區(qū)分，為光譜解混、目標(biāo)檢測及土地覆蓋分類等任務(wù)提供重要支撐。然而，在實際獲取過程中，由于傳感器運動、平臺抖動、地形起伏以及大氣效應(yīng)等因素的影響，不同時間、不同視角或不同傳感器獲取的高光譜圖像通常存在不同程度的幾何錯位。尤其是在推掃式成像系統(tǒng)中，平臺不穩(wěn)定及地形變化還會引入局部拉伸、壓縮等非線性畸變，嚴(yán)重影響后續(xù)分析的精度。因此，實現(xiàn)高精度的圖像配準(zhǔn)，即對多源高光譜圖像進行幾何對齊，成為開展多時相與多傳感器分析的關(guān)鍵前提。
2、現(xiàn)有的圖像配準(zhǔn)方法主要包括基于手工特征的方法和基于深度學(xué)習(xí)的方法，但在高光譜場景下仍存在以下問題：
3、1)?特征表達能力不足問題：傳統(tǒng)方法如尺度不變特征變換（sift）和加速魯棒特征（surf）主要針對rgb或灰度圖像設(shè)計，其特征描述符僅適用于低維通道數(shù)據(jù)，難以有效刻畫高光譜圖像中跨數(shù)百波段的光譜特征，導(dǎo)致關(guān)鍵點檢測不穩(wěn)定及匹配精度下降；
4、2)?光譜信息損失問題：部分方法通過主成分分析（pca）將高光譜數(shù)據(jù)降維至三通道后再進行特征提取，雖然緩解了維度問題，但在降維過程中不可避免地丟失了對精確匹配至關(guān)重要的判別性光譜信息，影響配準(zhǔn)精度；
5、3)?對復(fù)雜光譜變化魯棒性不足問題：多時相高光譜圖像普遍存在光照變化、大氣擾動及傳感器差異等因素引起的非線性光譜畸變，傳統(tǒng)手工特征和部分深度特征難以保持穩(wěn)定匹配；
6、4)?對標(biāo)注數(shù)據(jù)依賴強問題：基于卷積神經(jīng)網(wǎng)絡(luò)（cnn）或transformer的方法（如loftr）雖可提升匹配性能，但通常依賴大量標(biāo)注的對應(yīng)點數(shù)據(jù)，而高光譜圖像標(biāo)注成本高、獲取困難，限制了其實際應(yīng)用；
7、5)?跨模態(tài)輸入適配問題：近年來自監(jiān)督方法（如dino系列）在視覺表征學(xué)習(xí)中表現(xiàn)出優(yōu)異性能，尤其是dinov3在大規(guī)模遙感數(shù)據(jù)上的預(yù)訓(xùn)練顯著提升了特征泛化能力，但該類模型主要面向三通道rgb輸入，無法直接處理高光譜的高維數(shù)據(jù)，存在明顯的輸入維度不匹配問題。
技術(shù)實現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問題是提供一種高光譜圖像配準(zhǔn)方法、裝置、設(shè)備及介質(zhì)，能夠有效彌合高維高光譜數(shù)據(jù)與rgb預(yù)訓(xùn)練模型之間的維度差異，充分保留關(guān)鍵光譜信息，并提升在復(fù)雜成像條件下的配準(zhǔn)精度與魯棒性。
2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供一種高光譜圖像配準(zhǔn)方法，包括以下步驟：
3、獲取待配準(zhǔn)的高光譜圖像和參考圖像；
4、將所述待配準(zhǔn)的高光譜圖像和參考圖像對輸入至配準(zhǔn)模型，得到配準(zhǔn)圖像；其中，所述配準(zhǔn)模型包括：
5、光譜自適應(yīng)嵌入模塊，用于通過可學(xué)習(xí)的光譜投影層分別將所述待配準(zhǔn)的高光譜圖像和參考圖像從維光譜通道壓縮為三維rgb兼容表征，得到待配準(zhǔn)投影后圖像和參考投影后圖像；
6、dinov3?vit編碼器，用于分別對所述待配準(zhǔn)投影后圖像和參考投影后圖像進行特征提取，得到多層待配準(zhǔn)token特征和參考token特征；
7、多層特征聚合模塊，用于分別對所述多層待配準(zhǔn)token特征和參考token特征進行加權(quán)融合，得到待配準(zhǔn)融合特征圖和參考融合特征圖；
8、密集特征匹配模塊，用于找出所述待配準(zhǔn)融合特征圖和參考融合特征圖的對應(yīng)點對，并基于所述對應(yīng)點對得到最優(yōu)仿射變換矩陣，根據(jù)所述最優(yōu)仿射變換矩陣對所述待配準(zhǔn)的高光譜圖像進行空間變換，得到配準(zhǔn)圖像。
9、所述可學(xué)習(xí)的光譜投影層通過可學(xué)習(xí)的光譜投影矩陣和偏置項，對輸入高光譜圖像進行通道級線性映射，得到三通道嵌入表示；其中，所述光譜投影矩陣通過主成分分析進行初始化，選取前三個主成分作為初始投影方向。
10、所述dinov3?vit編碼器包括：
11、劃分單元，用于分別將待配準(zhǔn)投影后圖像和參考投影后圖像劃分為不重疊且大小固定的圖像塊；
12、轉(zhuǎn)換單元，用于對劃分后的圖像塊進行圖像塊嵌入和token化處理，得到待配準(zhǔn)token序列和參考token序列；
13、多層編碼層單元，用于對待配準(zhǔn)token序列和參考token序列進行特征提取，得到多層待配準(zhǔn)token特征和參考token特征。
14、所述多層特征聚合模塊包括：
15、選取單元，用于分別從所述多層待配準(zhǔn)token特征和參考token特征中選出預(yù)設(shè)層數(shù)的token特征；
16、融合單元，用于通過可學(xué)習(xí)權(quán)重對選出的預(yù)設(shè)層數(shù)的token特征進行加權(quán)融合，得到待配準(zhǔn)融合特征圖和參考融合特征圖。
17、所述密集特征匹配模塊包括：
18、相似度計算單元，用于將所述待配準(zhǔn)融合特征圖和參考融合特征圖分別展平為序列表示，并基于余弦相似度計算所述待配準(zhǔn)融合特征圖和參考融合特征圖之間的相似度矩陣；
19、候選匹配點選取單元，用于對于參考融合特征圖中的每一位置，從待配準(zhǔn)融合特征圖中選取相似度最大的匹配位置作為候選匹配點；
20、過濾單元，用于采用互最近鄰策略對所述候選匹配點進行過濾，僅保留滿足雙向最近鄰條件的匹配點對，得到所述待配準(zhǔn)融合特征圖和參考融合特征圖的對應(yīng)點對；
21、估計單元，用于基于所述待配準(zhǔn)融合特征圖和參考融合特征圖的對應(yīng)點對采用隨機采樣一致性算法進行仿射變換估計，得到最優(yōu)仿射變換矩陣；
22、空間變換單元，用于根據(jù)所述最優(yōu)仿射變換矩陣對所述待配準(zhǔn)的高光譜圖像進行空間變換，得到配準(zhǔn)圖像。
23、所述估計單元次在迭代中隨機選取所述待配準(zhǔn)融合特征圖和參考融合特征圖的對應(yīng)點對進行仿射模型參數(shù)求解；根據(jù)重投影誤差對匹配點進行內(nèi)點篩選，當(dāng)重投影誤差小于閾值時判定為內(nèi)點；最終選取內(nèi)點數(shù)量最多的仿射模型，并通過最小二乘法進行參數(shù)優(yōu)化，得到最優(yōu)仿射變換矩陣。
24、所述配準(zhǔn)模型的損失函數(shù)為雙項互補損失函數(shù)，表示為：，其中，為配準(zhǔn)模型的損失函數(shù)，為對比學(xué)習(xí)infonce損失，表示為：，為參考圖像中的第個特征向量，為與所述參考圖像特征對應(yīng)的真實正樣本匹配特征向量，為候選匹配特征集合中的第個特征向量，所述候選匹配特征集合包括真實匹配特征和非匹配特征，為溫度系數(shù)，為相似度計算，候選匹配點數(shù)量；為正則化項，表示為：，為光譜投影矩陣的frobenius范數(shù)；為正則化系數(shù)。
25、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供一種高光譜圖像配準(zhǔn)裝置，包括：
26、獲取模塊，用于獲取待配準(zhǔn)的高光譜圖像和參考圖像；
27、配準(zhǔn)模塊，用于將所述待配準(zhǔn)的高光譜圖像和參考圖像對輸入至配準(zhǔn)模型，得到配準(zhǔn)圖像；其中，所述配準(zhǔn)模型包括：
28、光譜自適應(yīng)嵌入模塊，用于通過可學(xué)習(xí)的光譜投影層分別將所述待配準(zhǔn)的高光譜圖像和參考圖像從維光譜通道壓縮為三維rgb兼容表征，得到待配準(zhǔn)投影后圖像和參考投影后圖像；
29、dinov3?vit編碼器，用于分別對所述待配準(zhǔn)投影后圖像和參考投影后圖像進行特征提取，得到多層待配準(zhǔn)token特征和參考token特征；
30、多層特征聚合模塊，用于分別對所述多層待配準(zhǔn)token特征和參考token特征進行加權(quán)融合，得到待配準(zhǔn)融合特征圖和參考融合特征圖；
31、密集特征匹配模塊，用于找出所述待配準(zhǔn)融合特征圖和參考融合特征圖的對應(yīng)點對，并基于所述對應(yīng)點對得到最優(yōu)仿射變換矩陣，根據(jù)所述最優(yōu)仿射變換矩陣對所述待配準(zhǔn)的高光譜圖像進行空間變換，得到配準(zhǔn)圖像。
32、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述高光譜圖像配準(zhǔn)方法的步驟。
33、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述高光譜圖像配準(zhǔn)方法的步驟。
34、有益效果
35、由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點和積極效果：本發(fā)明通過光譜自適應(yīng)嵌入模塊將高維高光譜數(shù)據(jù)自適應(yīng)壓縮為三維rgb兼容表征，可直接適配dino?v3架構(gòu)，有效保留判別性光譜信息，解決傳統(tǒng)降維方法導(dǎo)致光譜特征丟失、與rgb模型不兼容的問題。采用dinov3?vit編碼器提取多層token特征，結(jié)合多層特征聚合模塊加權(quán)融合，可同時整合低層幾何細(xì)節(jié)與高層語義信息，顯著提升特征在光譜畸變、復(fù)雜場景下的魯棒性與一致性。利用密集特征匹配模塊精準(zhǔn)定位對應(yīng)點對并魯棒求解最優(yōu)仿射變換矩陣，無需人工標(biāo)注的匹配標(biāo)簽，以全自監(jiān)督方式實現(xiàn)端到端配準(zhǔn)。本發(fā)明在配準(zhǔn)精度、內(nèi)點率與泛化能力上顯著優(yōu)于傳統(tǒng)方法與現(xiàn)有深度學(xué)習(xí)方法，能夠有效應(yīng)對多時相、跨傳感器高光譜圖像的幾何錯位問題，降低數(shù)據(jù)標(biāo)注成本，適用于遙感監(jiān)測、精準(zhǔn)農(nóng)業(yè)等實際工程場景。