本發明屬于計算機視覺與遙感圖像處理,具體涉及一種用于遙感影像的少樣本目標檢測方法和裝置,適用于衛星影像、航空攝影等場景中的少樣本目標檢測任務。
背景技術:
1、隨著航空航天技術的快速發展,遙感影像數據量急劇增長,基于深度學習的目標檢測技術成為實現自動化影像解譯的關鍵手段。然而,現有深度學習方法嚴重依賴大規模人工標注數據進行訓練,在自然災害應急、軍事偵察等實際應用中,獲取足量、高質量的標注數據往往成本高昂、周期漫長,導致模型難以有效訓練,易出現嚴重的過擬合與檢測精度下降問題。
2、為解決上述數據瓶頸,少樣本目標檢測方法應運而生。其核心思想是通過優化網絡結構與訓練策略,充分挖掘有限樣本中的先驗知識,以實現在少量標注數據下的有效學習與快速泛化。例如,已有研究(如中國專利公開號cn119888196a)提出了在faster?r-cnn框架下,通過構建雙分支進化模塊與類別分離roi檢測器等策略,旨在提升新類別檢測能力的同時緩解對已學基礎類別的災難性遺忘。
3、然而,直接將面向自然場景設計的少樣本檢測框架遷移至遙感影像領域,仍面臨諸多固有挑戰,導致檢測性能受限:其一,現有方法普遍基于預設長寬比的錨框機制生成候選區域,而遙感影像中地物目標(如車輛、艦船、建筑物、農田)的尺度差異巨大、形態多變,固定錨框難以與之良好匹配,造成大量漏檢或引入冗余背景干擾,成為制約精度的核心瓶頸。其二,針對遙感影像中小目標多且特征微弱的特性,通用特征金字塔網絡雖能融合多尺度信息,但其無差別的融合策略未能對小目標的細節與邊緣特征進行針對性增強,導致關鍵判別信息在特征傳遞過程中被稀釋或掩蓋。其三,主流模型的邊界框回歸機制僅依賴于局部視覺特征,缺乏對目標幾何結構與空間分布規律的顯式建模,在目標形變、遮擋或背景雜波干擾下,定位魯棒性顯著不足,在少樣本條件下該問題尤為突出。
4、因此,亟待一種能夠從根本上適配遙感影像特性,并在少樣本條件下實現高精度、高魯棒性目標檢測的全新技術方案。
技術實現思路
1、為解決上述技術問題,本發明提供了一種用于遙感影像的少樣本目標檢測方法和裝置,通過深度卷積與分組注意力策略,在不多增加計算負擔的前提下,強化小目標在多尺度特征圖中的顯著性;通過引入幾何先驗約束,減少對純視覺特征的過度依賴,提升模型對遮擋、形變目標的定位魯棒性,在保證模型輕量化的前提下,基于微調的方法實現少量標注樣本下的快速收斂與高精度檢測,顯著提升在遙感可見光圖像中對小目標、稀疏目標的泛化能力。
2、為實現上述目的,本發明采用的技術方案如下:
3、一種用于遙感影像的少樣本目標檢測方法,所述方法包括:
4、步驟1、將遙感圖像輸入至目標檢測模型,所述目標檢測模型包括依次級聯的:預訓練的dinov3骨干網絡、小目標增強模塊、deimv2檢測器以及語義回歸精修模塊;其中,所述dinov3骨干網絡用于提取所述遙感圖像的多層級特征并構建多尺度特征金字塔;所述小目標增強模塊用于對所述多尺度特征金字塔中空間分辨率最高的多尺度特征圖進行特征增強;所述deimv2檢測器用于對增強后的多尺度特征圖進行處理,并輸出目標的初步邊界框坐標及類別;所述語義回歸精修模塊用于對所述初步邊界框坐標進行基于幾何語義的精細化修正,輸出最終檢測結果;
5、步驟2、對所述目標檢測模型進行兩階段訓練,包括基于豐富標注的基類數據集對整個所述目標檢測模型的基礎訓練,以及基于新類別的少量標注樣本對所述目標檢測模型的部分網絡參數的微調訓練;
6、步驟3、將待識別圖像輸入完成兩階段訓練后的目標檢測模型,輸出檢測結果。
7、進一步的,所述步驟1中,小目標增強模塊用于對所述多尺度特征金字塔中空間分辨率最高的多尺度特征圖進行特征增強包括:對輸入特征圖進行深度可分離卷積運算;將卷積后的特征圖在通道維度均勻劃分為若干組,對每組特征分別進行一維卷積后再拼接;對拼接后的特征圖執行全局平均池化,并通過一個包含全連接層和sigmoid激活函數的門控單元生成通道注意力權重向量;將所述通道注意力權重向量與拼接后的特征圖逐通道相乘,并將相乘結果與原始輸入特征圖進行殘差連接,輸出增強后的特征圖。
8、進一步的,所述步驟1中,deimv2檢測器為基于transformer架構的端到端檢測器,不采用預設錨框機制,通過一組可學習的目標查詢與編碼器輸出的多尺度特征進行交互,直接解碼出目標的類別與邊界框坐標。
9、進一步的,所述步驟1中,所述語義回歸精修模塊用于對所述初步邊界框坐標進行基于幾何語義的精細化修正,輸出最終檢測結果包括:將初步邊界框坐標解構為包含中心點坐標、寬高、面積、寬高比、對角線長度、中心點到圖像中心的距離、到圖像四條邊界的距離及其最小值的多維度幾何特征向量;將所述幾何特征向量通過至少一個包含線性變換、非線性激活和隨機失活的編碼子網絡,映射為高維語義編碼特征;為所述高維語義編碼特征添加位置編碼,并通過至少一層transformer編碼器進行自注意力建模和特征融合;將融合后的特征通過線性層降維,并選取每行特征最后一維的最大概率索引進行嵌入編碼,將得到的嵌入向量與降維特征進行殘差連接;將殘差連接后的特征輸入序列生成器,解碼輸出每個初步邊界框對應的坐標偏移量;將所述坐標偏移量與所述初步邊界框坐標相加,得到最終的精修邊界框坐標。
10、進一步的,所述步驟2中,基礎訓練階段具體包括:
11、使用包含豐富標注的基類數據集對所述目標檢測模型進行全局訓練;
12、在訓練過程中,對所述dinov3骨干網絡的參數采用低于模型中其他模塊參數的學習率進行更新,而對所述小目標增強模塊、deimv2檢測器及語義回歸精修模塊的參數采用正常學習率進行更新。
13、進一步的,所述步驟2中,微調訓練階段采用選擇性解凍策略,具體包括:
14、凍結所述dinov3骨干網絡的大部分參數;
15、解凍并更新以下部分的參數:所述小目標增強模塊的全部參數、所述deimv2檢測器中特征金字塔網絡的核心層參數、所述deimv2檢測器解碼器的分類與回歸預測頭及最后一層解碼層的參數、以及所述語義回歸精修模塊的全部可訓練參數。
16、進一步的,所述方法在訓練過程中采用復合損失函數,具體為以下四種損失加權求和:
17、deimv2檢測器編碼器輸出的損失,包含預測邊界框的l1損失和廣義交并比損失,以及類別預測的二元交叉熵損失;
18、deimv2檢測器各層解碼器輸出的輔助損失,每層損失的計算方式與所述編碼器損失相同;
19、deimv2檢測器最終輸出的預測損失,計算方式與所述編碼器損失相同;
20、語義回歸精修模塊輸出的精修損失,包含預測坐標偏移量的l1損失和廣義交并比損失。
21、另一方面,本發明提供一種用于遙感影像的少樣本目標檢測裝置,包括:
22、模型輸入模塊,用于將遙感圖像輸入至目標檢測模型,所述目標檢測模型包括依次級聯的:預訓練的dinov3骨干網絡、小目標增強模塊、deimv2檢測器以及語義回歸精修模塊;其中,所述dinov3骨干網絡用于提取所述遙感圖像的多層級特征并構建多尺度特征金字塔;所述小目標增強模塊用于對所述多尺度特征金字塔中空間分辨率最高的多尺度特征圖進行特征增強;所述deimv2檢測器用于對增強后的多尺度特征圖進行處理,并輸出目標的初步邊界框坐標及類別;所述語義回歸精修模塊用于對所述初步邊界框坐標進行基于幾何語義的精細化修正,輸出最終檢測結果;
23、訓練模塊,用于對所述目標檢測模型進行兩階段訓練,包括基于豐富標注的基類數據集對整個所述目標檢測模型的基礎訓練,以及基于新類別的少量標注樣本對所述目標檢測模型的部分網絡參數的微調訓練;
24、輸出模塊,用于將待識別圖像輸入完成兩階段訓練后的目標檢測模型,輸出檢測結果。
25、第三方面,本發明提供一種電子設備,包括:一個或多個處理器;存儲器,用于存儲一個或多個程序;其中,當一個或多個程序被所述一個或多個處理器執行時,使得所述一個或多個處理器實現前述的一種用于遙感影像的少樣本目標檢測方法。
26、第四方面,本發明提供一種計算機可讀存儲介質,其上存儲有可執行指令,該指令被處理器執行時能夠使處理器實現前述的一種用于遙感影像的少樣本目標檢測方法。
27、本發明的有益效果在于:
28、突破了固定錨框的尺度限制,顯著提升了對遙感多變目標的適應性與檢測召回率。?通過采用基于transformer的deimv2端到端架構,摒棄了傳統的預設錨框機制,從根本上解決了現有faster?r-cnn類方法因錨框長寬比固定而導致的與遙感目標尺度、形態不匹配問題。這使得模型能夠直接學習目標的全局上下文關系,在少樣本條件下對新奇、極端尺度目標的檢測更為魯棒,有效減少了漏檢與冗余候選框。
29、實現了對小目標特征的針對性強化,有效提升了復雜背景下小目標的判別能力。創新設計的小目標增強模塊,針對遙感影像中小目標特征易丟失的難題,通過深度卷積、分組注意力與門控殘差連接的輕量化組合,對高分辨率特征圖中的小目標細節進行特異性增強和背景干擾抑制。相比現有特征金字塔網絡的“無偏向”融合,本方法顯著強化了小目標在特征空間中的表達,提高了模型在少樣本下對弱小目標的辨識精度。
30、引入了幾何語義約束的邊界框優化機制,大幅提高了復雜場景下的定位精度與魯棒性。?所提出的語義回歸精修模塊,創造性地將邊界框的幾何屬性(如中心、寬高比、邊緣距離等)編碼為可遷移的語義向量,并與視覺特征共同驅動坐標修正。這突破了現有方法僅依賴視覺特征進行回歸的局限,為目標定位引入了更強的結構化先驗知識,從而在面對目標遮擋、形變及背景干擾時,表現出更優越的定位穩定性和準確性,尤其在標注數據稀缺的少樣本場景下優勢明顯。