本發明涉及計算機視覺,尤其是涉及一種背景相似度計算方法、裝置、存儲介質及計算機設備。
背景技術:
1、室內場景背景相似度計算作為計算機視覺領域的關鍵技術,在安防監控、智能空間管理等領域具有廣泛應用基礎,近年來,隨著金融機構對物理網點智能化改造需求的提升,此項技術在銀行營業廳、證券交易大廳等金融室內場景中展現出新的應用潛力;傳統金融場所的視頻分析系統多依賴于人工巡查或簡單運動檢測,難以實現對復雜交易環境中背景環境的持續性識別與匹配,現有技術嘗試通過特征點匹配或語義分割方法進行場景比對,部分金融科技解決方案亦引入了基礎的圖像相似度算法用于監控視頻中的異常場景檢測,同時伴隨著深度學習技術的發展,基于神經網絡的視覺分析方法逐步應用于金融場所的人員行為分析、區域安防監測等任務。
2、然而,現有技術在實現高精度背景環境一致性判斷方面仍存在明顯局限,傳統基于固定特征或簡單分割的方法難以準確區分場景中的臨時性前景元素與持久性背景結構,因此在處理這類動態環境時,往往無法有效剝離短暫存在的前景干擾,導致背景匹配結果受到不可預測的影響;同時,多數方法缺乏對場景幾何結構的深入理解,難以在視角變化或局部遮擋情況下保持判斷的穩定性;以上技術的局限性使得現有系統在需要高可靠背景一致性判別的金融安防、區域管控等關鍵應用中,存在誤報率高、適應性不足的問題。
技術實現思路
1、有鑒于此,本技術提供了一種背景相似度計算方法、裝置、介質及設備,主要目的在于解決現有技術中高精度背景環境一致性判斷誤報率高、適應性不足的技術問題。
2、根據本發明的第一個方面,提供了一種背景相似度計算方法,包括:
3、將待比較的兩張目標場景圖像輸入至預設的聯合估計神經網絡中,生成所述目標場景圖像對應的深度預測圖和遮擋概率圖,其中,所述聯合估計神經網絡包括深度預測分支和遮擋估計分支;
4、提取所述目標場景圖像的中間語義特征,獲取所述遮擋概率圖的下采樣結果,對所述中間語義特征與所述下采樣結果進行融合處理生成注意力權重圖;
5、利用所述注意力權重圖,對基于所述中間語義特征構建的特征表示進行空間選擇性增強,并在所述遮擋概率圖指示的非遮擋區域進行聚合,得到所述目標場景圖像的背景主導特征表示;
6、基于所述背景主導特征表示和所述深度預測圖,對待比較的兩張目標場景圖進行深度一致性驗證,并計算待比較的兩張目標場景圖在共視非遮擋區域的相似度得分。
7、可選的,所述深度預測分支包括基于transformer架構的編碼器和具有空洞卷積的解碼器;所述深度預測圖的生成方法包括:利用所述編碼器提取所述目標場景圖像的多尺度特征;利用所述解碼器對所述多尺度特征進行融合與上采樣,生成深度預測圖;其中,所述深度預測分支通過聯合優化深度值絕對誤差與深度梯度差異的目標函數進行訓練,以對所述編碼器與所述解碼器的參數進行優化。
8、可選的,所述遮擋估計分支包括遮擋感知解碼模塊,所述遮擋估計分支與所述深度預測分支共享編碼器;所述遮擋概率圖的生成方法包括:獲取所述編碼器的多尺度語義特征,和所述深度預測分支對應層級的深度不連續性信息;在所述遮擋感知解碼模塊解碼過程中,對所述多尺度語義特征與所述深度不連續性信息進行結合,生成遮擋概率圖;其中,所述遮擋估計分支通過優化所述遮擋概率圖與真實遮擋區域之間的一致性進行訓練。
9、可選的,所述聯合估計神經網絡的訓練過程包括:基于所述深度預測圖計算得到目標場景的預測表面法向信息;通過最小化所述預測表面法向信息與真實表面法向信息之間的一致性誤差,優化所述深度預測分支的參數,使得所述深度預測圖在深度不連續區域表現出符合物理規律的表面方向變化。
10、可選的,所述提取所述目標場景圖像的中間語義特征,獲取所述遮擋概率圖的下采樣結果,對所述中間語義特征與所述下采樣結果進行融合處理生成注意力權重圖,包括:利用預設的圖像特征提取網絡提取所述目標場景圖像的中間語義特征;對所述遮擋概率圖進行下采樣,使得下采樣后的遮擋概率圖的分辨率與所述中間語義特征匹配;對下采樣后的遮擋概率圖進行數值變換,生成空間衰減掩膜,其中,所述空間衰減掩膜的數值隨遮擋概率增大而單調遞減;將所述中間語義特征與所述空間衰減掩膜進行拼接,得到拼接結果,并將所述拼接結果輸入至預設的空間注意力網絡中進行處理,生成注意力權重圖。
11、可選的,所述利用所述注意力權重圖,對基于所述中間語義特征構建的特征表示進行空間選擇性增強,并在所述遮擋概率圖指示的非遮擋區域進行聚合,得到所述目標場景圖像的背景主導特征表示,包括:將所述中間語義特征分別線性投影為查詢特征、鍵特征與值特征;計算所述查詢特征與所述鍵特征之間的相似度,得到用于表征所有空間位置間關聯性的初始關系矩陣;將所述初始關系矩陣與所述注意力權重圖進行空間上的逐元素相乘,得到調制后的關系矩陣,其中,所述注意力權重圖用于抑制所述初始關系矩陣中與所述目標場景圖像中前景區域對應的關聯權重;基于調制后的關系矩陣對所述值特征進行加權聚合,輸出增強后的背景主導特征表示。
12、可選的,所述基于所述背景主導特征表示和所述深度預測圖,對待比較的兩張目標場景圖進行深度一致性驗證,并計算待比較的兩張目標場景圖在共視非遮擋區域的相似度得分,包括:基于所述注意力權重圖對所述背景主導特征表示進行篩選與聚合,得到所述目標場景圖像的背景特征向量;根據所述共視非遮擋區域,驗證待比較的兩張目標場景圖像從所述深度預測圖中獲取的深度預測值之差是否小于預設的深度一致性閾值,并計算待比較的兩張目標場景圖像對應的背景特征向量之間的特征相似度;當所述深度預測值之差小于所述深度一致性閾值時,將所述特征相似度作為待比較的兩張目標場景圖像的相似度得分。
13、根據本發明的第二個方面,提供了一種背景相似度計算裝置,包括:
14、幾何估計模塊,用于將待比較的兩張目標場景圖像輸入至預設的聯合估計神經網絡,生成所述目標場景圖像對應的深度預測圖和遮擋概率圖,其中,所述聯合估計神經網絡包括深度預測分支和遮擋估計分支;
15、特征融合模塊,用于提取所述目標場景圖像的中間語義特征,并獲取所述遮擋概率圖的下采樣結果,對所述中間語義特征與所述下采樣結果進行融合處理生成注意力權重圖;
16、背景集合模塊,用于利用所述注意力權重圖,對基于所述中間語義特征構建的特征表示進行空間選擇性增強,并在所述遮擋概率圖指示的非遮擋區域進行聚合,提取所述目標場景圖像的背景主導特征表示;
17、驗證匹配模塊,用于基于所述背景主導特征表示和所述深度預測圖,通過引入深度一致性驗證的匹配策略,計算待比較的兩張目標場景圖像在共視非遮擋區域的相似度得分。
18、根據本發明的第三個方面,提供了一種存儲介質,其上存儲有計算機程序,程序被處理器執行時實現上述背景相似度計算方法。
19、根據本發明的第四個方面,提供了一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,處理器執行程序時實現上述背景相似度計算方法。
20、本發明提供的一種背景相似度計算方法、裝置、存儲介質及計算機設備,首先通過包含深度預測與遮擋估計分支的聯合估計神經網絡,同步生成深度預測圖與遮擋概率圖,不僅獲取場景三維結構信息,更對前景干擾進行顯式概率化建模;其次利用遮擋概率圖引導生成注意力權重圖,實現語義特征的空間選擇性增強,使計算焦點動態聚焦于低遮擋的背景區域,從而有效剝離前景干擾;最后在相似度計算階段引入深度一致性驗證機制,要求兩幅圖像在特征相似的同時,其對應位置的預測深度值也需在容差范圍內一致,從而排除因視角等因素引起的偽匹配,確保匹配結果具有三維幾何合理性。上述方法通過幾何感知的注意力機制與深度驗證,實現了對持久性背景結構的精準匹配,大幅降低誤報率,并且通過動態分析能夠適應場所布局調整與動態干擾,為金融安防中的可疑場景回溯、異常環境監測及跨攝像頭場景關聯提供了高可靠性的核心技術基礎,實現了智能幾何感知背景理解。
21、上述說明僅是本技術技術方案的概述,為了能夠更清楚了解本技術的技術手段,而可依照說明書的內容予以實施,并且為了讓本技術的上述和其它目的、特征和優點能夠更明顯易懂,以下特舉本技術的具體實施方式。