本發(fā)明涉及計算機視覺技術、圖像分割領域，具體來說，涉及一種用于圖像篡改定位的跨域對比學習網(wǎng)絡。
背景技術：
1、在當今人工智能蓬勃發(fā)展的背景下，高級圖像編輯工具和復雜生成模型的廣泛應用已大幅降低了圖像偽造的門檻。這不僅導致偽造圖像數(shù)量激增，而且顯著增加了檢測難度，對依賴視覺真實性的領域構成了嚴峻挑戰(zhàn)。例如，在新聞傳播中，偽造圖像可能誤導公眾；在執(zhí)法過程中，偽造證據(jù)可能擾亂司法公正；在生物醫(yī)學研究中，篡改的顯微鏡圖像可能導致錯誤的科研結論。因此，開發(fā)高效檢測和精確定位圖像偽造痕跡的技術，對于保障數(shù)字媒體的可信度具有至關重要的意義。
2、早期的圖像篡改取證技術主要依賴于圖像的低級統(tǒng)計特征來揭示偽造痕跡：如點對齊,自一致性，馬爾科夫特征等。它們普遍假設在未經(jīng)篡改的圖像中，這些低級特征具有一定的穩(wěn)定性和一致性，而篡改操作會破壞這種自然屬性，從而產生明顯的不連續(xù)性或異常。當面對復雜或未知的篡改手法時，這些預定義規(guī)則的檢測器常常難以適應，導致泛化能力不足。
3、近年來，基于深度學習的圖像篡改檢測的算法在定位篡改區(qū)域展示了巨大的潛力。?faster?r-cnn融合圖像域和噪聲域特征利用區(qū)域推薦網(wǎng)絡定位篡改區(qū)域。pscc-net提出了一種漸進空間通道相關網(wǎng)絡來檢測和定位圖像操作，以粗到細的方式產生不同尺度操縱掩碼。objectformer采用注意機制提取圖像的高頻特征與圖像域特征結合起來作為多模態(tài)塊嵌入，使用一組可學習的對象原型作為中間層表示來建模不同區(qū)域之間的對象級一致性，從而捕捉了在圖像中不可見的細微操作痕跡。
4、然而，現(xiàn)有模型仍然面臨兩個主要挑戰(zhàn)：1）特征冗余：噪聲域和頻域信息在不同模態(tài)下的表示方式存在顯著差異，這可能導致冗余特征的引入。例如，離散余弦變換（dct）將圖像分解為一組頻域系數(shù)，這些系數(shù)反映了圖像在不同頻率分量上的能量分布。而噪聲域的最小單元則是單個像素點的噪聲值，該噪聲值通常被定義為原始像素值與去噪或估計后的“干凈”像素值之間的差異。在現(xiàn)有方法中，通常采用卷積或注意力機制直接融合來自不同模態(tài)的特征，以生成最終的融合特征。然而，這種直接融合方式往往未能充分考慮不同模態(tài)間的信息冗余，使得融合特征中仍然包含大量無關或重復的信息，從而干擾對篡改區(qū)域的精確定位。2）尺度局限性：大多數(shù)現(xiàn)有模型僅關注單一尺度的信息，這可能導致局部細節(jié)的丟失或對大范圍篡改區(qū)域的不敏感，從而降低篡改區(qū)域的定位精度。實際上，圖像篡改操作可能涉及不同尺度的區(qū)域：某些篡改可能僅在局部范圍內留下微小痕跡，而其他篡改則可能影響大面積區(qū)域。因此，僅依賴單一尺度無法全面應對不同大小的篡改區(qū)域，而多尺度特征提取和融合則是提高檢測魯棒性的重要方向。
技術實現(xiàn)思路
1、發(fā)明目的：前文已經(jīng)提到，目前主流圖像篡改定位方法使用補充域構造分支網(wǎng)絡提取細微的篡改特征，通常直接使用拼接或者相加的方式進行特征融合，這種直接融合方式往往未能充分考慮不同模態(tài)間的信息冗余，使得融合特征中仍然包含大量無關或重復的信息，從而干擾對篡改區(qū)域的精確定位。并且大多數(shù)現(xiàn)有模型僅關注單一尺度的信息，這可能導致局部細節(jié)的丟失或對大范圍篡改區(qū)域的不敏感，從而降低篡改區(qū)域的定位精度。為緩解這一問題，本發(fā)明提出了一種用于圖像篡改定位的跨域對比學習網(wǎng)絡(lcdd-net)。其由雙分支組成，圖像域建模像素之間的空間特征，頻域充分挖掘如jpeg壓縮等細微篡改痕跡。兩個域分別提取四種不同尺度的篡改特征，并通道拼接形成融合域的特征。隨后三個域的特征首先進入中值增強的通道-多尺度空間注意力模塊進行特征初步過濾。提取篡改相關通道以及多尺度信息。經(jīng)過增強的特征隨后進入跨域對比學習模塊。域內損失通過拉大各個域內正負樣本之間的間隔，確保特征表示具有良好的判別性。跨域對比損失則通過在圖像域、融合域和頻域之間進行成對對齊，減小不同域之間的分布差異。進而取得更優(yōu)越的定位性能。
2、本發(fā)明的目的可以通過以下技術方案來實現(xiàn)：
3、一種用于圖像篡改定位的跨域對比學習網(wǎng)絡，包括以下步驟：
4、步驟一：構建由圖像域分支和頻域分支組成的雙分支網(wǎng)絡結構，使用自適應特征融合模塊對圖像域和頻域分支的多尺度特征進行融合，將融合后的特征輸入到中值增強的通道-多尺度空間注意力模塊和跨域對比學習模塊對不同維度的特征進行增強。最后融合域的特征輸入解碼器中得到最終的預測掩碼。該模型定義如下：
5、(1);
6、其中，表示輸入圖像，和?分別表示圖像編碼器與頻域編碼器，表示自適應特征融合模塊，中值增強的通道-多尺度空間注意力模塊，表示跨域對比學習模塊，表示解碼器，表示預測得到的篡改掩碼。
7、步驟二：將待檢測的篡改圖像分別輸入圖像域分支與頻域分支，在兩個分支中提取四個不同尺度的篡改特征；對圖像域特征與頻域特征在對應尺度維度上進行拼接，構建融合域特征：
8、
9、
10、
11、其中concat(?，)代表通道拼接操作，conv代表卷積操作，relu是非線性激活函數(shù)。因此我們得到了三個域的四種不同尺度的特征圖形域：。頻域：融合域：。為了充分利用不同域的多尺度特征，我們設計了一個自適應特征融合模塊（affm），首先使用卷積將四個尺度的特征的通道數(shù)調整統(tǒng)一。隨后，將特征到進行插值操作將大小調整為和相同，然后每個特征都會乘以一個可學習的參數(shù)，這個參數(shù)初始化為一個很小的值，如。最后將所有的特征進行求和，并使用卷積進行通道的調整，最終得到代表三個域的特征。
12、步驟三：基于步驟二。盡管不同模態(tài)的特征通過?affm?模塊初步實現(xiàn)了跨層次特征的交互與整合，但由于征通道間的冗余響應以及空間上下文關聯(lián)的不足，篡改區(qū)域的定位精度仍存在局限性。針對圖像篡改檢測中局部細微特征易被淹沒、以及在復雜干擾環(huán)境下特征魯棒性不足的核心挑戰(zhàn)，我們提出了一種中值增強的通道多尺度空間注意力。該模塊采用級聯(lián)結構，首先利用結合多種統(tǒng)計特征的通道注意力動態(tài)校準特征通道的重要性，隨后通過一系列多尺度膨脹卷積（膨脹率?r={1,2,3}）增強不同尺度下的特征響應，從而實現(xiàn)對局部細節(jié)與全局上下文的多粒度建模。
13、具體而言，在通道注意力計算中并行提取三種互補的通道統(tǒng)計信息：全局平均池化（gap）刻畫通道整體激活強度，全局最大池化（gmp）增強對微小篡改區(qū)域的顯著響應，全局中值池化（gmep）抑制脈沖噪聲以提升對壓縮偽影的魯棒性。三類統(tǒng)計特征共同輸入共享的雙層?mlp?學習動態(tài)權重，從而自適應強化篡改相關通道并抑制噪聲干擾。
14、
15、其中。這里，表示relu函數(shù)，表示sigmoid函數(shù)。通過兩層?mlp?建模通道間的依賴關系，其權重分別為?，表示逐通道相乘。
16、為了進一步挖掘多域特征中的多層次信息。我們在空間注意力中引入多尺度膨脹卷積，構建層次化特征感知網(wǎng)絡，旨在解決傳統(tǒng)卷積操作在圖像篡改檢測中存在的感受野受限問題。通過階梯式膨脹率（r={1,2,3}）的膨脹卷積層，模塊能夠在不同尺度上建模局部細節(jié)與全局上下文的關聯(lián)性，同時保持輕量化計算特性，為復雜篡改痕跡的精準定位提供多粒度特征支持。具體來說：
17、
18、通過多尺度特征的線性融合，模塊能夠自適應增強不同空間粒度的篡改響應，構建出從微觀異常到宏觀結構不一致性的多層次特征關聯(lián)體系。
19、最終通過空間注意力權重調整特征：
20、
21、步驟四：基于步驟三。為增強篡改與真實區(qū)域的區(qū)分性并緩解多域特征分布差異，提出一種跨域對比損失。該方法在圖像域、頻域與融合域構建混合特征空間，在域內拉近錨點與正樣本、推遠負樣本；在跨域層面采用環(huán)形對比策略，使三域特征交替對齊，進一步聚集不同模態(tài)中同為篡改區(qū)域的樣本并分離負樣本，從而擴大正負樣本間距并提升跨域特征的互補性。為了減少計算的內存開銷，我們首先對不同域的特征和真實掩碼進行采樣操作得到特征嵌入及其對應的掩碼嵌入
22、域內對比:首先，我們分析本域嵌入的結構關系。已知每個像素的特征嵌入及其對應的掩碼嵌入，我們據(jù)此定義本域監(jiān)督對比損失如下：
23、
24、其中，表示所有特征嵌入中屬于正樣本的集合，而代表所有負樣本的集合。表示域的類別，包括圖像、頻域和融合域。在該損失函數(shù)中，我們采用歸一化對特征進行標準化，以確保數(shù)值穩(wěn)定性。對于單個圖像樣本，我們計算所有嵌入特征的平均值，以獲得最終的對比損失：
25、
26、跨域對比：盡管?mcsa?注意力在一定程度上抑制了無關信息并增強了篡改特征，但仍然存在特征冗余的問題。為進一步優(yōu)化跨模態(tài)特征的判別能力，我們設計了跨域對比損失。我們提出了一種環(huán)形對比策略，在圖像域，頻域和融合域中兩兩交替對比，以實現(xiàn)跨域對比學習：
27、
28、
29、其中,表示不同模態(tài)中的正樣本集合，代表不同模態(tài)中的負樣本。指代具體的對比類型，包括rgb-fusion、fusion-dct及dct-rgb。該設計不僅能夠有效拉近不同模態(tài)下的正樣本表征，同時推遠負樣本，從而減少信息冗余，提升模型的泛化能力與魯棒性。在跨域對比中，同樣我們取所有嵌入的平均作為最后的跨域損失。最后，我們將所有的損失進行平均以得到最終的三元對比學習損失：
30、
31、最后，將我們損失定義為：
32、
33、為二元交叉熵損失，在公式中λ設置為1，以平衡對和損失的貢獻程度。
34、其中，步驟二中：將待檢測的篡改圖像分別輸入圖像域分支與頻域分支，在兩個分支中提取四個不同尺度的篡改特征。其中頻域首先對輸入圖像執(zhí)行正向離散余弦變換，將空間域像素映射到頻率域表示；隨后再對得到的頻率系數(shù)進行逆離散余弦變換，將其還原回空間域，從而完成由空間域到頻率域再返回空間域的整體變換過程。再將得到的頻域特征輸入到頻域編碼器中進行學習。
35、
36、
37、
38、其中表示離散余弦變換操作，是逆離散余弦變換操作，通過高通濾波得到高頻分量，并將其變換回rgb域，以保持自然圖像的平移不變性和局部一致性。因此根據(jù)公式（2）（3）（4）我們得到了三個域的四種不同尺度的特征圖形域：。頻域：?融合域：。隨后將這這些特征分別輸入到自適應特征融合模塊中，最終得到代表三個域的特征。
39、步驟三中，為了過濾三個域特征中通道和空間中的冗余特征，我們將其通過中值增強的通道多尺度空間注意力。在通道注意力方面，經(jīng)過公式（5）我們得到了使用三種池化增強后的特征。隨后我們通過膨脹卷積學習多尺度特征并最后和通道增強特征相乘得到特征。
40、步驟四中，我們首先對正負樣本的采樣：我們的目標是為了區(qū)分特征中的正負樣本。最基本的思路是基于像素嵌入設計，但是基于單像素嵌入的對比度損失未考慮相鄰嵌入之間的上下文信息。此外，計算該損失需要存儲一系列大小的點積矩陣，這非常消耗內存。?因此我們將分割成塊，從而得到屬于。其中。并且我們對每個塊都進行平均池化，因此得到的每一個都對應中的的區(qū)域。對于掩碼，我們進行類似的操作將分成塊，得到得到屬于。在mask中只存在0,1標識是否為篡改區(qū)域，相對于特征做進行平均池化操作，我們選取每個塊的最大值作為的標簽。
41、我們已經(jīng)得到了特征嵌入和掩碼嵌入。隨后，我們通過公式（8）（9）得到本域內的損失。通過公式（10）（11）得到跨域損失。最終將他們通過公式（12）取平均得到最終的跨域損失。最終通過和二元交叉熵損失結合得到最終的損失對分割的掩碼進行監(jiān)督
42、本發(fā)明的有益效果是：本發(fā)明構建了一種用于圖像篡改定位的跨域對比學習網(wǎng)絡來有效提取篡改圖像的特征，通過引入不同的補充域來挖掘細微的篡改痕跡。并且設計了中值增強的-多尺度空間注意力以及跨域對比學習模塊由不同域分布差異引起的特征冗余問題，進而實現(xiàn)了更好的定位精度。