本發明涉及圖像重建，尤其涉及一種彩色偏振圖像去馬賽克方法。
背景技術：
1、偏振成像技術能夠利用被成像物體表面的物理特性（如幾何形狀、表面粗糙度及材料成分等）對光偏振狀態的調制特性，實現對場景結構與材質信息的高靈敏度感知，因此在目標檢測、圖像去霧以及醫學病灶早期診斷等領域展現出廣泛的應用前景。
2、近年來，彩色偏振濾波陣列（color?polarization?filter?array，cpfa）作為一種基于分焦平面分割偏振成像架構（division?of?focal?plane，dofp）的成像方式，通過在將微型偏振片陣列與彩色濾波陣列（如bayer陣列）進行集成，實現了在單次曝光條件下對rgb?三通道信息與多偏振方向信息的同步采集。該成像方式具有高透過率、高消光比以及良好的實時成像能力，能夠有效滿足動態場景下的偏振成像需求。
3、然而，彩色偏振濾波陣列成像過程中會將原本高維的彩色偏振信息壓縮映射至二維鑲嵌結構。為獲得完整空間分辨率的彩色偏振圖像，必須對原始彩色偏振濾波陣列數據進行偏振去馬賽克重建。如圖1所示為基于分焦平面彩色偏振成像示意圖。由于偏振去馬賽克過程涉及非線性偏振參數計算，且原始觀測不滿足良態條件，該問題本質上屬于非線性病態問題。若重建策略設計不當，極易在重建結果中引入偏振偽影、噪聲放大以及物理不一致等不良現象。
4、現有的基于插值或優化的偏振去馬賽克方法雖然在一定程度上能夠恢復偏振信息，但普遍存在重建精度受限、計算復雜度較高等問題，難以滿足分焦平面偏振成像相機（division?of?focal?plane，dofp）在實際應用中對實時性的要求。近年來提出的采用端到端深度學習的偏振去馬賽克方法，雖在偏振度（dop）重建方面取得了一定改進，但由于缺乏物理約束，因此難以有效抑制偏振偽影，導致偏振角（aop）結構信息出現明顯失真，從而影響了后續下游視覺任務的可靠性。
技術實現思路
1、本發明的目的在于提供一種彩色偏振圖像去馬賽克方法，該方法具有較高的重建穩定性，且能夠較為準確地恢復圖像中的偏振信息。
2、本發明提供的這種彩色偏振圖像去馬賽克方法，包括以下步驟：
3、s1.獲取原始圖像數據；
4、s2.對獲取的圖像數據進行預處理；
5、s3.構建初始彩色偏振圖像去馬賽克網絡，包括：前端處理子網絡、第一斯托克斯計算模塊、第一階段處理子網絡、第二斯托克斯計算模塊、第二階段處理子網絡；
6、所述前端處理子網絡用于對原始圖像數據進行下采樣，獲取其偏振信息，并對下采樣后的結果進行彩色插值，獲得第一階段處理子網絡的輸入圖像；
7、所述第一斯托克斯計算模塊用于計算第一階段處理子網絡的輸入圖像的斯托克斯向量；
8、所述第一階段處理子網絡用于對輸入圖像進行彩色圖像去馬賽克處理，生成中間重建圖像；
9、所述第二斯托克斯計算模塊用于計算中間重建圖像的斯托克斯向量；
10、所述第二階段處理子網絡用于對中間重建圖像進行偏振圖像去馬賽克處理，生成最終重建圖像；
11、s4.利用損失函數對初始彩色偏振圖像去馬賽克網絡進行訓練，獲得彩色偏振圖像去馬賽克網絡；
12、s5.使用彩色偏振圖像去馬賽克網絡對待處理圖像進行處理，獲得去馬賽克后的彩色偏振圖像。
13、所述原始圖像數據為完整彩色偏振圖像；
14、所述對獲取的圖像數據進行預處理是指，對所述完整彩色偏振圖像進行退化處理，獲得模擬原始圖像。
15、步驟3所述前端處理子網絡包括下采樣模塊、彩色插值模塊、梯度權重計算模塊和噪聲生成模塊；
16、下采樣模塊的輸出作為彩色插值模塊的輸入，梯度權重計算模塊的輸出作為噪聲生成模塊的輸入；
17、前端處理子網絡的處理過程，包括以下步驟：
18、a1.獲取模擬原始圖像與完整彩色偏振圖像；
19、a2.通過下采樣模塊對模擬原始圖像進下采樣,得到各偏振角對應的bayer圖像；
20、a3.通過彩色插值模塊對各偏振角的bayer圖像進行彩色插值，得到模擬初始彩色偏振圖像；
21、a4.通過梯度權重計算模塊，計算模擬原始圖像的梯度幅值，構建對應的邊緣強度圖，并進一步得到梯度權重圖g；
22、a5.通過噪聲生成模塊，對梯度權重圖g與標準高斯噪聲圖n進行逐元素相乘，得到結構化噪聲圖n’，所述標準高斯噪聲圖n與完整彩色偏振圖像大小相同；再將結構化噪聲圖n’與模擬初始彩色偏振圖像相加，得到模擬含噪原始圖并作為第一階段處理子網絡的輸入圖像。
23、所述第一斯托克斯計算模塊的輸入為模擬含噪原始圖，輸出為模擬含噪原始圖的斯托克斯向量分量，；
24、第二斯托克斯計算模塊輸入為中間重建圖像，輸出為中間重建圖像的斯托克斯向量分量，。
25、所述第一階段處理子網絡包括，第一彩色卷積、第一彩色斯托克斯特征映射模塊、彩色卷積稀疏編碼展開模塊、第二彩色斯托克斯特征映射模塊、第二彩色卷積和彩色卷積激活模塊；
26、第一彩色卷積的輸出和彩色卷積激活模塊的輸出作為第一彩色斯托克斯特征映射模塊的輸入，第一彩色斯托克斯特征映射模塊的輸出作為彩色卷積稀疏編碼展開模塊的輸入，彩色卷積稀疏編碼展開模塊的輸出和彩色卷積激活模塊的輸出作為第二彩色斯托克斯特征映射模塊的輸入，第二彩色斯托克斯特征映射模塊的輸出作為第二彩色卷積的輸入；
27、所述第一階段處理子網絡的處理過程，包括以下步驟：
28、b1.獲取前端處理子網絡輸出的模擬含噪原始圖，通過第一彩色卷積提取彩色特征；
29、b2.獲取第一斯托克斯計算模塊輸出的模擬含噪原始圖的斯托克斯向量分量，，通過彩色卷積激活模塊進行非線性映射，得到對應的第一斯托克斯特征，所述彩色卷積激活模塊，包括串接的卷積層和silu激活函數層；
30、b3.通過第一彩色斯托克斯特征映射模塊對彩色特征與第一斯托克斯特征經進行融合，產生初始稀疏特征；
31、b4.通過彩色卷積稀疏編碼展開模塊對初始稀疏特征進行逐層處理，生成對應的第一稀疏特征；
32、b5.通過第二彩色斯托克斯特征映射模塊融合第一稀疏特征和第一斯托克斯特征，產生第二稀疏特征；
33、b6.第二稀疏特征通過第二彩色卷積處理后，再與模擬含噪原始圖相加，生成中間重建圖像。
34、所述第二階段處理子網絡包括，偏振卷積稀疏編碼展開模塊、偏振斯托克斯特征映射模塊、偏振卷積激活模塊和偏振卷積；
35、偏振卷積稀疏編碼展開模塊的輸入為第二彩色斯托克斯特征映射模塊的輸出，偏振卷積稀疏編碼展開模塊的輸出與第二彩色斯托克斯特征映射模塊的輸出在通道維度上進行拼接，并與偏振卷積激活模塊輸出的兩倍通道數特征共同作為偏振斯托克斯特征映射模塊的輸入，偏振斯托克斯特征映射模塊的輸出作為偏振卷積的輸入；
36、所述第二階段處理子網絡的處理過程，包括以下步驟：
37、c1.獲取第二彩色斯托克斯特征映射模塊輸出的第二稀疏特征，通過偏振卷積稀疏編碼展開模塊對第二稀疏特征進行逐層處理，生成對應的第三稀疏特征；
38、c2.將第二稀疏特征與第三稀疏特征進行通道拼接，形成第四稀疏特征；
39、c3.獲取第二斯托克斯計算模塊輸出的中間重建圖像的斯托克斯向量分量，，通過偏振卷積激活模塊生成對應的第二斯托克斯特征；所述偏振卷積激活模塊用于將通道數擴展為原來的兩倍，并對擴展后的特征進行非線性映射；述偏振卷積激活模塊，包括串接的卷積層和silu激活函數層；
40、c4.通過偏振斯托克斯特征映射模塊對第四稀疏特征和第二斯托克斯特征進行融合，產生第五稀疏特征；
41、c5.通過偏振卷積對第五稀疏特征進行特征整合，得到彩色偏振特征；
42、c6.將彩色偏振特征進行上采樣，得到上采樣彩色偏振特征；
43、c7.將模擬原始圖像進行2倍上采樣，獲得上采樣模擬原始圖像；
44、c8.將上采樣彩色偏振特征與上采樣模擬原始圖像相加，獲得最終重建圖像。
45、所述第一彩色斯托克斯特征映射模塊、第二彩色斯托克斯特征映射模塊以及偏振斯托克斯特征映射模塊的結構均相同，
46、模塊的處理過程，包括以下步驟：
47、d1.獲取輸入特征圖和斯托克斯特征；
48、d2.輸入特征圖依次經過多深度卷積頭轉置注意力模塊、第一歸一化層、第一映射卷積和gelu激活函數層的處理，得到第一中間映射特征，所述多深度卷積頭轉置注意力模塊為是restormer中的注意力機制；
49、d3.斯托克斯特征經過第二歸一化層和第二映射卷積的處理，得到第二中間映射特征；
50、d4.將第一中間映射特征與第二中間映射特征相乘；
51、d5.將相乘結果與輸入特征圖相加，經過門控前饋網絡的處理，得到斯托克斯特征映射模塊的輸出，所述門控前饋網絡為restormer的門控前饋網絡；
52、在第一彩色斯托克斯特征映射模塊中，所述輸入特征圖為彩色特征，所述斯托克斯特征是第一斯托克斯特征；
53、在第二彩色斯托克斯特征映射模塊中，所述輸入特征圖為第一稀疏特征，所述斯托克斯特征是第一斯托克斯特征；
54、在偏振斯托克斯特征映射模塊中，所述輸入特征圖為第四稀疏特征，所述斯托克斯特征是第二斯托克斯特征。
55、所述彩色卷積稀疏編碼展開模塊與所述偏振卷積稀疏編碼展開模塊均由若干個依次串接的卷積字典單元構成，所述卷積字典單元包括，第一字典卷積、第二字典卷積、組歸一化和軟閾值濾波；
56、所述卷積字典單元的處理過程，包括以下步驟：
57、e1.獲取模擬含噪原始圖像與當前單元輸入稀疏特征；
58、e2.通過第一字典卷積對當前單元輸入稀疏特征進行處理；
59、e3.將模擬含噪原始圖像與第一字典卷積處理得到的特征相減；
60、e4.通過第二字典卷積對相減結果進行處理，并將處理結果與當前單元輸入稀疏特征相加；
61、e5.對相加后的特征依次經過組歸一化和軟閾值濾波的處理，得到當前單元輸出稀疏特征；
62、在彩色卷積稀疏編碼展開模塊的第一個卷積字典單元中，所述當前單元輸入稀疏特征為初始稀疏特征；在偏振卷積稀疏編碼展開模塊的第一個卷積字典單元中，所述當前單元輸入稀疏特征為第二稀疏特征；在其他卷積字典單元的輸入稀疏特征均為上一卷積字典單元的當前單元輸出稀疏特征。
63、步驟s4所述利用損失函數對初始彩色偏振圖像去馬賽克網絡進行訓練，是指對初始彩色偏振圖像去馬賽克網絡中的第一階段處理子網絡與第二階段處理子網絡進行訓練；
64、所述總損失函數采用以下公式計算：
65、
66、式中，為偏振物理保真總損失項，為自相似先驗的自適應總變分損失項；
67、
68、式中，為第一偏振物理子損失項，用于約束中間重建圖像，為第二偏振物理子損失項，用于約束最終重建圖像；
69、
70、式中，為自適應總變分正則項，?為自相似性損失項；
71、所述第一偏振物理子損失項與所述第二偏振物理子損失項，均采用以下公式計算：
72、
73、式中，取1或2，10用于平衡數量級，為像素損失分量，為梯度損失分量，為結構相似度損失分量；
74、
75、式中，為模擬原始圖像的斯托克斯向量分量s1的值，作為計算損失函數的s1的標準值，取1或2，為中間重建圖像的斯托克斯向量分量s1的值，為模擬原始圖像的斯托克斯向量分量s2的值，作為計算損失函數的s2標準值，為中間重建圖像的斯托克斯向量分量s2的值，為模擬原始圖像的偏振度，作為計算損失函數的偏振度的標準值，為中間重建圖像的偏振度，為模擬原始圖像的偏振角，作為計算損失函數的偏振角的標準值，為中間重建圖像的偏振角；
76、為最終重建圖像的斯托克斯向量分量s1的值，?為最終重建圖像的斯托克斯向量分量s2的值，為最終重建圖像的偏振度，為最終重建圖像的偏振角；
77、
78、為sobel算子，為模擬原始圖像的總光強，作為計算損失函數的總光強的標準值，取1或2，為中間重建圖像的總光強，為模擬原始圖像的斯托克斯向量，作為計算損失函數的斯托克斯向量的標準值，為中間重建圖像的斯托克斯向量；
79、為最終重建圖像的總光強，為最終重建圖像的斯托克斯向量；
80、
81、式中，為結構性相似指數；
82、所述自適應總變分正則項，采用以下公式計算：
83、
84、其中，
85、式中，為圖像總像素，為橫坐標，為縱坐標，為指數符號，
86、所述自相似性損失項，采用以下公式計算：
87、
88、式中，表示kullback–leibler散度，為最終重建圖像的邊緣自相似性權重圖譜，為完整彩色偏振圖像的邊緣自相似性權重圖譜；
89、?與均采用以下公式計算：
90、
91、當的上角標為時表示最終重建圖像的邊緣自相似性權重，為搜索區域遍歷圖像塊的中心點，是該搜索區域的中心，為以最終重建圖像中邊緣點p為中心提取的最終重建圖像中心塊的向量表示，為與最終重建圖像中心塊對應的最終重建圖像匹配塊的向量表示，為指數函數，為尺度系數，為通道數，為圖像塊大小，
92、當的上角標為時表示參考圖像的邊緣自相似性權重，為以參考圖像中邊緣點p為中心提取的參考圖像中心塊的向量表示，為與參考圖像中心塊對應的參考圖像匹配塊的向量表示；
93、所述通過以下步驟獲得：
94、f1.根據最終重建圖像，利用laplace算子計算得到最終重建圖像的梯度圖像；
95、f2.對最終重建圖像的梯度圖像中各像素點的梯度強度進行判斷，若像素點的梯度強度大于0.1，則該像素點為1，若像素點的梯度強度小于或等于0.1，則該像素點為0，得到與最終重建圖像對應的二值邊緣掩碼；
96、f3.提取二值邊緣掩碼中所有像素值為1的位置，得到集合，邊緣點；
97、f4.在邊緣點的周圍設定范圍內構建大小為的搜索區域，在搜索區域內滑動大小為的上下文窗口，提取匹配塊及對應的向量；
98、所述通過以下步驟獲得：
99、g1.根據完整彩色偏振圖像，利用laplace算子計算得到參考圖像的梯度圖像；
100、g2.對參考圖像的梯度圖像中各像素點的梯度強度進行判斷，若像素點的梯度強度大于0.1，則該像素點為；若像素點的梯度強度小于或等于0.1，則該像素點為0，得到與參考圖像對應的二值邊緣掩碼；
101、g3.提取二值邊緣掩碼中所有像素值為1的位置，得到集合，邊緣點；
102、g4.在邊緣點的周圍設定范圍內構建大小為的搜索區域，在搜索區域內滑動大小為的上下文窗口，提取匹配塊及對應的向量。
103、所述步驟s5包括以下步驟：
104、h1.獲取待處理的彩色偏振濾波陣列原始圖像；
105、h2.通過前端處理子網絡對待處理圖像依次進行下采樣處理、彩色插值處理，獲得初始彩色偏振圖像；
106、h3.通過第一斯托克斯計算模塊計算初始彩色偏振圖像的斯托克斯向量；
107、h4.通過第一階段處理子網絡對初始彩色偏振圖像與初始彩色偏振圖像的斯托克斯向量進行處理，得到第一階段稀疏特征與中間重建圖像，輸出第一階段稀疏特征與中間彩色偏振重建圖像；
108、h5.通過第二斯托克斯計算模塊計算中間彩色偏振重建圖像的斯托克斯向量；
109、h6.通過第二階段處理子網絡對中間彩色偏振重建圖像與中間彩色偏振重建圖像的斯托克斯向量進行處理，得到去馬賽克后的彩色偏振圖像。
110、本發明提供的這種彩色偏振圖像去馬賽克方法，以卷積稀疏編碼（csc）為物理建模基礎，將其迭代優化過程展開為固定深度的網絡結構，從而提升彩色偏振圖像去馬賽克網絡在多類噪聲條件下的泛化能力與魯棒性。
111、針對彩色偏振濾波陣列（cpfa）圖像的偏振特性，本發明設計具有物理約束的損失函數，以保持偏振度（dop）與偏振角（aop）的物理一致性并抑制偏振偽影，從而提高?aop?恢復精度。
112、此外，在訓練階段通過對輸入圖像疊加經梯度權重調制的結構化噪聲，使網絡重點學習邊緣和結構區域的去噪與重建能力，在不改變網絡結構的前提下，增強了模型對非均勻噪聲和復雜退化的適應性。