本發(fā)明涉及一種去云方法，具體涉及一種基于混合神經(jīng)網(wǎng)絡(luò)融合光學(xué)和sar圖像的去云方法，屬于圖像處理。
背景技術(shù)：
1、隨著衛(wèi)星技術(shù)進(jìn)步，可獲取的遙感圖像具有覆蓋廣、重訪快、多尺度的特征；然而，云層對(duì)光譜信號(hào)的不透明性嚴(yán)重制約有效觀測(cè)，厚云覆蓋區(qū)地表信息丟失，直接影響地物分類與變化監(jiān)測(cè)精度；因此，有效去除云層干擾成為遙感預(yù)處理的關(guān)鍵環(huán)節(jié)。
2、現(xiàn)有光學(xué)遙感圖像去云方法可分為兩類:物理先驗(yàn)驅(qū)動(dòng)和數(shù)據(jù)特征驅(qū)動(dòng)。早期研究依賴專家知識(shí)和物理建模，發(fā)展了基于物理先驗(yàn)的去云方法；其中有以暗通道先驗(yàn)為基礎(chǔ)的去云方法，基于霧線/物理散射模型的去云方法和基于優(yōu)化與變分的去云方法，這些方法因依賴特定假設(shè)，泛化能力差，在復(fù)雜場(chǎng)景下性能會(huì)下降；因此，能穿透云層的合成孔徑雷達(dá)（sar）常被用作有效的輔助數(shù)據(jù)源。
3、近年來(lái)，數(shù)據(jù)特征驅(qū)動(dòng)方法快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（cnn）發(fā)揮重要作用。典型工作包括：雙流網(wǎng)絡(luò)用于光學(xué)圖像重建，但生成圖像清晰度不足；深度殘差網(wǎng)絡(luò)通過(guò)跨層連接融合多尺度特征，提升云層提取并緩解梯度消失；殘差多尺度擴(kuò)張網(wǎng)絡(luò)實(shí)現(xiàn)較好去云效果，但模型復(fù)雜且局部特征提取不足；利用通道注意力殘差塊來(lái)增強(qiáng)幾何結(jié)構(gòu)提取并抑制云層偽影。這些方法雖取得進(jìn)展，但未能根本解決cnn的長(zhǎng)程建模能力不足，導(dǎo)致修復(fù)區(qū)域與周邊環(huán)境協(xié)調(diào)性差。
4、為克服cnn缺陷，引入transformer利用自注意力機(jī)制建立遠(yuǎn)程依賴，提升修復(fù)圖像在色彩與結(jié)構(gòu)上的一致性。相關(guān)工作包括：基于全局-局部融合的自注意力云去除算法，實(shí)現(xiàn)高質(zhì)量重建但計(jì)算量大；將卷積引入transformer，在非重疊局部窗口執(zhí)行自注意力，降低計(jì)算量并改善全局一致性和顏色恢復(fù)；引入transformer編碼器結(jié)構(gòu)來(lái)增強(qiáng)模型學(xué)習(xí)全局信息的能力，緩解圖像模糊問(wèn)題；異構(gòu)并行云移除框架引入全局多尺度空間相關(guān)性模型來(lái)提取光學(xué)特征，但對(duì)sar信息的利用多局限于深層特征融合，難以精準(zhǔn)補(bǔ)償云覆蓋丟失的地表信息。盡管transformer變體通過(guò)局部設(shè)計(jì)提升效率，其自注意力機(jī)制在處理sar圖像時(shí)仍難捕捉精細(xì)結(jié)構(gòu)。
5、近期，狀態(tài)空間模型mamba開(kāi)始應(yīng)用于去云任務(wù)，但多源信息融合探索仍不充分。部分模型僅限于單幅光學(xué)圖像輸入，適用于薄云去除；另有工作將mamba整合至sar輔助云移除以建模全局依賴，但融合策略多為卷積后簡(jiǎn)單拼接，未能實(shí)現(xiàn)深層次特征互補(bǔ)與協(xié)同，限制了去云性能提升。
6、在實(shí)際的遙感圖像應(yīng)用中，光學(xué)圖像易受云層遮擋干擾，云的外型大小沒(méi)有定性的規(guī)范，且多數(shù)呈現(xiàn)不規(guī)則形狀，如何精確恢復(fù)無(wú)云地表信息是去云模型需要考慮的問(wèn)題。其次，當(dāng)光照條件不佳時(shí)會(huì)影響去云圖像的光譜一致性，也是去云模型的難點(diǎn)。
7、針對(duì)上述問(wèn)題，提出基于混合神經(jīng)網(wǎng)絡(luò)融合光學(xué)和sar圖像的去云方法。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供基于混合神經(jīng)網(wǎng)絡(luò)融合光學(xué)和sar圖像的去云方法，通過(guò)多階段雙流編碼架構(gòu)聯(lián)合利用光學(xué)圖像的豐富光譜信息和sar圖像的穿透特性，并引入云掩膜引導(dǎo)注意力融合模塊來(lái)對(duì)云覆蓋區(qū)域進(jìn)行針對(duì)性學(xué)習(xí)，解決在不規(guī)則云層遮擋干擾與光照條件不佳時(shí)的地表信息精確恢復(fù)問(wèn)題，實(shí)現(xiàn)云層區(qū)域的高質(zhì)量修復(fù)以及地物特征的保持。
2、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了基于混合神經(jīng)網(wǎng)絡(luò)融合光學(xué)和sar圖像的去云方法，包括以下步驟：
3、步驟一：獲取smile-cr數(shù)據(jù)集和sen12ms-cr數(shù)據(jù)集，包含無(wú)云圖像、sar圖像和有云圖像，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理后按照設(shè)定的比例劃分為訓(xùn)練集和驗(yàn)證集。
4、步驟二：搭建融合光學(xué)與sar圖像的transformer-cnn混合神經(jīng)網(wǎng)絡(luò)，主要包括輕量融合殘差塊（lightweight?fusion?residual,?lfr）、非對(duì)稱特征金字塔模塊（asymmetric?feature?pyramid，afp）、并行門(mén)控注意力模塊（parallel?gated?attentiontransformer,?pgat）、云掩膜引導(dǎo)注意力融合模塊（cloud?guided?attention?fusion,cgaf）構(gòu)成。其中輕量融合殘差塊處理sar圖像，非對(duì)稱特征金字塔模塊處理光學(xué)圖像，并行門(mén)控注意力模塊處理融合特征，云掩膜引導(dǎo)注意力融合模塊通過(guò)云掩膜對(duì)云區(qū)進(jìn)行強(qiáng)化學(xué)習(xí)。
5、步驟三：將訓(xùn)練集和驗(yàn)證集中經(jīng)過(guò)預(yù)處理的有云圖像和sar圖像輸入至步驟二中的混合神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和驗(yàn)證，計(jì)算損失函數(shù)并進(jìn)行反向傳播，更新網(wǎng)絡(luò)參數(shù)，獲取最佳參數(shù)模型。
6、步驟四：將經(jīng)過(guò)預(yù)處理的測(cè)試集輸入至步驟三中訓(xùn)練好的最佳參數(shù)模型，輸出有云圖像的去云效果圖。
7、所述步驟一中的獲取數(shù)據(jù)集、數(shù)據(jù)集預(yù)處理和劃分?jǐn)?shù)據(jù)集的步驟為：
8、所述的獲取數(shù)據(jù)集具體為：獲取smile-cr數(shù)據(jù)集和sen12ms-cr數(shù)據(jù)集，其中包括有云圖像、無(wú)云圖像和sar圖像；
9、所述的數(shù)據(jù)集預(yù)處理具體為：將smile-cr數(shù)據(jù)集和sen12ms-cr數(shù)據(jù)集的原始圖像進(jìn)行數(shù)據(jù)預(yù)處理，預(yù)處理操作包括將合成孔徑雷達(dá)圖像的vv極化修剪為[?25，0]，而將合成孔徑雷達(dá)圖像的vh極化修剪為[?35，0]，接著將修剪后的圖像重新縮放到[0，1]范圍。光學(xué)圖像的13個(gè)通道被剪裁到[0,10000]，然后歸一化到范圍[0，1]；
10、所述的劃分?jǐn)?shù)據(jù)集具體為：將所增強(qiáng)的smile-cr數(shù)據(jù)集和sen12ms-cr數(shù)據(jù)集各自劃分為兩個(gè)訓(xùn)練集和驗(yàn)證集，其中訓(xùn)練集占90%，驗(yàn)證集占10%。
11、所述步驟二中的融合光學(xué)與sar圖像的transformer-cnn混合神經(jīng)網(wǎng)絡(luò)的步驟為：
12、步驟2.1：數(shù)據(jù)預(yù)處理后的sar圖像輸入到輕量融合殘差塊，所述的輕量融合殘差塊如圖3所示，主要由動(dòng)態(tài)幻影卷積模塊（dynamic?ghost?module）、高效通道注意力模塊（efficient?channel?attention?module）、特征激活單元（convolution-bn-gelumodule）、最大池化（max?pooling）、平均池化（average?pooling）、sigmoid函數(shù)和relu激活函數(shù)組成。
13、輸入首先經(jīng)由動(dòng)態(tài)幻影卷積模塊進(jìn)行輕量化特征提取。該模塊首先利用1×1卷積對(duì)輸入特征進(jìn)行通道降維，以顯著降低計(jì)算復(fù)雜度；隨后引入批歸一化層與silu激活函數(shù)，以提升訓(xùn)練穩(wěn)定性并加速收斂。在此基礎(chǔ)上，通過(guò)一個(gè)高效的通道選擇機(jī)制篩選重要特征，該機(jī)制通過(guò)計(jì)算每個(gè)通道的全局均值，將其與可學(xué)習(xí)權(quán)重相乘得到通道重要性評(píng)分，并利用topk操作選取最重要的k個(gè)通道。此設(shè)計(jì)能在保持表征能力的同時(shí)，大幅減少參數(shù)量與計(jì)算開(kāi)銷。
14、動(dòng)態(tài)幻影卷積模塊的輸出經(jīng)批歸一化處理后，送入高效通道注意力模塊。該模塊通過(guò)自適應(yīng)的一維卷積為每個(gè)通道學(xué)習(xí)并分配權(quán)重，以此增強(qiáng)判別性特征通道的響應(yīng)，同時(shí)抑制次要或冗余通道，從而提升特征表示的質(zhì)量與聚焦能力。
15、隨后，特征通過(guò)兩個(gè)連續(xù)的特征激活單元進(jìn)行進(jìn)一步深化與增強(qiáng)。
16、處理后的特征流將分流為兩支：分別經(jīng)由最大池化與平均池化操作，提取并聚合不同的空間上下文信息；兩支路的池化結(jié)果經(jīng)sigmoid函數(shù)激活后，生成空間注意力圖，并與原始特征相乘實(shí)現(xiàn)加權(quán)。
17、最終，兩支路的加權(quán)輸出結(jié)果與模塊的原始輸入進(jìn)行殘差連接，并通過(guò)relu激活函數(shù)輸出，以此確保梯度流動(dòng)并融合多層級(jí)信息。
18、步驟2.2：數(shù)據(jù)預(yù)處理后的光學(xué)圖像輸入到非對(duì)稱特征金字塔模塊，所述的非對(duì)稱特征金字塔模塊如圖4所示，主要由非對(duì)稱卷積（asymmetric?convolution）、分解卷積（decomposed?convolution）、1×1卷積、relu激活函數(shù)、特征激活單元、多尺度特征聚合模塊（multi-scale?feature?aggregation,?msfa）、空洞卷積（dilated?convolution）、平均池化、批歸一化和gelu激活函數(shù)組成。
19、輸入特征首先送入非對(duì)稱卷積（asymmetric?convolution）層，通過(guò)兩組結(jié)構(gòu)互補(bǔ)的分解卷積（decomposed?convolution）分別提取水平與垂直方向的特征，以增強(qiáng)網(wǎng)絡(luò)對(duì)不同方向上云層與地物幾何結(jié)構(gòu)的感知能力。
20、接著，將這兩個(gè)方向的輸出特征進(jìn)行融合，并經(jīng)過(guò)1×1卷積與relu激活函數(shù)實(shí)現(xiàn)通道壓縮與非線性激活。
21、隨后，特征通過(guò)兩個(gè)級(jí)聯(lián)的特征激活單元進(jìn)行進(jìn)一步深化與增強(qiáng)，以提升網(wǎng)絡(luò)的表達(dá)能力。特征激活單元的輸出被送入多尺度特征聚合模塊（multi-scale?featureaggregation，msfa）。該模塊通過(guò)并行的多分支結(jié)構(gòu)提取多尺度邊緣細(xì)節(jié)信息，以應(yīng)對(duì)云層在圖像中表現(xiàn)出的顯著多尺度變化問(wèn)題：其中三個(gè)分支分別使用不同膨脹率的空洞卷積（dilated?convolution）來(lái)擴(kuò)大感受野；另一分支則采用“平均池化-卷積”結(jié)構(gòu)以融合局部上下文。所有分支的輸出分別經(jīng)過(guò)批歸一化與gelu激活函數(shù)處理后，進(jìn)行特征拼接（feature?concatenation）。
22、最終，通過(guò)一個(gè)1×1卷積層實(shí)現(xiàn)降維與特征融合，輸出增強(qiáng)后的多尺度特征。最后，將msfa模塊輸出的增強(qiáng)特征，通過(guò)殘差連接與模塊的原始輸入相加。該相加結(jié)果再經(jīng)過(guò)一個(gè)relu激活函數(shù)處理，最終輸出融合了方向性細(xì)節(jié)與多尺度上下文信息的特征表示，構(gòu)成完整的金字塔結(jié)構(gòu)。
23、步驟2.3：將經(jīng)過(guò)步驟2.1和步驟2.2中輸出的特征圖像經(jīng)過(guò)門(mén)控自注意力模塊，所述的門(mén)控自注意力模塊如圖5所示，主要由卷積層、窗口注意力機(jī)制（window?attentionmechanism）、門(mén)控機(jī)制（gating?mechanism）、sigmoid激活函數(shù)、卷積整合層、relu激活函數(shù)、隨機(jī)丟棄層（dropout?layer）組成。
24、門(mén)控自注意力模塊并行處理兩支信息流：一支為多尺度特征聚合模塊，用于融合sar與光學(xué)圖像的多尺度信息，以克服云層遮擋并提取魯棒特征；另一支為門(mén)控自注意力模塊（gated?self-attention?module），其核心目標(biāo)是建模有云區(qū)域與無(wú)云區(qū)域之間的底層方位關(guān)聯(lián)，以增強(qiáng)有效特征并抑制干擾。
25、在門(mén)控自注意力分支中，輸入特征首先經(jīng)過(guò)卷積層預(yù)處理，再送入窗口注意力機(jī)制（window?attention?mechanism）得到注意力特征。隨后，將與原始輸入特征進(jìn)行拼接。拼接后的特征經(jīng)由一個(gè)門(mén)控機(jī)制（gating?mechanism）處理，該機(jī)制通過(guò)卷積與sigmoid激活函數(shù)生成一對(duì)互補(bǔ)的注意力權(quán)重圖（attention?weight?maps），即與。這兩個(gè)權(quán)重圖分別與原始輸入及注意力特征進(jìn)行逐元素加權(quán)相乘與求和，最后經(jīng)一個(gè)卷積層整合，輸出增強(qiáng)后的特征表示。
26、門(mén)控自注意力模塊的輸出與原始輸入進(jìn)行殘差連接。相加后的結(jié)果依次通過(guò)一個(gè)卷積層、relu激活函數(shù)與隨機(jī)丟棄層進(jìn)行非線性變換與正則化，以增強(qiáng)泛化能力。此處理結(jié)果再經(jīng)一個(gè)卷積層后，與前述殘差連接的結(jié)果進(jìn)行第二次相加，最終輸出融合了注意力增強(qiáng)與多尺度上下文的特征。
27、步驟2.4：將步驟2.1，步驟2.2和步驟2.3中輸出的特征圖像經(jīng)過(guò)云掩膜引導(dǎo)注意力融合模塊，所述的云掩膜引導(dǎo)注意力融合模塊如圖6所示，主要由1×1卷積、gelu激活函數(shù)、eca通道注意力模塊、softmax函數(shù)、sigmoid門(mén)控機(jī)制（sigmoid?gating?mechanism）組成。
28、首先對(duì)輸入的三路特征進(jìn)行統(tǒng)一處理。每路特征均通過(guò)1×1卷積與gelu激活函數(shù)，完成通道維度的對(duì)齊變換與特征的非線性增強(qiáng)。
29、增強(qiáng)后的特征隨后送入eca通道注意力模塊。該模塊通過(guò)自適應(yīng)的一維卷積，為特征圖的每個(gè)通道學(xué)習(xí)并分配一個(gè)權(quán)重，從而在通道維度上放大重要特征、抑制次要或干擾特征，以提升特征表示的質(zhì)量。
30、與此同時(shí)，輸入的云掩模（cloud?mask）經(jīng)由一個(gè)獨(dú)立的卷積模塊提取深層特征并調(diào)整維度，再通過(guò)softmax函數(shù)歸一化處理，生成對(duì)應(yīng)的空間權(quán)重圖。該圖精確反映了圖像中云覆蓋區(qū)域的概率分布。
31、融合階段，上述空間權(quán)重圖與經(jīng)過(guò)eca加權(quán)的各路徑特征源分別進(jìn)行逐元素相乘，實(shí)現(xiàn)基于云掩模的空間引導(dǎo)。接著，通過(guò)一個(gè)sigmoid門(mén)控機(jī)制對(duì)相乘后的結(jié)果進(jìn)行自適應(yīng)加權(quán)，得到各特征源的最終注意力輸出。
32、所有特征源的輸出經(jīng)拼接（concatenation）后，通過(guò)一個(gè)卷積層進(jìn)行整合，并再次經(jīng)gelu函數(shù)激活，最終生成高質(zhì)量的去云重建圖像。
33、所述步驟2.1中的輕量融合殘差塊結(jié)構(gòu)如下：
34、輕量融合殘差塊主要由動(dòng)態(tài)幻影卷積模塊、高效通道注意力模塊、特征激活單元、最大池、平均池化、sigmoid函數(shù)和relu激活函數(shù)組成；
35、所述的動(dòng)態(tài)幻影卷積模塊用于執(zhí)行輕量化的特征提取與通道選擇；
36、所述的高效通道注意力模塊用于增強(qiáng)關(guān)鍵通道的特征響應(yīng)；
37、所述的特征激活單元用于進(jìn)一步深化和增強(qiáng)特征表示；
38、所述的最大池化與平均池化用于提取并聚合不同的空間上下文信息；
39、所述的sigmoid函數(shù)用于生成空間注意力權(quán)重；
40、數(shù)據(jù)預(yù)處理后的sar圖像輸入到輕量融合殘差塊。輸入特征首先由動(dòng)態(tài)幻影卷積模塊進(jìn)行輕量化提取：先通過(guò)1×1卷積降維，再經(jīng)批歸一化與silu激活函數(shù)穩(wěn)定訓(xùn)練；隨后通過(guò)計(jì)算通道全局均值并與可學(xué)習(xí)權(quán)重相乘，利用topk操作篩選最重要通道，以減少參數(shù)量并保持表征能力。
41、該模塊的輸出經(jīng)批歸一化后，送入高效通道注意力模塊。該模塊通過(guò)自適應(yīng)一維卷積為各通道分配權(quán)重，以增強(qiáng)關(guān)鍵通道并抑制冗余信息。
42、隨后，特征由兩個(gè)連續(xù)的特征激活單元進(jìn)一步深化增強(qiáng)。處理后的特征流分為兩支，分別經(jīng)由最大池化與平均池化聚合不同的空間上下文信息；兩支結(jié)果經(jīng)sigmoid函數(shù)激活生成空間注意力圖，并與原始特征加權(quán)融合。
43、最終，加權(quán)輸出與模塊原始輸入進(jìn)行殘差連接，再通過(guò)relu激活函數(shù)輸出，以此融合多層級(jí)信息并確保梯度有效流動(dòng)。
44、所述步驟2.2中的非對(duì)稱特征金字塔模塊結(jié)構(gòu)如下：
45、非對(duì)稱特征金字塔模塊主要由非對(duì)稱卷積、分解卷積、1×1卷積、relu激活函數(shù)、特征激活單元、多尺度特征聚合模塊、空洞卷積、平均池化、批歸一化和gelu激活函數(shù)組成；
46、所述的非對(duì)稱卷積與分解卷積用于提取不同方向的特征以感知幾何結(jié)構(gòu)；
47、所述的1×1卷積與relu激活函數(shù)用于實(shí)現(xiàn)通道壓縮與非線性激活；
48、所述的特征激活單元用于深化與增強(qiáng)特征表示；
49、所述的多尺度特征聚合模塊通過(guò)空洞卷積與“平均池化-卷積”結(jié)構(gòu)來(lái)捕獲多尺度上下文信息；
50、所述的批歸一化與gelu激活函數(shù)用于穩(wěn)定訓(xùn)練并處理多分支輸出；
51、所述的殘差連接用于融合原始輸入與增強(qiáng)特征，構(gòu)成金字塔結(jié)構(gòu)。
52、數(shù)據(jù)預(yù)處理后的光學(xué)圖像輸入至非對(duì)稱特征金字塔模塊。首先，通過(guò)非對(duì)稱卷積中的兩組分解卷積分別提取水平與垂直方向的特征，以增強(qiáng)對(duì)云層與地物不同方向幾何結(jié)構(gòu)的感知。
53、接著，融合這兩個(gè)方向的特征，并利用1×1卷積與relu函數(shù)進(jìn)行通道壓縮與非線性激活。
54、隨后，特征經(jīng)兩個(gè)級(jí)聯(lián)的特征激活單元深化增強(qiáng)后，送入多尺度特征聚合模塊。該模塊采用多分支并行結(jié)構(gòu)：三個(gè)分支使用不同膨脹率的空洞卷積擴(kuò)大感受野，另一分支通過(guò)“平均池化-卷積”結(jié)構(gòu)融合局部上下文。各分支輸出經(jīng)批歸一化與gelu函數(shù)處理后進(jìn)行拼接，再通過(guò)1×1卷積實(shí)現(xiàn)降維與融合，得到增強(qiáng)的多尺度特征。
55、最后，將得到的多尺度特征通過(guò)殘差連接與模塊原始輸入相加，再經(jīng)relu函數(shù)激活，輸出融合了方向性細(xì)節(jié)與多尺度上下文的最終特征表示。
56、所述步驟2.3中的門(mén)控自注意力模塊結(jié)構(gòu)如下：
57、門(mén)控自注意力模塊主要由卷積層、窗口注意力機(jī)制、門(mén)控機(jī)制、sigmoid激活函數(shù)、卷積整合層、relu激活函數(shù)和隨機(jī)丟棄層組成；
58、所述的卷積層用于對(duì)輸入特征進(jìn)行預(yù)處理；
59、所述的窗口注意力機(jī)制用于建模有云與無(wú)云區(qū)域之間的方位關(guān)聯(lián)；
60、所述的門(mén)控機(jī)制與sigmoid激活函數(shù)協(xié)同生成互補(bǔ)的注意力權(quán)重圖；
61、所述的卷積整合層用于融合加權(quán)后的特征；
62、所述的relu激活函數(shù)與隨機(jī)丟棄層用于非線性變換與正則化，以增強(qiáng)泛化能力。
63、經(jīng)過(guò)步驟2.1和步驟2.2輸出的特征圖像輸入至門(mén)控自注意力模塊進(jìn)行并行處理。一支經(jīng)由多尺度特征聚合模塊，融合sar與光學(xué)圖像的多尺度信息以提取魯棒特征；另一支則通過(guò)門(mén)控自注意力分支，建模區(qū)域間關(guān)聯(lián)以增強(qiáng)有效特征。
64、在該分支中，輸入特征先經(jīng)卷積層預(yù)處理，再通過(guò)窗口注意力機(jī)制得到注意力特征。隨后，將與原始輸入特征拼接，并由一個(gè)門(mén)控機(jī)制處理：該機(jī)制通過(guò)卷積與sigmoid函數(shù)生成一對(duì)互補(bǔ)的注意力權(quán)重圖與。這兩個(gè)權(quán)重圖分別與及進(jìn)行逐元素加權(quán)并求和，最后經(jīng)一個(gè)卷積層整合，輸出增強(qiáng)后的特征表示。
65、此輸出與原始輸入進(jìn)行殘差連接后，依次通過(guò)卷積層、relu激活函數(shù)與隨機(jī)丟棄層進(jìn)行變換與正則化。該結(jié)果再經(jīng)一個(gè)卷積層處理，并與前述殘差連接的結(jié)果進(jìn)行第二次相加，最終輸出融合了注意力引導(dǎo)與多尺度上下文的特征。
66、所述步驟2.4中的云掩膜引導(dǎo)注意力融合模塊結(jié)構(gòu)如下：
67、云掩膜引導(dǎo)注意力融合模塊主要由1×1卷積、gelu激活函數(shù)、eca通道注意力模塊、獨(dú)立卷積模塊、softmax函數(shù)、sigmoid門(mén)控機(jī)制和拼接融合層組成；
68、所述的1×1卷積與gelu激活函數(shù)用于完成多路輸入特征的通道對(duì)齊與非線性增強(qiáng)；
69、所述的eca通道注意力模塊用于在通道維度上自適應(yīng)增強(qiáng)重要特征；
70、所述的獨(dú)立卷積模塊與softmax函數(shù)用于從云掩模生成精確的空間權(quán)重圖；
71、所述的sigmoid門(mén)控機(jī)制用于對(duì)空間引導(dǎo)后的特征進(jìn)行自適應(yīng)加權(quán)融合；
72、所述的拼接融合層用于整合所有特征源并輸出最終重建圖像。
73、將步驟2.1至2.3輸出的特征圖像與云掩模輸入至本模塊。
74、首先，每路特征均通過(guò)1×1卷積與gelu激活函數(shù)進(jìn)行通道對(duì)齊與增強(qiáng)。增強(qiáng)后的特征送入eca通道注意力模塊，通過(guò)一維卷積為各通道分配權(quán)重，以提升特征質(zhì)量。
75、與此同時(shí)，輸入的云掩模經(jīng)由一個(gè)獨(dú)立卷積模塊提取深層特征，再通過(guò)softmax函數(shù)生成反映云覆蓋概率分布的空間權(quán)重圖。
76、在融合階段，此空間權(quán)重圖與經(jīng)eca加權(quán)的各路徑特征分別進(jìn)行逐元素相乘，實(shí)現(xiàn)空間引導(dǎo)。
77、隨后，通過(guò)sigmoid門(mén)控機(jī)制對(duì)相乘結(jié)果進(jìn)行自適應(yīng)加權(quán)，得到各特征源的最終注意力輸出。
78、所有特征源的輸出經(jīng)拼接后，通過(guò)一個(gè)卷積層進(jìn)行整合，并再次經(jīng)gelu函數(shù)激活，最終生成高質(zhì)量的去云重建圖像。
79、所述步驟三具體包括：
80、步驟3.1：對(duì)融合光學(xué)和sar圖像的去云網(wǎng)絡(luò)進(jìn)行參數(shù)隨機(jī)初始化，將步驟一中經(jīng)過(guò)預(yù)處理的訓(xùn)練集和驗(yàn)證集數(shù)據(jù)輸入至步驟二中的基于混合神經(jīng)網(wǎng)絡(luò)融合光學(xué)和sar圖像的去云網(wǎng)絡(luò)，生成去云效果圖，計(jì)算損失；
81、步驟3.2：損失反向傳播，更新網(wǎng)絡(luò)參數(shù)，以損失函數(shù)最小化作為優(yōu)化目標(biāo)，獲取最佳參數(shù)模型并保存。
82、所述步驟3.2的損失函數(shù)將smooth?l1損失、多尺度結(jié)構(gòu)相似性指數(shù)（ssim）損失和光譜角匹配（sam）損失結(jié)合使用，在實(shí)際檢測(cè)中，smooth?l1損失在回歸任務(wù)中，提供一種對(duì)異常值不敏感且梯度穩(wěn)定的優(yōu)化目標(biāo)，而與多尺度結(jié)構(gòu)相似性指數(shù)損失可以保持去云圖像和無(wú)云圖像間的結(jié)構(gòu)相似性，光譜角匹配（sam）損失可以有效保持和優(yōu)化圖像的光譜特征保真度，損失函數(shù)公示如下。
83、；
84、；
85、；
86、式中是歸一化系數(shù)，將所有像素的絕對(duì)誤差平均，得到逐元素絕對(duì)誤差的均值，其中b,c,h,w分別是批次，圖像的通道數(shù)，垂直像素?cái)?shù)和水平像素?cái)?shù)。、和分別是亮度相似性、對(duì)比度相似性和結(jié)構(gòu)相似性，?和分別是最高尺度和尺度遍歷變量，為最高尺度亮度分量的權(quán)重系數(shù)，為第j?尺度對(duì)比度分量的權(quán)重系數(shù)，為第j尺度結(jié)構(gòu)分量的權(quán)重系數(shù)。是向量的點(diǎn)積運(yùn)算，其中是真實(shí)光學(xué)無(wú)云圖像，是輸出無(wú)云圖像，上標(biāo)是轉(zhuǎn)置運(yùn)算符。分別為t、p的歐幾里得范數(shù)，用于對(duì)向量做歸一化，確保點(diǎn)積結(jié)果落在[?1,1]區(qū)間。
87、本發(fā)明還提供了一種電子設(shè)備，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有程序代碼，當(dāng)所述程序代碼被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行所述的方法的步驟。
88、本發(fā)明還提供了一種存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序或指令，當(dāng)所述計(jì)算機(jī)程序或指令在計(jì)算機(jī)上運(yùn)行時(shí)，執(zhí)行所述的方法的步驟。
89、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：
90、本發(fā)明提出了一種基于異構(gòu)并行神經(jīng)網(wǎng)絡(luò)的遙感圖像去云方法，通過(guò)深度融合光學(xué)與sar圖像實(shí)現(xiàn)地表信息的精準(zhǔn)重建；該方法構(gòu)建雙流編碼架構(gòu)：輕量融合殘差塊從sar圖像中提取幾何紋理與邊緣細(xì)節(jié)；非對(duì)稱特征金字塔模塊從光學(xué)圖像中提取方向感知的多尺度上下文特征；繼而，并行門(mén)控注意力模塊對(duì)異構(gòu)特征進(jìn)行建模與融合，利用門(mén)控機(jī)制建立有云與無(wú)云區(qū)域間的長(zhǎng)程依賴，實(shí)現(xiàn)跨模態(tài)特征互補(bǔ)；最后，云掩膜引導(dǎo)注意力融合模塊引入云掩模先驗(yàn)，對(duì)特征進(jìn)行空間與通道維度的雙重引導(dǎo)與精煉，在抑制云干擾的同時(shí)重建被遮蓋信息，完成高質(zhì)量圖像恢復(fù)。