本發(fā)明涉及水利工程結(jié)構(gòu)健康監(jiān)測與無損檢測，具體涉及一種基于多源數(shù)據(jù)融合的水利工程結(jié)構(gòu)缺陷智能識別與量化評估方法及系統(tǒng)。
背景技術(shù)：
1、水利工程，如大壩、水閘、輸水隧洞及渠系建筑物，長期服役于復(fù)雜的水文、地質(zhì)及氣候環(huán)境中，其混凝土結(jié)構(gòu)易出現(xiàn)裂縫、剝落、滲漏、內(nèi)部脫空及鋼筋銹蝕等多種缺陷。這些缺陷若不及時(shí)發(fā)現(xiàn)與定量評估，將嚴(yán)重威脅工程安全與運(yùn)行壽命。傳統(tǒng)的人工巡檢方法效率低下、主觀性強(qiáng)且難以發(fā)現(xiàn)隱蔽缺陷，而現(xiàn)有的自動(dòng)化檢測技術(shù)多依賴于單一傳感器，存在檢測維度單一、識別精度有限、無法實(shí)現(xiàn)缺陷三維量化等突出問題。
2、目前，水利工程缺陷檢測主要采用包括視覺成像、紅外熱成像、激光掃描與聲學(xué)檢測在內(nèi)的多種無損檢測技術(shù)。可見光圖像便于識別表面裂縫與剝落，但無法探測內(nèi)部缺陷；紅外熱成像可反映結(jié)構(gòu)內(nèi)部溫度異常，但易受環(huán)境干擾且定量分析困難；三維激光掃描能精確獲取結(jié)構(gòu)表面幾何形態(tài)，卻難以感知材料內(nèi)部狀態(tài)；聲學(xué)敲擊回波法對內(nèi)部脫空、不密實(shí)等缺陷敏感，但依賴人工經(jīng)驗(yàn)且定位精度不足。盡管已有研究嘗試融合多種數(shù)據(jù)進(jìn)行檢測，但現(xiàn)有方法通常在數(shù)據(jù)層級進(jìn)行簡單拼接或加權(quán)，未能實(shí)現(xiàn)深層次的跨模態(tài)特征語義對齊與互補(bǔ)。此外，現(xiàn)有技術(shù)多側(cè)重于缺陷的有無識別，對于缺陷的精確三維幾何形態(tài)、空間位置、尺寸規(guī)模以及發(fā)展程度的量化評估能力嚴(yán)重不足，而這對評估缺陷危害等級、制定科學(xué)維修決策至關(guān)重要。
3、近年來，深度學(xué)習(xí)技術(shù)為多源數(shù)據(jù)融合與缺陷自動(dòng)識別提供了新的可能。然而，當(dāng)前基于深度學(xué)習(xí)的方法大多為純數(shù)據(jù)驅(qū)動(dòng)模型，其重構(gòu)或識別結(jié)果缺乏明確的物理規(guī)律約束，可能生成不符合材料力學(xué)原理的偽缺陷，導(dǎo)致評估結(jié)果可信度低、工程指導(dǎo)價(jià)值有限。同時(shí)，現(xiàn)有模型通常計(jì)算復(fù)雜，難以部署于水利工程現(xiàn)場巡檢的移動(dòng)或邊緣計(jì)算平臺，限制了其實(shí)時(shí)應(yīng)用能力。
4、因此，亟待發(fā)展一種能夠深度融合多源異構(gòu)數(shù)據(jù)、在精準(zhǔn)識別缺陷的同時(shí)實(shí)現(xiàn)其三維量化重建、且重建結(jié)果符合工程物理規(guī)律、并可適應(yīng)復(fù)雜現(xiàn)場環(huán)境的智能檢測方法與系統(tǒng)。本發(fā)明旨在解決上述問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是于克服現(xiàn)有技術(shù)的不足，提供一種多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法及系統(tǒng)。該方法能夠?qū)崿F(xiàn)多源異構(gòu)數(shù)據(jù)的深度融合與精準(zhǔn)分析，在自動(dòng)識別缺陷類型的同時(shí)，完成缺陷的三維幾何重構(gòu)與量化評估，且重構(gòu)結(jié)果符合材料物理規(guī)律，提升檢測的自動(dòng)化、精確化與工程可信度。
2、第一方面，本申請實(shí)施例提供一種多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法，所述方法包括：
3、獲取包括可見光圖像、紅外熱成像數(shù)據(jù)、激光三維點(diǎn)云數(shù)據(jù)和聲學(xué)回波信號在內(nèi)的多模態(tài)巡檢數(shù)據(jù)；
4、對所述激光三維點(diǎn)云數(shù)據(jù)構(gòu)建拓?fù)鋱D結(jié)構(gòu)，并采用時(shí)空圖卷積網(wǎng)絡(luò)提取表征工程結(jié)構(gòu)幾何形態(tài)和連接關(guān)系的空間拓?fù)浣Y(jié)構(gòu)特征；
5、基于所述空間拓?fù)浣Y(jié)構(gòu)特征，將所述聲學(xué)回波信號通過小波包能量熵提取的時(shí)頻特征，與從所述可見光圖像及紅外熱成像數(shù)據(jù)中提取的視覺特征進(jìn)行跨模態(tài)融合，得到多模態(tài)融合特征；
6、采用基于transformer架構(gòu)的序列提取模塊對所述多模態(tài)融合特征進(jìn)行建模，提取包含空間位置和時(shí)間區(qū)間信息的缺陷敏感時(shí)空片段；
7、基于所述缺陷敏感時(shí)空片段，采用融合物理信息神經(jīng)網(wǎng)絡(luò)的解碼器進(jìn)行缺陷三維重構(gòu)，獲得缺陷三維結(jié)構(gòu)模型，其中所述解碼器在重構(gòu)過程中被配置為同時(shí)滿足觀測數(shù)據(jù)約束和由材料力學(xué)偏微分方程所表征的物理規(guī)律約束；
8、基于所述缺陷敏感時(shí)空片段和所述缺陷三維結(jié)構(gòu)模型，進(jìn)行缺陷類型判定與工程狀態(tài)量化分析，并輸出缺陷類型識別結(jié)果、缺陷三維結(jié)構(gòu)模型及量化評估報(bào)告。
9、第二方面，本申請實(shí)施例提供一種多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估系統(tǒng)，應(yīng)用于如第一方面所述的多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法，所述系統(tǒng)包括：
10、數(shù)據(jù)采集模塊，用于獲取包括可見光圖像、紅外熱成像數(shù)據(jù)、激光三維點(diǎn)云數(shù)據(jù)和聲學(xué)回波信號在內(nèi)的多模態(tài)巡檢數(shù)據(jù)；
11、拓?fù)涮卣魈崛∧K，用于對所述激光三維點(diǎn)云數(shù)據(jù)構(gòu)建拓?fù)鋱D結(jié)構(gòu)，并采用時(shí)空圖卷積網(wǎng)絡(luò)提取表征工程結(jié)構(gòu)幾何形態(tài)和連接關(guān)系的空間拓?fù)浣Y(jié)構(gòu)特征；
12、多模態(tài)融合模塊，用于基于所述空間拓?fù)浣Y(jié)構(gòu)特征，將所述聲學(xué)回波信號通過小波包能量熵提取的時(shí)頻特征，與從所述可見光圖像及紅外熱成像數(shù)據(jù)中提取的視覺特征進(jìn)行跨模態(tài)融合，得到多模態(tài)融合特征；
13、時(shí)空片段提取模塊，用于采用基于transformer架構(gòu)的序列提取模塊對所述多模態(tài)融合特征進(jìn)行建模，提取包含空間位置和時(shí)間區(qū)間信息的缺陷敏感時(shí)空片段；
14、三維重構(gòu)模塊，用于基于所述缺陷敏感時(shí)空片段，采用融合物理信息神經(jīng)網(wǎng)絡(luò)的解碼器進(jìn)行缺陷三維重構(gòu)，獲得缺陷三維結(jié)構(gòu)模型，其中所述解碼器被配置為在重構(gòu)過程中同時(shí)滿足觀測數(shù)據(jù)約束和由材料力學(xué)偏微分方程所表征的物理規(guī)律約束；
15、分析輸出模塊，用于基于所述缺陷敏感時(shí)空片段和所述缺陷三維結(jié)構(gòu)模型，進(jìn)行缺陷類型判定與工程狀態(tài)量化分析，并輸出缺陷類型識別結(jié)果、缺陷三維結(jié)構(gòu)模型及量化評估報(bào)告。
16、第三方面，本申請實(shí)施例提供一種電子設(shè)備，包括：
17、處理器；
18、用于存儲處理器可執(zhí)行指令的存儲器；
19、其中，所述處理器被配置為執(zhí)行所述指令時(shí)實(shí)現(xiàn)如第一方面所述的多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法。
20、第四方面，本申請實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有程序，所述程序指示設(shè)備執(zhí)行如第一方面所述的多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法。
21、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：通過時(shí)空圖卷積網(wǎng)絡(luò)與多頭互注意力機(jī)制，實(shí)現(xiàn)了激光點(diǎn)云、可見光、紅外、聲學(xué)等多源數(shù)據(jù)在空間與語義層面的深度、自適應(yīng)融合，克服了單一模態(tài)或簡單拼接的局限性。創(chuàng)造性地將物理信息神經(jīng)網(wǎng)絡(luò)引入缺陷三維重構(gòu)，生成既符合檢測數(shù)據(jù)又遵循材料力學(xué)規(guī)律的三維模型，實(shí)現(xiàn)了缺陷尺寸、位置、形態(tài)的精準(zhǔn)、可信量化。利用transformer與記憶增強(qiáng)機(jī)制實(shí)現(xiàn)缺陷的智能感知與識別，結(jié)合元學(xué)習(xí)實(shí)現(xiàn)模型的環(huán)境自適應(yīng)，提升了系統(tǒng)的智能化水平與工程適用性。提供了從多源數(shù)據(jù)同步采集、配準(zhǔn)到最終三維評估報(bào)告生成的全流程解決方案，并考慮了輕量化設(shè)計(jì)，具有良好的現(xiàn)場應(yīng)用前景。
1.一種多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取多模態(tài)巡檢數(shù)據(jù)的步驟具體包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對激光三維點(diǎn)云數(shù)據(jù)構(gòu)建拓?fù)鋱D結(jié)構(gòu)并提取空間拓?fù)浣Y(jié)構(gòu)特征的步驟具體包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將聲學(xué)時(shí)頻特征與視覺特征進(jìn)行跨模態(tài)融合的步驟具體包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取缺陷敏感時(shí)空片段的步驟具體包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述transformer編碼器模塊被配置為執(zhí)行多尺度時(shí)空建模，具體包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用融合物理信息神經(jīng)網(wǎng)絡(luò)的解碼器進(jìn)行缺陷三維重構(gòu)的步驟具體包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，嵌入物理信息約束的具體實(shí)現(xiàn)包括：
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多模態(tài)巡檢數(shù)據(jù)還包括地理信息數(shù)據(jù)與氣象數(shù)據(jù)，所述方法還包括基于所述地理信息數(shù)據(jù)與氣象數(shù)據(jù)，通過元學(xué)習(xí)框架對所述序列提取模塊或所述解碼器的模型參數(shù)進(jìn)行自適應(yīng)調(diào)整，以提升不同環(huán)境下的識別性能。
10.一種多源數(shù)據(jù)融合的水利工程缺陷識別與量化評估系統(tǒng)，用于執(zhí)行如權(quán)利要求1至9任一項(xiàng)所述的方法，其特征在于，所述系統(tǒng)包括：