本發明涉及工業互聯網與數字孿生,更具體地說,涉及基于實景全景影像的電廠數字孿生方法、系統及存儲介質。
背景技術:
1、隨著電力工業數字化轉型的深入推進,“智慧電廠”建設已成為行業發展趨勢。電廠設備數量龐大、管線錯綜復雜、運行環境高溫高壓,對可視化運維管理提出了更高要求。然而,現有電廠可視化與管理技術主要存在以下三類缺陷:
2、一是二維組態軟件,以二維拓撲圖和工藝流程圖展示設備狀態,缺乏空間維度信息,無法直觀反映設備的物理外觀與現場環境,當出現報警時運維人員必須親臨現場確認,延長了故障處理時間。二是三維幾何建模平臺,雖能構建三維模型,但建設成本高昂(數十萬至上百萬元每機組)、周期漫長(6-12個月),且現場技改后模型維護困難、紋理細節失真、渲染性能瓶頸突出,難以在移動端普及,往往“建得起、養不起”。三是傳統全景技術,雖能提供360度實景圖片,但存在數據孤島問題,未與生產管理系統和實時數據庫打通,且設備熱點標注依賴人工逐一錄入,單機組超5000個點位的工作量巨大、錯誤率高,同時缺乏智能診斷能力。
技術實現思路
1、本發明要解決的技術問題在于,針對現有技術存在的二維組態缺乏空間感知、三維建模成本高且維護難,提供一種基于實景全景影像的電廠數字孿生方法、系統及存儲介質。
2、本技術解決其技術問題所采用的技術方案是:構造一種基于實景全景影像的電廠數字孿生方法,包括以下步驟:
3、步驟s1:獲取電廠現場的全景影像數據,并對所述全景影像數據進行全景圖像數字化處理,生成全景數據;
4、步驟s2:采用改進的yolov8目標檢測網絡對所述全景影像數據中的設備目標進行檢測與識別,提取所述設備的身份標識信息,并計算所述設備在所述全景影像數據中的空間位置信息,根據所述身份標識信息和所述空間位置信息建立關聯映射;
5、其中,所述改進的yolov8目標檢測網絡針對電廠設備檢測進行了如下優化:
6、在特征金字塔結構末端增加高分辨率檢測頭,用于檢測所述輸入圖像中的小目標設備;
7、在骨干網絡中嵌入cbam注意力機制模塊,用于在特征提取時聚焦于設備關鍵結構特征;
8、采用varifocalloss函數作為分類損失函數,用于處理目標檢測中前景與背景類別不平衡問題。
9、進一步地,所述全景影像數據包括:多角度、多曝光的電廠現場圖像序列;
10、在步驟s1中,所述對所述全景影像數據進行全景圖像數字化處理包括:
11、對所述多角度、多曝光的圖像序列進行高動態范圍合成與球面拼接,生成等距柱狀投影格式的全景圖像;
12、對生成的所述全景圖像進行多分辨率金字塔切片處理,得到層級切片文件。
13、進一步地,在步驟s2中,所述采用改進的yolov8目標檢測網絡對所述全景影像數據中的設備目標進行檢測與識別,提取所述設備的身份標識信息包括:
14、判斷所述全景影像數據的分辨率是否超過預設閾值:
15、若超過,則采用滑動窗口對所述全景影像數據進行切割,生成若干子圖像,并將所述子圖像輸入改進的yolov8目標檢測網絡;
16、若不超過,則將所述全景影像數據作為整圖直接輸入所述改進的yolov8目標檢測網絡;
17、識別出輸入圖像中的設備目標,對所述設備目標的區域進行透視矯正后,輸入crnn文字識別模型,提取所述設備目標的銘牌上的功能位置碼,作為所述設備的身份標識信息。
18、進一步地,所述改進的yolov8目標檢測網絡針對電廠設備檢測進行了如下優化:
19、在特征金字塔結構末端增加高分辨率檢測頭,用于檢測所述輸入圖像中的小目標設備;
20、在骨干網絡中嵌入cbam注意力機制模塊,用于在特征提取時聚焦于設備關鍵結構特征;
21、采用varifocalloss函數作為分類損失函數,用于處理目標檢測中前景與背景類別不平衡問題。
22、進一步地,所述設備目標的區域進行透視矯正后,輸入crnn文字識別模型,提取所述設備目標的銘牌上的功能位置碼,作為所述設備的身份標識信息包括:
23、對檢測出的所述設備目標的區域進行透視矯正處理,將透視矯正后的所述設備目標的區域輸入crnn文字識別模型,所述crnn文字識別模型由cnn卷積神經網絡、rnn循環神經網絡和ctc連接主義時序分類解碼器三部分構成;
24、所述crnn文字識別模型從透視矯正后的所述設備目標的區域圖像中,端到端地預測出對應的字符序列,提取所述設備目標的銘牌上的功能位置碼,所述功能位置碼包括kks碼;
25、將提取到的所述功能位置碼作為所述設備的身份標識信息。
26、進一步地,所述改進的yolov8目標檢測網絡還輸出每個檢測到的設備類型及邊界框坐標;所述計算所述設備在所述全景影像數據中的空間位置信息包括:
27、根據所述邊界框坐標,結合所述子圖像在所述全景影像數據中的坐標,計算所述設備在所述全景影像數據中的平面像素坐標;
28、根據所述平面像素坐標,通過坐標反算算法計算所述設備在所述全景影像數據中的球面熱點坐標,作為所述空間位置信息。
29、進一步地,所述邊界框坐標包括所述邊界框在輸入圖像中的橫坐標最小值、橫坐標最大值、縱坐標最小值、縱坐標最大值;
30、所述根據所述邊界框坐標,結合所述子圖像在所述全景影像數據中的坐標,計算所述設備在所述全景影像數據中的平面像素坐標包括:
31、
32、
33、
34、
35、式中,、分別為所述邊界框中心在所述子圖像中的橫坐標和縱坐標;為所述設備在所述全景影像數據中的平面像素橫坐標,為所述設備在所述全景影像數據中的平面像素縱坐標,為所述子圖像在所述全景影像數據的參考點橫坐標,為所述子圖像在所述全景影像數據的參考點縱坐標。
36、進一步地,所述根據所述平面像素坐標計算所述設備在所述全景影像數據中的空間位置信息包括:
37、根據所述平面像素坐標,通過坐標反算算法映射為全景球面熱點坐標;
38、所述全景影像數據采用等距柱狀投影格式,其寬度為w,高度為h;
39、所述全景球面熱點坐標包括經度和緯度,其計算公式為:
40、
41、
42、將所述經度、所述緯度、所述設備的身份標識信息、所述設備類型進行關聯,建立所述設備在所述全景影像數據中的空間位置信息與所述身份標識信息的關聯映射。
43、進一步地,所述方法還包括:
44、接收用戶輸入的身份標識信息;
45、根據所述身份標識信息獲取所述設備的全景球面熱點坐標,將視角切換到所述設備所在的全景畫面位置;
46、根據所述設備的身份標識信息,獲取所述設備的實時運行數據;
47、以可視化浮窗形式展示所述設備的身份標識信息、所述實時運行數據。
48、本技術還提供一種基于實景全景影像的電廠數字孿生系統,包括處理器及存儲有計算機程序的存儲器,所述處理器在執行所述計算機程序時實現上述任一項基于實景全景影像的電廠數字孿生方法的步驟。
49、本技術還提供一種存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被執行時實現上述任一項基于實景全景影像的電廠數字孿生方法的步驟。
50、本發明的有益效果是,本技術構造一種基于實景全景影像的電廠數字孿生方法,包括以下步驟:步驟s1:獲取電廠現場的全景影像數據,并對所述全景影像數據進行全景圖像數字化處理,生成全景數據;步驟s2:采用深度學習模型對所述全景影像數據中的設備目標進行檢測與識別,提取所述設備的身份標識信息,并計算所述設備在所述全景影像數據中的空間位置信息,根據所述身份標識信息和所述空間位置信息建立關聯映射。本技術通過全景圖像數字化處理實現低成本高保真實景還原,通過深度學習模型實現設備自動識別與標注,通過空間位置關聯映射實現視覺數據與臺賬數據的融合,從而解決了現有技術中三維建模成本高、標注效率低、數據孤島等問題,實現了電廠實景孿生的快速構建與智能化管理。