本發明涉及電網，具體涉及一種基于頻域處理與關系注意力網絡的時間序列預測方法。
背景技術：
1、在現代工業和社會中，特別是在儀器儀表測量以及控制領域，時間序列預測起著關鍵作用。眾多關鍵系統依賴傳感器收集的時間序列數據來預測未來趨勢，從而實現主動決策。無論是在電網調度、能源交易還是環境監測中，可靠的預測都是提高運營效率和創造經濟價值的核心驅動力。例如，對電網傳感器讀數或智能電表負荷的前瞻性預測有助于維持電網穩定性并優化需求側管理。同樣，預測太陽能發電和氣象條件的關鍵參數，能夠支持可再生能源部署策略，并有助于預防和減輕與天氣相關的災害。這些場景中的每一個都代表了儀器測量的實際應用，其中增強的預測能力直接影響運營安全、效率和成本效益。
2、傳統模型通常假設線性關系，因此處理復雜的非線性模式具有挑戰性。隨著深度學習的出現，循環神經網絡(rnns)和卷積網絡等模型已被引入時間序列建模中，增強了它們捕捉非線性動態和局部模式的能力。例如，長短期記憶(lstm)網絡和時間卷積網絡(tcns)在對序列依賴性和局部特征進行建模時表現出了出色的性能，盡管它們在捕捉長期依賴性方面仍有一定局限性。transformer架構由于其全局自注意力機制，能夠對長距離依賴性進行建模，并在長序列預測中取得了顯著成果。此后，人們提出了各種基于transformer的改進模型，旨在提高長期預測性能并降低計算復雜度。例如，informer模型引入了一種概率稀疏策略以進行高效的自注意力計算；autoformer模型基于自相關和快速傅里葉變換設計了機制來提取序列的周期性成分；fedformer模型通過在頻域中選擇代表性的傅里葉成分進行注意力計算來利用周期性信息，從而提高預測效果。此外，一些研究開始關注變量間關系，探索通道交互信息的利用。總體而言，時間序列模型的當前進展在長期預測、跨通道依賴性建模和頻域模式挖掘方面取得了進展。
3、在時域中，主流的transformer架構主要依賴點積自注意力，擅長處理同步正相關關系，但在處理滯后的互補或抑制關系時存在困難。為了從視覺和定量上證實這一挑戰，對etth1數據集進行了事件觸發平均分析。圖1清楚地揭示了電力負荷(hull)峰值與油溫(ot)相應響應峰值之間存在約10小時的系統性滯后。這表明這種異步因果現象并非孤立事件，而是系統的固有屬性。即使是先進的transformer變體，如informer模型，也基本依賴同步相似性度量。這種局限性的產生是因為這些度量旨在測量一個時間步與另一個時間步的系統狀態之間的整體相似性，而不是識別不同時間步特定變量之間的滯后關系。直接后果是，這些模型無法有效捕捉普遍存在的異步因果動態，最終影響了它們的預測準確性和對系統真實屬性的保真度。最近的幾何方法（simpletm）雖然部分解決了同步偏差問題，但由于在明確識別兩個變量之間的關系是相互增強還是抑制以及動態關注不同時間最具影響力的變量方面存在固有局限性，尚未完全解決復雜的異步結構表示問題。
4、頻域建模是時間序列預測中一種有效且廣泛采用的技術，主要是因為它為分析周期性成分提供了一個補充視角，非常適合捕捉長期季節性和識別噪聲模式。然而，該領域的現有方法通常具有幾個常見的設計選擇，例如統一處理、固定頻率成分選擇和頻域注意力的使用。例如，一些方法對所有變量應用統一的頻率處理，如tslanet模型，這可能無法充分區分特定變量的周期性特征。其他方法依賴于固定選擇頻率成分，例如，像fedformer這樣的模型選擇預定義數量的頂級傅里葉成分，這種策略沒有包含自適應調整機制，因此可能會忽略關鍵頻帶。此外，直接在頻域中使用注意力的技術可能會引入計算開銷，并且它們的非自適應選擇可能導致噪聲過濾不足。這可能會使高頻噪聲與低頻趨勢耦合，最終影響模型的長期預測準確性和魯棒性。
5、本發明用于解決現有模型在捕捉現實世界復雜異步因果關系時的不足，在電力負荷預測方面做出更準確、更可靠的預測。
技術實現思路
1、為應對多元時間序列中抑制帶噪和捕捉異步關系這兩個雙重挑戰，本發明提出了一種基于頻域處理與關系注意力網絡的時間序列預測方法；首先，通過頻域預處理對每個電力負荷變量獨立執行快速傅里葉變換。它引入了可學習的門控機制用于細粒度頻譜濾波和重新加權，自動保留長期趨勢和主導周期頻段，同時抑制高頻噪聲和冗余諧波。經過逆變換后生成的頻率增強表示，顯著提高了信噪比和周期可辨別性，以便后續建模。隨后，可學習的反對稱矩陣投影被集成到自注意力機制中。該分支為查詢-鍵對分配有符號的反對稱分數，明確區分電力負荷變量之間的協同、互補和抑制關系。然后，它與傳統的點積相關性共同驅動注意力權重更新，使模型能夠捕捉同步依賴性，同時準確表示滯后或反向交互。頻域預處理(fdp)模塊提供的頻率凈化和傾斜注意力的方向推理相互加強，顯著提高了長期預測的準確性和穩定性。這有效地解決了噪聲干擾以及電力負荷長期預測中捕捉異步依賴性的挑戰，同時保留了transformer的全局建模能力。
2、為解決上述技術問題，本發明采用如下技術方案：
3、一種基于頻域處理與關系注意力網絡的時間序列預測方法，通過預測模型進行電力負荷預測，包括：
4、將具有多電力負荷變量的電力數據的時間序列作為輸入數據，其中，多電力負荷變量包括變壓器油溫、有效負荷、環境溫度、相對濕度、風速、露點溫度和光照輻射；
5、對所述輸入數據應用頻域預處理模塊，其中所述頻域預處理模塊包括：對每個電力負荷變量獨立執行快速傅里葉變換以得到頻域表示；計算頻域表示的每個頻率倉的能量并標準化，使用可學習的門控閾值生成高頻增強掩碼和低頻增強掩碼；使用可學習的譜權重對頻域表示，以及基于高頻增強掩碼和低頻增強掩碼增強后的頻域表示進行重新加權，將得到的加權后的頻譜表示通過逆快速傅里葉變換重構得到頻率增強的電力數據時間序列；
6、將所述頻率增強的電力數據時間序列經過嵌入層后輸入到雙自注意力預測模塊，其中所述雙自注意力預測模塊包括：標準點積注意力分支和傾斜注意力分支；所述傾斜注意力分支通過可學習的反對稱矩陣投影計算反對稱分數；融合標準點積注意力分支的輸出和傾斜注意力分支計算的反對稱分數以生成注意力權重；基于注意力權重生成電力負荷預測結果。
7、在其中一個實施例中，將具有多電力負荷變量的電力數據的時間序列作為輸入數據，具體包括：
8、在任意時間步，電力數據，為電力數據中的電力負荷變量數量，為時間步的電力數據的第n個電力負荷變量；表示轉置；
9、預測模型進行電力負荷預測的過程表示如下：
10、給定歷史窗口長度為，預測模型的輸入數據為；表示長度為的電力數據的時間序列；
11、預測的目標為：；表示長度為的電力負荷預測結果。
12、在其中一個實施例中，所述對每個電力負荷變量獨立執行快速傅里葉變換以得到頻域表示，具體包括：
13、對作為輸入數據的電力數據時間序列的每一個電力負荷變量，沿時間維度執行快速傅里葉變換，以獲得頻域表示：
14、；
15、其中，表示復數域，快速傅里葉變換后得到的復數值用于表達電力負荷信號在不同頻率分量上的幅值和相位，是電力負荷周期性特征的自然表示，表示經快速傅里葉變換后保留下來的有效頻率分量個數，該值反映了電力負荷周期性成分（如日周期、周周期等）在頻域中的分辨能力，第j個電力負荷變量在第k個有效頻率分量上的頻域表達用于捕獲第個電力負荷變量在第k個頻率倉處的幅度和相位信息。
16、在其中一個實施例中，所述計算頻域表示的每個頻率倉的能量并標準化，具體包括：
17、計算每個頻率倉在電力負荷變量上的能量：
18、；
19、表示第k個有效頻率分量上電力負荷變量的總能量；
20、對能量分布進行標準化：
21、；
22、；
23、；
24、表示第?k?個頻率分量能量的標準化結果，用于衡量該頻率在電力負荷周期結構中的相對重要程度；表示所有有效頻率分量的平均能量，即電力負荷頻域能量的整體平均水平；表示電力負荷頻域能量分布的標準差，用于衡量不同頻率分量能量的波動范圍；為確保數值穩定性的常量。
25、在其中一個實施例中，所述使用可學習的門控閾值生成高頻增強掩碼和低頻增強掩碼，具體包括：
26、引入兩個可學習的門控閾值來創建用于高頻增強掩碼和低頻增強的掩碼：
27、；
28、；
29、其中，為sigmod函數，為第一門控閾值，為第二門控閾值。
30、在其中一個實施例中，所述使用可學習的譜權重對頻域表示，以及基于高頻增強掩碼和低頻增強掩碼增強后的頻域表示進行重新加權，具體包括：
31、引入了三個可學習譜權重，分別對頻域表示的全頻譜分量、高頻分量和低頻分量進行重新加權，加權后的頻譜表示為：
32、；
33、其中，表示加權后的第k個有效頻率分量的頻域增強向量，表示第k個有效頻率分量處所有電力負荷變量的頻域值向量，表示哈達瑪乘積。
34、在其中一個實施例中，所述傾斜注意力分支通過可學習的反對稱矩陣投影計算反對稱分數，具體包括：
35、引入了一個可學習的反對稱矩陣；
36、；
37、表示轉置，表示電力負荷變量被嵌入層編碼后的電力負荷特征維度；
38、定義傾斜注意力分支：
39、；
40、表示第?i?個電力負荷特征與第j個電力負荷特征之間的傾斜注意力得分，表示第i個電力負荷特征在查詢空間中的表示，表示第j個電力負荷變量經鍵映射后的d維向量。
41、在其中一個實施例中，所述融合標準點積注意力分支的輸出和傾斜注意力分支計算的反對稱分數以生成注意力權重，具體包括：
42、融合標準點積注意力分支和所述傾斜注意力分支，以形成整體注意力分數：
43、；
44、表示第i個電力負荷特征與第?j?個電力負荷特征之間的融合了對稱注意力與傾斜注意力后的整體注意力分數，用于衡量第?i?個電力負荷特征與第?j?個電力負荷特征之間的總體關聯強度；表示第i個電力負荷特征與第?j?個電力負荷特征在向量空間中的相似度，用于衡量表示這兩個變量是否呈現相似的變化模式；為控制兩個分支相對權重的參數；通過softmax函數對整體注意力分數進行歸一化得到注意力權重：
45、；
46、為注意力權重矩陣中的元素。
47、在其中一個實施例中，所述基于注意力權重生成電力負荷預測結果，具體包括：
48、對兩個獨立的值投影：
49、；
50、；
51、表示通過標準點積注意力分支得到的電力負荷特征的值向量集合，表示通過傾斜注意力分支得到的電力負荷特征的值向量集合，表示經過頻域增強后的電力數據時間序列對應的矩陣，為兩個可學習的值投影權重矩陣；
52、重用相同的注意力權重矩陣，并獲得兩個中間輸出：
53、；
54、；
55、表示第?j?個電力負荷變量在標準點積注意力分支中的值特征向量，表示第?j?個電力負荷變量在傾斜注意力分支中的值特征向量，表示在標準點積注意力分支中由所有電力負荷變量的值特征向量按注意力權重加權求和后得到的第i個電力負荷特征的融合結果，表示在傾斜注意力分支中由所有電力負荷變量的值特征按注意力權重加權求和后得到的第i個電力負荷特征的融合結果；
56、兩個中間輸出通過一個共享線性層進行融合，
57、；
58、表示第i個時間步的融合特征；
59、將標準點積注意力分支和傾斜注意力分支組成的雙自注意力層的輸出，表示為張量，為總時間步數；采用一個線性投影層作為預測頭，將的特征維度映射到所需預測的電力負荷預測結果時域長度，得到的電力負荷預測結果表示未來個時間步的多電力負荷變量預測值。
60、在其中一個實施例中，還包括通過損失函數對預測模型進行訓練過程：
61、；
62、為電力負荷預測結果時域長度，為電力數據中的電力負荷變量數量，為未來第i個預測時間步的第j個電力負荷變量的真實觀測值，為預測模型對未來第i個預測時間步的第j個電力負荷變量的預測值。
63、與現有技術相比，本發明的有益技術效果是：
64、本發明引入了頻域預處理(fdp)模塊，該模塊對電力數據的時間序列的頻率分量進行自適應濾波和重新加權，以強調顯著模式，同時抑制噪聲。頻率自適應模塊旨在通過選擇性地分離關鍵周期信號，同時減輕無關頻譜分量的干擾來提高預測性能。
65、本發明將反對稱矩陣投影嵌入到自注意力機制中，為查詢-鍵對自適應地分配有符號的反對稱分數。這種設計旨在捕捉電力負荷變量之間復雜的協同、抑制和滯后交互，從而便于對同步和異步依賴性進行準確建模。
66、大量實驗表明，本發明中的預測模型（franet）在長期預測任務中取得了領先的性能。