本發(fā)明涉及電力數(shù)據(jù)存儲(chǔ)管理，特別是涉及一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)。
背景技術(shù)：
1、隨著電力物聯(lián)網(wǎng)技術(shù)的快速發(fā)展和智能電網(wǎng)的普及，電力系統(tǒng)監(jiān)測設(shè)備產(chǎn)生的海量時(shí)序數(shù)據(jù)（如電壓、電流錄波數(shù)據(jù)）呈指數(shù)級增長，對數(shù)據(jù)存儲(chǔ)系統(tǒng)的吞吐量、壓縮效率與實(shí)時(shí)檢索能力提出了更高要求。數(shù)據(jù)分片作為一種基于水平分區(qū)的數(shù)據(jù)庫架構(gòu)模式，通過將數(shù)據(jù)分布到多個(gè)節(jié)點(diǎn)來克服單節(jié)點(diǎn)存儲(chǔ)的性能瓶頸與容量限制，已成為電力歷史數(shù)據(jù)持久化管理的核心手段之一。在傳統(tǒng)配電數(shù)據(jù)管理中，數(shù)據(jù)流相對平穩(wěn)，功率變化緩慢，基于固定策略的分片技術(shù)能夠滿足基本存儲(chǔ)需求。然而，在高滲透率分布式電源接入及故障錄波等復(fù)雜工況下，電力信號在穩(wěn)態(tài)與暫態(tài)之間頻繁切換，數(shù)據(jù)波動(dòng)特征顯著增強(qiáng)，給分片架構(gòu)的適配性帶來新的挑戰(zhàn)。
2、在數(shù)據(jù)分片與電力時(shí)序數(shù)據(jù)存儲(chǔ)領(lǐng)域，現(xiàn)有技術(shù)已形成一定基礎(chǔ)。對比文件1（申請公布號cn117633105a）公開了一種基于時(shí)間分區(qū)索引的時(shí)序數(shù)據(jù)存儲(chǔ)管理方法，其通過設(shè)備分片和時(shí)間分區(qū)策略組織數(shù)據(jù)，并利用數(shù)據(jù)塊內(nèi)預(yù)聚合優(yōu)化查詢性能。該方法側(cè)重于時(shí)序數(shù)據(jù)的順序入庫與生命周期管理，提升了亂序數(shù)據(jù)處理能力。但該技術(shù)主要依賴固定時(shí)間范圍進(jìn)行分區(qū)，將所有數(shù)據(jù)視為均勻?qū)嶓w處理，缺乏對數(shù)據(jù)內(nèi)容內(nèi)在波動(dòng)特性的動(dòng)態(tài)感知與適配。具體而言，現(xiàn)有技術(shù)存在兩方面突出問題：一方面，基于主鍵哈希或固定時(shí)間窗口的靜態(tài)分片策略難以識(shí)別電力數(shù)據(jù)流的波動(dòng)劇烈程度，導(dǎo)致在處理長時(shí)段平穩(wěn)電壓電流數(shù)據(jù)時(shí)，無法充分利用信號冗余性實(shí)現(xiàn)高效壓縮，造成存儲(chǔ)空間浪費(fèi)；另一方面，在應(yīng)對故障錄波等高頻暫態(tài)數(shù)據(jù)時(shí)，過大的分片粒度迫使查詢系統(tǒng)在檢索微小時(shí)間片段時(shí)加載整個(gè)數(shù)據(jù)塊，引發(fā)讀放大效應(yīng)，拖慢響應(yīng)速度。這些問題相互交織，使得現(xiàn)有數(shù)據(jù)分片技術(shù)難以在電力物聯(lián)網(wǎng)場景中兼顧存儲(chǔ)經(jīng)濟(jì)性與查詢精度，無法滿足高波動(dòng)數(shù)據(jù)環(huán)境下高效持久化的實(shí)際需求。因此，現(xiàn)有基于靜態(tài)分區(qū)的數(shù)據(jù)分片技術(shù)在高波動(dòng)電力時(shí)序數(shù)據(jù)存儲(chǔ)場景下，存在存儲(chǔ)資源利用效率與檢索性能難以平衡的技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明針對上述不足或缺點(diǎn)，提供了一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及介質(zhì)，能夠解決現(xiàn)有的數(shù)據(jù)分片技術(shù)在高波動(dòng)電力時(shí)序數(shù)據(jù)存儲(chǔ)場景下，存在存儲(chǔ)資源利用效率與檢索性能難以平衡的技術(shù)問題。
2、本發(fā)明提供了一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法，包括：
3、獲取電力錄波監(jiān)測端口采集的實(shí)時(shí)電壓電流值。
4、根據(jù)實(shí)時(shí)電壓電流值計(jì)算時(shí)序波動(dòng)熵值，并基于預(yù)設(shè)的熵值區(qū)間映射表生成相應(yīng)的時(shí)序波動(dòng)熵值標(biāo)簽，時(shí)序波動(dòng)熵值用于表征數(shù)據(jù)波動(dòng)劇烈程度。
5、基于時(shí)序波動(dòng)熵值標(biāo)簽確定的變長分片粒度參數(shù)，對實(shí)時(shí)電壓電流值的數(shù)據(jù)流執(zhí)行分片編碼操作，得到多級粒度編碼數(shù)據(jù)塊。
6、基于多級粒度編碼數(shù)據(jù)塊的鍵值范圍，構(gòu)建混合索引結(jié)構(gòu)，生成包括混合索引結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)文件。
7、根據(jù)數(shù)據(jù)存儲(chǔ)文件的文件碎片代價(jià)分值與預(yù)設(shè)閾值的比較結(jié)果，執(zhí)行文件重組操作，得到優(yōu)化后的目標(biāo)存儲(chǔ)文件。
8、本發(fā)明根據(jù)第二方面提供了一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括：
9、實(shí)時(shí)電壓電流獲取模塊，用于獲取電力錄波監(jiān)測端口采集的實(shí)時(shí)電壓電流值。
10、時(shí)序波動(dòng)熵值計(jì)算模塊，用于根據(jù)實(shí)時(shí)電壓電流值計(jì)算時(shí)序波動(dòng)熵值，并基于預(yù)設(shè)的熵值區(qū)間映射表生成相應(yīng)的時(shí)序波動(dòng)熵值標(biāo)簽，時(shí)序波動(dòng)熵值用于表征數(shù)據(jù)波動(dòng)劇烈程度。
11、數(shù)據(jù)分片編碼執(zhí)行模塊，用于基于時(shí)序波動(dòng)熵值標(biāo)簽確定的變長分片粒度參數(shù)，對實(shí)時(shí)電壓電流值的數(shù)據(jù)流執(zhí)行分片編碼操作，得到多級粒度編碼數(shù)據(jù)塊。
12、數(shù)據(jù)存儲(chǔ)文件生成模塊，用于基于多級粒度編碼數(shù)據(jù)塊的鍵值范圍，構(gòu)建混合索引結(jié)構(gòu)，生成包括混合索引結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)文件。
13、目標(biāo)存儲(chǔ)文件生成模塊，用于根據(jù)數(shù)據(jù)存儲(chǔ)文件的文件碎片代價(jià)分值與預(yù)設(shè)閾值的比較結(jié)果，執(zhí)行文件重組操作，得到優(yōu)化后的目標(biāo)存儲(chǔ)文件。
14、本發(fā)明根據(jù)第三方面提供了一種計(jì)算機(jī)設(shè)備，包括：
15、至少一個(gè)處理器；以及與該至少一個(gè)處理器通信連接的存儲(chǔ)器；
16、其中，該存儲(chǔ)器存儲(chǔ)有可被該至少一個(gè)處理器執(zhí)行的指令，該指令被該至少一個(gè)處理器執(zhí)行，以使該至少一個(gè)處理器能夠執(zhí)行本發(fā)明實(shí)施例中任一基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法。
17、根據(jù)本發(fā)明的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行本發(fā)明實(shí)施例中任一基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法。
18、采用本發(fā)明的技術(shù)方案，提供了一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法，該方法通過實(shí)時(shí)數(shù)據(jù)獲取、時(shí)序波動(dòng)熵值計(jì)算、自適應(yīng)分片編碼、混合索引構(gòu)建及動(dòng)態(tài)文件重組五個(gè)核心步驟協(xié)同實(shí)現(xiàn)。其中，獲取電力錄波監(jiān)測端口采集的實(shí)時(shí)電壓電流值用于建立數(shù)據(jù)采集基礎(chǔ)；根據(jù)實(shí)時(shí)電壓電流值計(jì)算時(shí)序波動(dòng)熵值并生成熵值標(biāo)簽用于量化數(shù)據(jù)波動(dòng)特征；基于熵值標(biāo)簽確定變長分片粒度參數(shù)并執(zhí)行分片編碼操作用于實(shí)現(xiàn)存儲(chǔ)策略的動(dòng)態(tài)適配；基于多級粒度編碼數(shù)據(jù)塊的鍵值范圍構(gòu)建混合索引結(jié)構(gòu)用于優(yōu)化數(shù)據(jù)檢索路徑；根據(jù)文件碎片代價(jià)分值與閾值的比較結(jié)果執(zhí)行重組操作用于實(shí)現(xiàn)存儲(chǔ)空間的持續(xù)優(yōu)化。
19、在整個(gè)技術(shù)方案中，本發(fā)明針對背景技術(shù)中所述的靜態(tài)分片策略缺乏波動(dòng)感知能力問題，通過引入時(shí)序波動(dòng)熵值計(jì)算與熵值區(qū)間映射機(jī)制，實(shí)現(xiàn)了對電力數(shù)據(jù)波動(dòng)特征的量化識(shí)別與標(biāo)簽化處理，從而為分片策略提供動(dòng)態(tài)調(diào)整依據(jù)，解決了傳統(tǒng)固定分片模式導(dǎo)致的存儲(chǔ)資源錯(cuò)配缺陷；針對海量電力數(shù)據(jù)中穩(wěn)態(tài)與暫態(tài)數(shù)據(jù)并存帶來的存儲(chǔ)效率矛盾，通過基于熵值標(biāo)簽的變長分片粒度參數(shù)控制，構(gòu)建了“大粒度游程編碼+小粒度差分編碼”的自適應(yīng)分片編碼體系，解決了通用壓縮算法難以兼顧冗余數(shù)據(jù)壓縮率與高頻數(shù)據(jù)檢索精度的技術(shù)瓶頸；針對多級粒度數(shù)據(jù)塊混合存儲(chǔ)場景下的查詢效率問題，通過鍵值范圍驅(qū)動(dòng)的混合索引結(jié)構(gòu)構(gòu)建，實(shí)現(xiàn)了布隆過濾器與范圍指針的協(xié)同索引機(jī)制，解決了傳統(tǒng)索引結(jié)構(gòu)在混合粒度數(shù)據(jù)場景下存在的讀放大效應(yīng)與查詢延遲問題；針對長期運(yùn)行中數(shù)據(jù)碎片化導(dǎo)致的存儲(chǔ)性能衰減問題，通過文件碎片代價(jià)分值的動(dòng)態(tài)評估與閾值觸發(fā)式重組機(jī)制，建立了存儲(chǔ)空間的自優(yōu)化閉環(huán)，解決了現(xiàn)有技術(shù)中因碎片累積造成的存儲(chǔ)空間浪費(fèi)與i/o（input/output，輸入/輸出）性能下降的弊端。因此，本發(fā)明的技術(shù)方案解決了現(xiàn)有的數(shù)據(jù)分片技術(shù)在高波動(dòng)電力時(shí)序數(shù)據(jù)存儲(chǔ)場景下，存在存儲(chǔ)資源利用效率與檢索性能難以平衡的技術(shù)問題，提升了電力歷史數(shù)據(jù)存儲(chǔ)的空間利用率、查詢響應(yīng)速度及系統(tǒng)可持續(xù)運(yùn)行能力。
1.一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述實(shí)時(shí)電壓電流值計(jì)算時(shí)序波動(dòng)熵值的步驟，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述熵值區(qū)間映射表包括多個(gè)連續(xù)的熵值區(qū)間及與每個(gè)熵值區(qū)間對應(yīng)的標(biāo)簽標(biāo)識(shí)；所述基于預(yù)設(shè)的熵值區(qū)間映射表生成相應(yīng)的時(shí)序波動(dòng)熵值標(biāo)簽的步驟，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述時(shí)序波動(dòng)熵值標(biāo)簽確定的變長分片粒度參數(shù)，對所述實(shí)時(shí)電壓電流值的數(shù)據(jù)流執(zhí)行分片編碼操作，得到多級粒度編碼數(shù)據(jù)塊，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述多級粒度編碼數(shù)據(jù)塊的鍵值范圍，構(gòu)建混合索引結(jié)構(gòu)，生成包括所述混合索引結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)文件，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)存儲(chǔ)文件的文件碎片代價(jià)分值與預(yù)設(shè)閾值的比較結(jié)果，執(zhí)行文件重組操作，得到優(yōu)化后的目標(biāo)存儲(chǔ)文件，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述計(jì)算所述數(shù)據(jù)存儲(chǔ)文件的文件碎片代價(jià)分值，包括：
8.一種基于數(shù)據(jù)分片的電力數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括：
9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：
10.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法。