本發明涉及數據處理的一種基于知識圖譜的跨層級數據血緣關系自動構建方法，尤其涉及一種基于知識圖譜的跨層級數據血緣關系自動構建裝置。
背景技術：
1、在當前企業數字化轉型的浪潮下，數據已成為核心資產，其流動過程（通常稱為數據血緣）的清晰可溯是確保數據質量、支撐數據治理與合規審計的關鍵。然而，隨著數據架構向多云、混合部署演進，數據處理鏈路變得異常復雜，涉及關系型數據庫、大數據平臺、數據倉庫、數據湖乃至流處理引擎等多種異構系統?，F有技術通常依賴針對單一數據源或特定工具（如僅解析hive?sql或特定etl工具日志）的專用方案來構建局部血緣關系。這種方法導致企業內形成了多個彼此隔離的“血緣孤島”，難以實現從業務系統源頭到最終數據消費應用的端到端、跨層級追溯。當需要進行影響分析、故障根因定位或合規審查時，技術人員不得不耗費大量時間人工整合和比對來自不同工具的碎片化血緣信息，過程繁瑣、效率低下且極易出錯，嚴重制約了數據價值的釋放與數據治理水平的提升。
2、從技術實現層面看，現有數據血緣管理方案主要面臨兩大瓶頸。其一，自動化與智能化程度不足?，F有方法多局限于對顯性、規范化的數據處理腳本（如標準sql）或任務日志進行被動解析，對于未留下明確日志記錄的數據流轉（如通過文件傳輸、api調用或存儲過程內部邏輯）以及隱藏在復雜代碼邏輯中的隱性依賴關系（如通過變量間接關聯的字段）缺乏有效的發現與補全能力，造成血緣鏈路事實上的“斷層”。其二，血緣信息的靜態性與滯后性。主流的血緣工具大多采用周期性全量掃描或手動觸發的方式生成血緣快照，無法實時感知源端數據結構（ddl）或數據處理邏輯的動態變化。這意味著，一旦上游發生變更，下游依賴方無法及時獲知，血緣圖譜迅速過時，不僅失去了參考價值，還可能因基于陳舊血緣進行決策而引發數據事故。因此，亟需一種能夠自動構建、智能補全并能動態更新的跨層級數據血緣關系管理方法。
技術實現思路
1、為解決現有數據血緣管理方案存在自動化程度差、血緣鏈路不完整的技術問題，本發明提供一種基于知識圖譜的跨層級數據血緣關系自動構建方法及裝置。
2、本發明采用以下技術方案實現：一種基于知識圖譜的跨層級數據血緣關系自動構建方法，其包括以下步驟：
3、s1：通過數據采集適配器對接不同類型的數據源，采集多源異構數據；
4、s2：對所述多源異構數據進行解析，通過語法解析與關鍵詞匹配自動抽取血緣規則并輸出統一格式的血緣規則清單；
5、s3：先基于所述血緣規則清單構建初始知識圖譜，再利用圖嵌入模型將所述初始知識圖譜中的血緣實體和關系映射為低維向量表示，并采用圖神經網絡模型對所述初始知識圖譜進行鏈路預測，最后補全因數據源中無記錄或存在隱性關聯而缺失的血緣關系，形成完整的跨層級數據血緣圖譜；
6、s4：監聽數據源的結構變更事件；當監聽到結構變更時，自動觸發對變更相關數據的數據采集、血緣規則抽取及知識圖譜更新流程，以更新所述跨層級數據血緣圖譜；
7、s5：將更新后的血緣鏈路推送至下游依賴系統，并進行可視化展現。
8、本發明通過對多源異構數據的解析實現血緣規則的一站式自動抽取，完全避免人工整合，可大幅提升血緣構建效率，自動化程度高，解決了傳統方案中因工具壁壘和人工介入導致的自動化程度低、構建成本高的技術問題。該方法通過引入基于圖嵌入與圖神經網絡的鏈路預測模型，實現了對無記錄流轉及隱性依賴關系的智能補全，實現血緣關系全覆蓋，通過知識圖譜構建，可識別顯性與隱形血緣均可識別，避免鏈路斷層，解決了血緣鏈路存在斷層、完整性不足的技術問題。該方法通過建立基于源端變更監聽的動態更新與推送機制，實現了血緣圖譜的實時同步與影響擴散分析，能夠從源端到數據處理層、數據應用層實現全鏈路的血緣監控，能夠清晰的展現數據的流轉情況，解決了靜態血緣維護滯后、時效性差的技術問題。
9、作為上述方案的進一步改進，在步驟s2中，采用集成了針對不同數據源類型和格式的專用解析模塊的多源異構數據解析器，對所述多源異構數據進行解析和血緣規則抽取。
10、作為上述方案的進一步改進，在步驟s3中，所述圖嵌入模型為transr模型；所述采用圖神經網絡模型進行鏈路預測，并用于對所述初始知識圖譜中缺失頭實體或缺失尾實體的血緣關系三元組進行預測和填充。
11、作為上述方案的進一步改進，在步驟s4中，通過部署于數據源端的日志監聽組件實時監聽數據定義語言操作以捕捉結構變更事件。
12、作為上述方案的進一步改進，步驟s4還包括：在更新所述跨層級數據血緣圖譜后，基于更新后的圖譜進行影響分析，識別所有受所述結構變更影響的下游數據實體。
13、作為上述方案的進一步改進，在步驟s5中，通過消息隊列將所述更新后的血緣鏈路或變更影響范圍信息異步推送至所述下游依賴系統。
14、作為上述方案的進一步改進，在步驟s3中構建初始知識圖譜時，將血緣實體定義為節點，將血緣關系定義為邊，形成包含數據源層、數據處理層和數據應用層的跨層級圖結構。
15、作為上述方案的進一步改進，在步驟s4中，所述自動觸發更新流程包括：根據所述結構變更事件定位受影響的源頭數據實體，并自動遞歸遍歷所述源頭數據實體在所述跨層級數據血緣圖譜中的所有下游依賴路徑，以確定需要重新抽取血緣規則和更新的圖譜范圍。
16、作為上述方案的進一步改進，在步驟s5中，所述可視化展現支持在所述血緣圖譜中高亮顯示因步驟s4中的所述血緣鏈路，并提供變更影響范圍的下鉆查詢。
17、本發明還提供一種基于知識圖譜的跨層級數據血緣關系自動構建裝置，其應用于上述任意一項所述的基于知識圖譜的跨層級數據血緣關系自動構建方法，所述跨層級數據血緣關系自動構建裝置包括：
18、多源異構數據采集模塊，其用于通過數據采集適配器對接不同類型的數據源，采集多源異構數據；
19、血緣規則自動抽取模塊，其用于對所述多源異構數據進行解析，通過語法解析與關鍵詞匹配自動抽取血緣規則并輸出統一格式的血緣規則清單；
20、知識圖譜建模模塊，其用于先基于所述血緣規則清單構建初始知識圖譜，再利用圖嵌入模型將所述初始知識圖譜中的血緣實體和關系映射為低維向量表示，并采用圖神經網絡模型對所述初始知識圖譜進行鏈路預測，最后補全因數據源中無記錄或存在隱性關聯而缺失的血緣關系，形成完整的跨層級數據血緣圖譜；
21、動態更新與推理模塊，其用于監聽數據源的結構變更事件；當監聽到結構變更時，自動觸發對變更相關數據的數據采集、血緣規則抽取及知識圖譜更新流程，以更新所述跨層級數據血緣圖譜；
22、血緣關系推送及展現模塊，其用于將更新后的血緣鏈路推送至下游依賴系統，并進行可視化展現。
23、相較于現有數據血緣管理方案，本發明的基于知識圖譜的跨層級數據血緣關系自動構建方法及裝置具有以下有益效果：
24、1、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其通過對多源異構數據的解析實現血緣規則的一站式自動抽取，完全避免人工整合，可大幅提升血緣構建效率，自動化程度高，解決了傳統方案中因工具壁壘和人工介入導致的自動化程度低、構建成本高的技術問題。最終，得到了一個能夠自動化構建、智能化補全并動態化維護的跨層級全鏈路數據血緣圖譜，為數據治理、影響分析、故障排查與合規審計提供了準確、實時、完整的核心數據支撐。
25、2、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其通過引入基于圖嵌入與圖神經網絡的鏈路預測模型，實現了對無記錄流轉及隱性依賴關系的智能補全，實現血緣關系全覆蓋，通過知識圖譜構建，可識別顯性與隱形血緣均可識別，避免鏈路斷層，解決了血緣鏈路存在斷層、完整性不足的技術問題。
26、3、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其通過建立基于源端變更監聽的動態更新與推送機制，實現了血緣圖譜的實時同步與影響擴散分析，能夠從源端到數據處理層、數據應用層實現全鏈路的血緣監控，能夠清晰的展現數據的流轉情況，解決了靜態血緣維護滯后、時效性差的技術問題。
27、4、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其通過構建統一的跨層級知識圖譜，將原本分散于不同系統、不同層級（如業務層、邏輯層、物理層）的數據實體與血緣關系整合到統一的語義網絡中進行管理。這種圖譜化的組織方式不僅使得血緣關系的查詢與分析從傳統的線性、局部追溯轉變為基于圖算法（如最短路徑、影響力傳播）的全局、多維分析，極大地提升了血緣追溯的深度與廣度，而且為上層的數據治理應用（如數據質量影響分析、數據資產目錄建設）提供了強大且靈活的數據基礎。
28、5、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其具備卓越的可擴展性與適應性。一方面，其模塊化的“數據采集適配器”設計允許靈活接入新的數據源類型，僅需開發對應的適配器即可，而無需改動核心的血緣抽取與圖譜構建邏輯。另一方面，基于機器學習的圖補全與鏈路預測模型能夠隨著更多數據（血緣三元組）的輸入而持續優化其預測準確性，使得系統對各類隱性、復雜數據依賴關系的識別能力能夠自我進化，從而適應企業數據處理邏輯不斷演進和復雜化的長期需求。
29、6、該基于知識圖譜的跨層級數據血緣關系自動構建方法，其實現了從血緣信息“被動收集-靜態歸檔”到“主動發現-動態治理”的根本性轉變。通過將血緣構建、補全、更新、推送各環節串聯成一個自動化閉環，該系統不再僅僅是一個記錄歷史的工具，而轉變為一個能夠主動感知數據環境變化、智能推斷潛在影響、并及時預警下游的主動式數據治理核心組件。這顯著降低了數據架構迭代的風險與成本，提升了整個數據供應鏈的韌性與透明度。
30、7、該基于知識圖譜的跨層級數據血緣關系自動構建裝置，其有益效果與上述跨層級數據血緣關系自動構建方法的效果相同，在此不再贅述。