本申請涉及汽車設計和制造領域,具體而言,涉及一種用于汽車工程數據的檢索方法、裝置、電子設備及介質。
背景技術:
1、汽車行業中,汽車工程數據分散于掃描pdf、圖文混合文檔等多模態載體,存在嚴重碎片化問題。據行業數據,一半以上的汽車工程數據為非結構化或半結構化形式,數據異構性突出,不同模態信息難以精準關聯。同時,汽車工程數據相關查詢常需跨文檔推理,傳統檢索方式在跨模態對齊、長尾實體召回及實時更新方面存在顯著局限,導致查詢效率低、結果不完整,無法滿足工業級應用需求。
技術實現思路
1、本申請實施例的目的在于提供一種用于汽車工程數據的檢索方法、裝置、電子設備及介質,用以解決了現有技術存在的上述問題,可高效解決多模態汽車工程數據的檢索難題。
2、第一方面,提供了一種用于汽車工程數據的檢索方法,該方法可以包括:
3、獲取用戶發起的汽車工程數據檢索請求;
4、采用混合檢索模型,對所述汽車工程數據檢索請求進行處理,得到候選知識集;其中,所述混合檢索模型包括文本檢索模塊、跨模態檢索模塊、結構化檢索模塊和融合排序模塊;
5、將所述候選知識集和所述汽車工程數據檢索請求輸入至配置的語言模型,并基于預設的抗幻覺生成規則,生成所述汽車工程數據檢索請求對應的檢索結果。
6、在一種可能的實現中,獲取用戶發起的汽車工程數據檢索請求后,所述方法還包括:
7、若所述汽車工程數據檢索請求為文本請求,則提取汽車工程數據檢索請求中的汽車尺寸關鍵詞并生成文本語義特征;
8、若所述汽車工程數據檢索請求為多模態請求,則提取文本關鍵詞及生成文本語義特征,以及調用配置的跨模態特征提取模型對所述汽車工程數據檢索請求中零件圖像進行處理,生成視覺特征;融合所述文本語義特征與視覺特征,得到檢索請求適配特征。
9、在一種可能的實現中,所述文本檢索模塊包括稀疏檢索單元與密集檢索單元;
10、所述文本檢索模塊對所述汽車工程數據檢索請求的處理過程包括:
11、所述稀疏檢索單元基于檢索請求中的關鍵詞,匹配汽車工程文本數據中的關鍵詞重合片段,輸出第一文本候選集;
12、所述密集檢索單元基于檢索請求的語義特征,計算與汽車工程文本數據分塊語義嵌入向量的相似度,輸出第二文本候選集;
13、合并所述第一文本候選集與所述第二文本候選集,去除重復項后作為文本檢索模塊的文本輸出結果。
14、在一種可能的實現中,所述跨模態檢索模塊對所述汽車工程數據檢索請求進行處理,包括:
15、若所述汽車工程數據檢索請求為多模態請求,所述跨模態檢索模塊調用預訓練跨模態模型,將所述視覺特征與配置的汽車工程多模態文檔的圖像描述特征進行相似度匹配,篩選出相似度不小于預設閾值的圖像關聯文本片段與圖像存儲路徑,作為跨模態檢索模塊的輸出結果;
16、若所述汽車工程數據檢索請求為文本請求,所述跨模態檢索模塊基于文本關鍵詞匹配配置的汽車工程多模態文檔的圖像描述信息,輸出關聯的圖像關聯文本片段與圖像存儲路徑。
17、在一種可能的實現中,所述結構化檢索模塊是基于配置的尺寸工程知識圖譜對所述汽車工程數據檢索請求進行處理的;
18、所述尺寸工程知識圖譜包含汽車零件實體、尺寸參數實體、實體屬性及實體關聯關系的結構化三元組;
19、所述結構化檢索模塊對所述汽車工程數據檢索請求進行處理,包括:
20、將所述汽車工程數據檢索請求轉化為結構化查詢語句,匹配尺寸工程知識圖譜中與汽車工程數據檢索請求相關的結構化三元組,輸出結構化檢索結果。
21、在一種可能的實現中,所述融合排序模塊接收文本檢索模塊、跨模態檢索模塊、結構化檢索模塊分別輸出的輸出結果;
22、基于配置文本檢索模塊、跨模態檢索模塊、結構化檢索模塊分別對應的權重系數,計算各輸出結果的綜合得分;
23、將所述綜合得分降序排序,取前n項結果作為所述候選知識集。
24、在一種可能的實現中,在獲取用戶發起的汽車工程數據檢索請求前,所述方法還包括:
25、獲取汽車尺寸工程的多模態文檔;
26、對所述多模態文檔執行分類型解析,得到結構化文本;
27、采用累積分塊策略對所述結構化文本進行處理,生成語義連貫的文檔分塊,并生成各文檔分塊對應的語義嵌入向量;
28、提取所述結構化文本與圖像描述中的實體、實體屬性及關聯關系,構建尺寸工程知識圖譜;
29、將所述文檔分塊、語義嵌入向量、圖像描述及相應的存儲路徑存儲至檢索數據庫。
30、第二方面,提供了一種用于汽車工程數據的檢索裝置,該裝置可以包括:
31、獲取單元,用于獲取用戶發起的汽車工程數據檢索請求;
32、處理單元,用于采用混合檢索模型,對所述汽車工程數據檢索請求進行處理,得到候選知識集;其中,所述混合檢索模型包括文本檢索模塊、跨模態檢索模塊、結構化檢索模塊和融合排序模塊;
33、生成單元,用于將所述候選知識集和所述汽車工程數據檢索請求輸入至配置的語言模型,并基于預設的抗幻覺生成規則,生成所述汽車工程數據檢索請求對應的檢索結果。
34、第三方面,提供了一種電子設備,該電子設備包括處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;
35、存儲器,用于存放計算機程序;
36、處理器,用于執行存儲器上所存放的程序時,實現上述第一方面中任一所述的方法步驟。
37、第四方面,提供了一種計算機可讀存儲介質,該計算機可讀存儲介質內存儲有計算機程序,所述計算機程序被處理器執行時實現上述第一方面中任一所述的方法步驟。
38、本申請提供一種用于汽車工程數據的檢索方法、裝置、電子設備及介質,該方法包括:獲取用戶發起的汽車工程數據檢索請求;采用混合檢索模型,對汽車工程數據檢索請求進行處理,得到候選知識集;其中,混合檢索模型包括文本檢索模塊、跨模態檢索模塊、結構化檢索模塊和融合排序模塊;將候選知識集和汽車工程數據檢索請求輸入至配置的語言模型,并基于預設的抗幻覺生成規則,生成汽車工程數據檢索請求對應的檢索結果。該方法通過多模塊混合檢索模型,全面覆蓋汽車工程多模態數據與結構化知識,大幅提升檢索召回率與精準度;結合抗幻覺生成規則,有效降低虛構風險,保障結果可追溯,為汽車設計生產提供可靠數據支撐。
1.一種用于汽車工程數據的檢索方法,其特征在于,所述方法包括:
2.如權利要求1所述的方法,其特征在于,獲取用戶發起的汽車工程數據檢索請求后,所述方法還包括:
3.如權利要求1所述的方法,其特征在于,所述文本檢索模塊包括稀疏檢索單元與密集檢索單元;
4.如權利要求2所述的方法,其特征在于,所述跨模態檢索模塊對所述汽車工程數據檢索請求進行處理,包括:
5.如權利要求1所述的方法,其特征在于,所述結構化檢索模塊是基于配置的尺寸工程知識圖譜對所述汽車工程數據檢索請求進行處理的;
6.如權利要求1所述的方法,其特征在于,所述融合排序模塊接收文本檢索模塊、跨模態檢索模塊、結構化檢索模塊分別輸出的輸出結果;
7.如權利要求1所述的方法,其特征在于,在獲取用戶發起的汽車工程數據檢索請求前,所述方法還包括:
8.一種用于汽車工程數據的檢索裝置,其特征在于,所述裝置包括:
9.一種電子設備,其特征在于,所述電子設備包括處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質內存儲有計算機程序,所述計算機程序被處理器執行時實現權利要求1-7任一所述的方法步驟。