本技術(shù)涉及人工智能,尤其涉及一種知識(shí)圖譜表示學(xué)習(xí)方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。
背景技術(shù):
1、知識(shí)圖譜作為一種以實(shí)體和關(guān)系為核心的結(jié)構(gòu)化知識(shí)表示形式,廣泛應(yīng)用于智能問答、推薦系統(tǒng)、信息檢索與知識(shí)推理等人工智能任務(wù)。在大型企業(yè)集團(tuán)中,不同業(yè)務(wù)部門—如供應(yīng)鏈管理、客戶服務(wù)、市場(chǎng)運(yùn)營與設(shè)備運(yùn)維——通常各自維護(hù)獨(dú)立的知識(shí)圖譜系統(tǒng),用于支撐其特定業(yè)務(wù)流程。這些局部知識(shí)圖譜雖內(nèi)容豐富,但在數(shù)據(jù)結(jié)構(gòu)、命名規(guī)范與語義表達(dá)上存在顯著差異,導(dǎo)致跨系統(tǒng)知識(shí)難以有效整合。知識(shí)圖譜表示學(xué)習(xí)通過將離散的實(shí)體與關(guān)系映射到低維連續(xù)向量空間,實(shí)現(xiàn)了語義信息的可計(jì)算化表達(dá),顯著降低了知識(shí)稀疏性與計(jì)算復(fù)雜度。經(jīng)過多年發(fā)展,該技術(shù)已從早期的線性嵌入模型(如transe、transh)演進(jìn)為融合圖神經(jīng)網(wǎng)絡(luò)(gnn)、注意力機(jī)制與預(yù)訓(xùn)練策略的深度建模范式,能夠有效捕捉多跳結(jié)構(gòu)依賴與上下文語義特征。同時(shí),通過構(gòu)建關(guān)系特定投影空間(如transr、transd)或多源信息融合,進(jìn)一步提升了表示的表達(dá)能力與魯棒性,推動(dòng)了高可解釋性與跨領(lǐng)域知識(shí)建模的發(fā)展。
2、盡管現(xiàn)有方法在建模能力上取得進(jìn)展,但在實(shí)際企業(yè)應(yīng)用中仍普遍面臨潛在語義混疊的核心問題—實(shí)體與關(guān)系的多重語義特征(如類別、功能、上下文)被混合編碼于同一向量空間中,導(dǎo)致表示模糊、泛化性差。(例如,“服務(wù)器設(shè)備”既屬于it資產(chǎn)類別,又參與運(yùn)維流程、承載服務(wù)功能,并關(guān)聯(lián)安全事件)基于結(jié)構(gòu)投影或gnn的方法雖能區(qū)分部分語義,但難以實(shí)現(xiàn)潛在因素的真正解耦;而依賴外部知識(shí)或多模態(tài)信息的方案則受限于數(shù)據(jù)質(zhì)量與一致性,通用性不足。難以在企業(yè)內(nèi)部大規(guī)模推廣,此外,注意力機(jī)制側(cè)重特征加權(quán)聚合,缺乏對(duì)語義成分的獨(dú)立建模能力,無法從根本上解決耦合與冗余問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本技術(shù)實(shí)施例提供一種知識(shí)圖譜表示學(xué)習(xí)方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì),可以有效解決現(xiàn)有技術(shù)中因語義混疊導(dǎo)致的實(shí)體表示耦合性強(qiáng)、可解釋性差、泛化能力不足等問題。
2、第一方面,本技術(shù)實(shí)施例提供一種知識(shí)圖譜表示學(xué)習(xí)方法,包括:
3、獲取來自不同業(yè)務(wù)線的局部知識(shí)圖譜中的三元組,并利用編碼模型對(duì)所述三元組中的實(shí)體進(jìn)行編碼處理,以生成對(duì)應(yīng)的初始語義表示;
4、對(duì)所述初始語義表示進(jìn)行分解處理,得到用于表征不同語義因素的潛在特征集合;
5、基于獨(dú)立性約束機(jī)制,對(duì)所述潛在特征集合進(jìn)行潛變量獨(dú)立性建模,獲得語義解耦表示;
6、根據(jù)所述三元組中的關(guān)系類型,對(duì)所述語義解耦表示執(zhí)行關(guān)系注意力聚合處理,生成關(guān)系相關(guān)的實(shí)體表示;
7、基于預(yù)設(shè)的優(yōu)化目標(biāo),對(duì)所述實(shí)體表示和所述三元組進(jìn)行訓(xùn)練,以更新所述編碼模型的參數(shù)。
8、在一些實(shí)施例中,所述獲取知識(shí)圖譜中的三元組,并利用編碼模型對(duì)所述三元組中的實(shí)體進(jìn)行編碼處理,以生成對(duì)應(yīng)的初始語義表示,包括:
9、將所述三元組中的每一實(shí)體映射為對(duì)應(yīng)的初始向量表示;
10、將所述初始向量表示輸入至所述編碼模型,得到均值向量和方差向量;
11、基于所述均值向量和所述方差向量進(jìn)行采樣,得到多個(gè)潛變量向量;
12、對(duì)所述多個(gè)潛變量向量進(jìn)行拼接處理,生成對(duì)應(yīng)的初始語義表示。
13、在一些實(shí)施例中,所述對(duì)所述初始語義表示進(jìn)行分解處理,得到用于表征不同語義因素的潛在特征集合,包括:
14、將所述初始語義表示按照預(yù)設(shè)維度劃分為多個(gè)子向量;其中,每一所述子向量用于表征不同類型的語義因素;
15、對(duì)各子向量分別執(zhí)行維度映射,得到對(duì)應(yīng)的子空間表示;
16、將各所述子空間表示構(gòu)建為潛在特征集合。
17、在一些實(shí)施例中,所述基于獨(dú)立性約束機(jī)制,對(duì)所述潛在特征集合進(jìn)行潛變量獨(dú)立性建模,獲得語義解耦表示,包括:
18、將所述潛在特征集合作為真樣本,生成對(duì)應(yīng)的真樣本潛在變量;
19、對(duì)所述潛在特征集合中的子空間順序執(zhí)行隨機(jī)打亂處理,生成對(duì)應(yīng)的假樣本潛在變量;
20、將所述真樣本潛在變量和所述假樣本潛在變量輸入至判別器,得到對(duì)抗判別分?jǐn)?shù);
21、基于所述對(duì)抗判別分?jǐn)?shù)對(duì)所述潛在特征集合進(jìn)行訓(xùn)練,得到滿足獨(dú)立性約束的語義解耦表示。
22、在一些實(shí)施例中,所述根據(jù)所述三元組中的關(guān)系類型,對(duì)所述語義解耦表示執(zhí)行關(guān)系注意力聚合處理,以生成關(guān)系相關(guān)的實(shí)體表示,包括:
23、獲取所述關(guān)系類型的向量表示;
24、將所述向量表示與所述語義解耦表示中的各潛在變量分別執(zhí)行權(quán)重計(jì)算,得到多個(gè)注意力權(quán)重;
25、基于多個(gè)所述注意力權(quán)重對(duì)所述各潛在變量執(zhí)行加權(quán)融合,生成關(guān)系相關(guān)的實(shí)體表示。
26、在一些實(shí)施例中,所述基于預(yù)設(shè)的優(yōu)化目標(biāo),對(duì)所述實(shí)體表示和所述三元組進(jìn)行訓(xùn)練,以更新所述編碼模型的參數(shù),包括:
27、構(gòu)建包含正樣本和負(fù)樣本對(duì)的三元組集合;
28、基于所述實(shí)體表示,對(duì)所述三元組集合執(zhí)行評(píng)分計(jì)算,得到對(duì)應(yīng)的評(píng)分值;
29、根據(jù)所述評(píng)分值計(jì)算得到聯(lián)合損失;
30、利用所述聯(lián)合損失對(duì)所述編碼模型進(jìn)行反向傳播訓(xùn)練,更新對(duì)應(yīng)的模型參數(shù)。
31、在一些實(shí)施例中,所述利用所述聯(lián)合損失對(duì)所述編碼模型進(jìn)行反向傳播訓(xùn)練,更新對(duì)應(yīng)的模型參數(shù),還包括:
32、基于所述聯(lián)合損失對(duì)所述編碼模型的各層參數(shù)計(jì)算梯度向量;
33、根據(jù)所述梯度向量與預(yù)設(shè)的學(xué)習(xí)率生成對(duì)應(yīng)的參數(shù)更新量;
34、將所述參數(shù)更新量應(yīng)用于所述編碼模型的各層參數(shù),以得到更新后的模型參數(shù)。
35、第二方面,本技術(shù)實(shí)施例提供一種知識(shí)圖譜表示學(xué)習(xí)裝置,包括:
36、編碼模塊,用于獲取來自不同業(yè)務(wù)線的局部知識(shí)圖譜中的三元組,并利用編碼模型對(duì)所述三元組中涉及的實(shí)體進(jìn)行編碼處理,以生成對(duì)應(yīng)的初始語義表示;
37、分解模塊,用于對(duì)所述初始語義表示進(jìn)行分解處理,得到用于表征不同語義因素的潛在特征集合;
38、建模模塊,用于基于獨(dú)立性約束機(jī)制,對(duì)所述潛在特征集合進(jìn)行潛變量獨(dú)立性建模,獲得語義解耦表示;
39、聚合模塊,用于根據(jù)所述三元組中的關(guān)系類型,對(duì)所述語義解耦表示執(zhí)行關(guān)系注意力聚合處理,生成關(guān)系相關(guān)的實(shí)體表示;
40、更新模塊,用于基于預(yù)設(shè)的優(yōu)化目標(biāo),對(duì)所述實(shí)體表示和所述三元組進(jìn)行訓(xùn)練,以更新所述編碼模型的參數(shù)。
41、第三方面,本技術(shù)實(shí)施例提供一種終端設(shè)備,所述終端設(shè)備包括處理器和存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器用于執(zhí)行所述計(jì)算機(jī)程序以實(shí)施上述第一方面的知識(shí)圖譜表示學(xué)習(xí)方法。
42、第四方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)程序在處理器上執(zhí)行時(shí),實(shí)施上述第一方面的知識(shí)圖譜表示學(xué)習(xí)方法。
43、本技術(shù)的實(shí)施例具有如下有益效果:通過引入潛變量解耦建模與關(guān)系注意力聚合機(jī)制,實(shí)現(xiàn)了實(shí)體在潛在語義空間中的多維特征拆解與語義信息的獨(dú)立建模,有效降低了語義混疊的風(fēng)險(xiǎn);同時(shí),結(jié)合判別器輔助的獨(dú)立性約束與聯(lián)合損失函數(shù)訓(xùn)練機(jī)制,提升了潛變量表示的可控性和判別能力,從而增強(qiáng)了知識(shí)圖譜在復(fù)雜關(guān)系建模與下游任務(wù)遷移中的表示精度與泛化能力。