本發(fā)明涉及軟件開發(fā)，具體為一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)。
背景技術(shù)：
1、智能軟件開發(fā)是指一套利用人工智能技術(shù)來增強(qiáng)、自動(dòng)化乃至重塑軟件工程生命周期中各項(xiàng)活動(dòng)的理論、方法與實(shí)踐的集合。專注于如何利用ai技術(shù)增強(qiáng)集成開發(fā)環(huán)境（ide）、代碼編輯器等工具的能力，且涉及代碼的自動(dòng)分析、摘要、補(bǔ)全和生成，利用ai進(jìn)行bug預(yù)測、代碼重構(gòu)建議、影響分析等。
2、融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)是一個(gè)以知識(shí)圖譜為核心，通過人工智能技術(shù)集成、理解和關(guān)聯(lián)軟件開發(fā)全生命周期中多種形態(tài)信息，并提供上下文感知的智能輔助與自動(dòng)化服務(wù)的統(tǒng)一平臺(tái)。
3、傳統(tǒng)的軟件開發(fā)輔助平臺(tái)存在以下問題：
4、1、信息割裂與孤島化導(dǎo)致的開發(fā)上下文缺失嚴(yán)重，開發(fā)工具相互獨(dú)立，數(shù)據(jù)格式不互通；
5、2、開發(fā)輔助工具能力獨(dú)立、被動(dòng)、智能化程度低，仍局限在代碼語法層面，缺乏對(duì)項(xiàng)目整體語義的理解；
6、3、開發(fā)與運(yùn)維反饋鏈條斷裂，優(yōu)化滯后且依賴人工經(jīng)驗(yàn)，因此我們需要提出一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，通過多模態(tài)融合模塊和圖譜構(gòu)建模塊的配合設(shè)計(jì)，自動(dòng)理解并關(guān)聯(lián)需求文檔、設(shè)計(jì)稿、代碼、運(yùn)維數(shù)據(jù)等不同形態(tài)的信息，構(gòu)建統(tǒng)一的項(xiàng)目知識(shí)圖譜，以解決上述背景技術(shù)中提出的問題。
2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，包括：
3、多模態(tài)信息采集模塊，負(fù)責(zé)從不同數(shù)據(jù)源頭采集不同形態(tài)的數(shù)據(jù)；
4、多模態(tài)融合模塊，負(fù)責(zé)處理和分析采集到的不同形態(tài)數(shù)據(jù)，從不同形態(tài)數(shù)據(jù)中提取語義并建立跨模態(tài)關(guān)聯(lián)；
5、交互與輔助生成模塊，直接與用戶交互，將多模態(tài)融合模塊的理解能力轉(zhuǎn)化為具體的開發(fā)輔助功能；
6、圖譜構(gòu)建模塊，用于存儲(chǔ)和管理由多模態(tài)融合模塊構(gòu)建的關(guān)聯(lián)網(wǎng)絡(luò)；
7、協(xié)同管理模塊，優(yōu)化團(tuán)隊(duì)協(xié)作流程；
8、反饋閉環(huán)模塊，連接開發(fā)與運(yùn)維，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的持續(xù)優(yōu)化；
9、所述反饋閉環(huán)模塊、多模態(tài)信息采集模塊、多模態(tài)融合模塊、圖譜構(gòu)建模塊依次連接，所述交互與輔助生成模塊和協(xié)同管理模塊均與圖譜構(gòu)建模塊電連接，所述多模態(tài)信息采集模塊、多模態(tài)融合模塊均與交互與輔助生成模塊電連接，所述多模態(tài)信息采集模塊還與協(xié)同管理模塊電連接。
10、優(yōu)選的，所述多模態(tài)信息采集模塊包括依次連接的多源適配器集、數(shù)據(jù)標(biāo)準(zhǔn)化單元、數(shù)據(jù)路由與分發(fā)單元；其中
11、多源適配器集，一組針對(duì)不同數(shù)據(jù)源的客戶端或監(jiān)聽器，負(fù)責(zé)與具體工具集成；
12、數(shù)據(jù)標(biāo)準(zhǔn)化單元，將不同來源的原始數(shù)據(jù)轉(zhuǎn)換為平臺(tái)內(nèi)統(tǒng)一的中間格式；
13、數(shù)據(jù)路由與分發(fā)單元，將標(biāo)準(zhǔn)化后的數(shù)據(jù)發(fā)送出去。
14、優(yōu)選的，所述多模態(tài)融合模塊包括依次連接的模態(tài)理解單元、統(tǒng)一語義表示單元、跨模態(tài)融合單元；其中
15、模態(tài)理解單元，包含多個(gè)專門處理特定模態(tài)數(shù)據(jù)的ai模型；
16、統(tǒng)一語義表示單元，將不同模態(tài)理解器輸出的結(jié)果映射到同一個(gè)語義空間；
17、跨模態(tài)融合單元，接收來自統(tǒng)一語義表示單元的各模態(tài)向量，并深度推理、關(guān)聯(lián)與對(duì)齊。
18、優(yōu)選的，所述模態(tài)理解單元包括：
19、代碼分析器，進(jìn)行詞法分析、語法分析，生成抽象語法樹，提取代碼結(jié)構(gòu)、依賴和語義；
20、nlp引擎，處理自然語言文本，進(jìn)行實(shí)體識(shí)別、關(guān)鍵詞提取、情感分析、摘要生成；
21、cv引擎，解析圖像，進(jìn)行物體檢測、ocr識(shí)別布局和文字，理解ui組件和樣式；
22、語音識(shí)別器，將音頻流轉(zhuǎn)換為文本，并識(shí)別不同說話人。
23、優(yōu)選的，所述交互與輔助生成模塊包括上下文管理單元、意圖識(shí)別單元、服務(wù)調(diào)度單元、結(jié)果生成與渲染單元，所述意圖識(shí)別單元、服務(wù)調(diào)度單元均與上下文管理單元電連接，所述意圖識(shí)別單元、結(jié)果生成與渲染單元均與服務(wù)調(diào)度單元電連接。
24、優(yōu)選的，所述上下文管理單元，實(shí)時(shí)捕捉和維持用戶當(dāng)前的開發(fā)上下文；
25、意圖識(shí)別單元，解析用戶的指令，判斷其意圖；
26、服務(wù)調(diào)度單元，根據(jù)識(shí)別出的意圖，調(diào)用不同的ai服務(wù)；
27、結(jié)果生成與渲染單元，將ai服務(wù)返回的結(jié)果以友好形式呈現(xiàn)給用戶。
28、優(yōu)選的，所述圖譜構(gòu)建模塊包括依次連接的圖譜構(gòu)建單元、存儲(chǔ)引擎單元、查詢與計(jì)算單元；其中
29、圖譜構(gòu)建單元，負(fù)責(zé)從融合引擎接收關(guān)聯(lián)信息，并更新知識(shí)圖譜；
30、存儲(chǔ)引擎單元，為圖數(shù)據(jù)庫；
31、查詢與計(jì)算單元，提供復(fù)雜的圖譜查詢和計(jì)算能力。
32、優(yōu)選的，所述協(xié)同管理模塊包括并行協(xié)作的任務(wù)管理單元、協(xié)作上下文增強(qiáng)單元、流程挖掘與優(yōu)化單元；其中
33、任務(wù)管理單元，自動(dòng)化管理任務(wù)的生命周期；
34、協(xié)作上下文增強(qiáng)單元，在協(xié)作點(diǎn)注入相關(guān)信息；
35、流程挖掘與優(yōu)化單元，分析團(tuán)隊(duì)協(xié)作數(shù)據(jù)，發(fā)現(xiàn)瓶頸。
36、優(yōu)選的，所述反饋閉環(huán)模塊包括依次連接的監(jiān)控?cái)?shù)據(jù)集成單元、根因分析單元、反饋?zhàn)⑷雴卧黄渲?/p>
37、監(jiān)控?cái)?shù)據(jù)集成單元，持續(xù)消費(fèi)生產(chǎn)環(huán)境的監(jiān)控?cái)?shù)據(jù)；
38、根因分析單元，發(fā)生故障時(shí)，自動(dòng)定位問題源頭；
39、反饋?zhàn)⑷雴卧瑢⑦\(yùn)維結(jié)論反饋給開發(fā)環(huán)節(jié)。
40、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
41、1、本發(fā)明通過多模態(tài)融合模塊和圖譜構(gòu)建模塊的配合設(shè)計(jì)，自動(dòng)理解并關(guān)聯(lián)需求文檔、設(shè)計(jì)稿、代碼、運(yùn)維數(shù)據(jù)等不同形態(tài)的信息，構(gòu)建統(tǒng)一的項(xiàng)目知識(shí)圖譜，打破了傳統(tǒng)開發(fā)工具鏈中的“信息孤島”，為開發(fā)者提供了完整的、可追溯的上下文無需在多個(gè)工具間手動(dòng)切換和拼湊信息，顯著降低了認(rèn)知負(fù)荷和上下文切換成本。
42、2、本發(fā)明通過交互與輔助生成模塊的設(shè)計(jì)，能夠基于對(duì)開發(fā)者當(dāng)前工作上下文的理解，主動(dòng)提供精準(zhǔn)的代碼補(bǔ)全、生成、問答和文檔更新等服務(wù)，使得開發(fā)輔助從“僅基于代碼語法”升級(jí)為“基于全方位項(xiàng)目語義”，能夠根據(jù)自然語言描述或設(shè)計(jì)稿直接生成高質(zhì)量代碼，實(shí)現(xiàn)了從重復(fù)性勞動(dòng)中的解放。
43、3、本發(fā)明通過反饋閉環(huán)模塊的設(shè)計(jì)，將生產(chǎn)環(huán)境的監(jiān)控?cái)?shù)據(jù)自動(dòng)關(guān)聯(lián)回開發(fā)環(huán)節(jié)的知識(shí)圖譜，實(shí)現(xiàn)問題的智能根因分析和精準(zhǔn)追溯，并能自動(dòng)生成技術(shù)債務(wù)工單或優(yōu)化代碼生成策略，實(shí)現(xiàn)了真正意義上的數(shù)據(jù)驅(qū)動(dòng)devops閉環(huán)，極大縮短了故障排查的平均修復(fù)時(shí)間，并基于真實(shí)運(yùn)行數(shù)據(jù)持續(xù)優(yōu)化軟件架構(gòu)與代碼質(zhì)量。
1.一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述多模態(tài)信息采集模塊包括依次連接的多源適配器集、數(shù)據(jù)標(biāo)準(zhǔn)化單元、數(shù)據(jù)路由與分發(fā)單元；其中
3.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述多模態(tài)融合模塊包括依次連接的模態(tài)理解單元、統(tǒng)一語義表示單元、跨模態(tài)融合單元；其中
4.根據(jù)權(quán)利要求3所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述模態(tài)理解單元包括：
5.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述交互與輔助生成模塊包括上下文管理單元、意圖識(shí)別單元、服務(wù)調(diào)度單元、結(jié)果生成與渲染單元，所述意圖識(shí)別單元、服務(wù)調(diào)度單元均與上下文管理單元電連接，所述意圖識(shí)別單元、結(jié)果生成與渲染單元均與服務(wù)調(diào)度單元電連接。
6.根據(jù)權(quán)利要求5所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述上下文管理單元，實(shí)時(shí)捕捉和維持用戶當(dāng)前的開發(fā)上下文；
7.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述圖譜構(gòu)建模塊包括依次連接的圖譜構(gòu)建單元、存儲(chǔ)引擎單元、查詢與計(jì)算單元；其中
8.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述協(xié)同管理模塊包括并行協(xié)作的任務(wù)管理單元、協(xié)作上下文增強(qiáng)單元、流程挖掘與優(yōu)化單元；其中
9.根據(jù)權(quán)利要求1所述的一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，其特征在于：所述反饋閉環(huán)模塊包括依次連接的監(jiān)控?cái)?shù)據(jù)集成單元、根因分析單元、反饋?zhàn)⑷雴卧黄渲?/p>
技術(shù)總結(jié)
本發(fā)明涉及技術(shù)領(lǐng)域，公開了一種融合多模態(tài)信息的智能軟件開發(fā)輔助平臺(tái)，包括：多模態(tài)信息采集模塊、多模態(tài)融合模塊、交互與輔助生成模塊、圖譜構(gòu)建模塊、協(xié)同管理模塊、反饋閉環(huán)模塊，通過多模態(tài)融合模塊和圖譜構(gòu)建模塊的配合設(shè)計(jì)，自動(dòng)理解并關(guān)聯(lián)需求文檔、設(shè)計(jì)稿、代碼、運(yùn)維數(shù)據(jù)等不同形態(tài)的信息，構(gòu)建統(tǒng)一的項(xiàng)目知識(shí)圖譜，打破了傳統(tǒng)開發(fā)工具鏈中的“信息孤島”，為開發(fā)者提供了完整的、可追溯的上下文無需在多個(gè)工具間手動(dòng)切換和拼湊信息，顯著降低了認(rèn)知負(fù)荷和上下文切換成本。能夠根據(jù)自然語言描述或設(shè)計(jì)稿直接生成高質(zhì)量代碼，實(shí)現(xiàn)了從重復(fù)性勞動(dòng)中的解放。
技術(shù)研發(fā)人員：劉東,袁宏,周梓軒,周云宣,孫清臨,何凡,何宇昆
受保護(hù)的技術(shù)使用者：新余市袁河科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2026/4/16