本發(fā)明涉及作物病害診斷領(lǐng)域，具體為一種基于輕量化視覺(jué)模型與檢索增強(qiáng)生成的作物病害診斷系統(tǒng)。
背景技術(shù)：
1、在智慧農(nóng)業(yè)領(lǐng)域，及時(shí)準(zhǔn)確地診斷作物病害并提供有效的防治指導(dǎo)，對(duì)保障作物產(chǎn)量和農(nóng)業(yè)效益至關(guān)重要，隨著人工智能技術(shù)的應(yīng)用，基于視覺(jué)識(shí)別和自然語(yǔ)言處理的病害診斷方法逐漸受到關(guān)注，但在實(shí)際推廣中仍存在明顯局限。
2、當(dāng)前，高精度視覺(jué)模型通常參數(shù)規(guī)模大、計(jì)算需求高，難以在存儲(chǔ)和算力有限的移動(dòng)設(shè)備或嵌入式終端上高效運(yùn)行，制約了其在田間地頭的實(shí)時(shí)部署。此外，傳統(tǒng)圖像分類(lèi)模型一般僅能輸出病害類(lèi)別，無(wú)法提供詳細(xì)的癥狀說(shuō)明與防治建議，實(shí)用性不足。而直接采用通用大語(yǔ)言模型生成農(nóng)業(yè)問(wèn)答內(nèi)容，又容易因其訓(xùn)練數(shù)據(jù)與農(nóng)業(yè)專(zhuān)業(yè)知識(shí)未充分對(duì)齊，導(dǎo)致在農(nóng)藥名稱(chēng)、使用劑量等關(guān)鍵信息上出現(xiàn)事實(shí)性偏差，存在指導(dǎo)風(fēng)險(xiǎn)。
3、現(xiàn)有一些結(jié)合多模態(tài)檢索與生成的方法嘗試引入外部知識(shí)以提升回答準(zhǔn)確性，但其系統(tǒng)往往依賴(lài)大型多模態(tài)網(wǎng)絡(luò)，整體計(jì)算負(fù)載高、響應(yīng)延遲大，不適合邊緣環(huán)境，同時(shí)，通用檢索機(jī)制在區(qū)分外觀相似但屬于不同作物或不同病種的案例時(shí)，缺乏針對(duì)農(nóng)業(yè)特征的細(xì)粒度引導(dǎo)，可能影響診斷的專(zhuān)業(yè)性和可靠性。
4、因此，亟待開(kāi)發(fā)一種能夠在資源受限環(huán)境下穩(wěn)定運(yùn)行，兼具識(shí)別準(zhǔn)確、知識(shí)專(zhuān)業(yè)、響應(yīng)迅速的輕量化病害智能診斷方案，實(shí)現(xiàn)從圖像感知到防治建議生成的可靠技術(shù)閉環(huán)。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于輕量化視覺(jué)模型與檢索增強(qiáng)生成的作物病害診斷系統(tǒng)，解決了現(xiàn)有技術(shù)中缺少一種能夠在資源受限環(huán)境下穩(wěn)定運(yùn)行，兼具識(shí)別準(zhǔn)確、知識(shí)專(zhuān)業(yè)、響應(yīng)迅速的輕量化病害智能診斷方案的問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于輕量化視覺(jué)模型與檢索增強(qiáng)生成的作物病害診斷系統(tǒng)，該系統(tǒng)包括：
3、輕量化視覺(jué)識(shí)別網(wǎng)絡(luò)，用于從輸入圖像中提取包含作物種類(lèi)與病害類(lèi)型的視覺(jué)標(biāo)簽；
4、自適應(yīng)檢索增強(qiáng)模塊，用于將農(nóng)業(yè)書(shū)籍分塊為封裝有元數(shù)據(jù)的多個(gè)文檔塊，根據(jù)視覺(jué)標(biāo)簽和元數(shù)據(jù)在農(nóng)業(yè)知識(shí)庫(kù)中檢索以獲得多個(gè)候選文檔塊，將視覺(jué)標(biāo)簽、用戶(hù)原始提問(wèn)以及系統(tǒng)指令按照預(yù)設(shè)邏輯進(jìn)行重組以構(gòu)建組合標(biāo)簽，依次計(jì)算用于反映組合標(biāo)簽與各個(gè)候選文檔塊之間匹配程度和檢索質(zhì)量的綜合評(píng)分，并利用父文檔檢索機(jī)制和綜合評(píng)分最高的候選文檔塊回溯上下文；
5、農(nóng)業(yè)大語(yǔ)言模型，基于農(nóng)業(yè)知識(shí)庫(kù)對(duì)預(yù)構(gòu)建的大語(yǔ)言模型進(jìn)行監(jiān)督微調(diào)獲得；
6、路由決策模塊，用于根據(jù)候選文檔塊的檢索質(zhì)量，選擇性地將視覺(jué)標(biāo)簽、用戶(hù)原始提問(wèn)和回溯得到的上下文，或者僅將視覺(jué)標(biāo)簽和用戶(hù)原始提問(wèn)輸入微調(diào)后的農(nóng)業(yè)大語(yǔ)言模型，以生成診斷結(jié)果。
7、作為優(yōu)選，所述農(nóng)業(yè)大語(yǔ)言模型構(gòu)建的具體步驟為：
8、選取用于訓(xùn)練的基礎(chǔ)大語(yǔ)言模型，并選用bf16精度加載；
9、獲取農(nóng)業(yè)領(lǐng)域的問(wèn)答訓(xùn)練數(shù)據(jù)，并按照預(yù)定義的對(duì)話(huà)模板格式序列化為標(biāo)準(zhǔn)對(duì)話(huà)格式；
10、將標(biāo)準(zhǔn)對(duì)話(huà)格式輸入至基礎(chǔ)大語(yǔ)言模型，并通過(guò)微調(diào)模型對(duì)基礎(chǔ)大語(yǔ)言模型的transformer層的注意力機(jī)制進(jìn)行微調(diào)訓(xùn)練；
11、訓(xùn)練過(guò)程中采用梯度累積機(jī)制，并在訓(xùn)練完成后保存體積較小的微調(diào)模型權(quán)重，在推理時(shí)合并至基礎(chǔ)大語(yǔ)言模型以構(gòu)建農(nóng)業(yè)大語(yǔ)言模型。
12、作為優(yōu)選，所述農(nóng)業(yè)書(shū)籍分塊的具體步驟為：
13、對(duì)農(nóng)業(yè)書(shū)籍進(jìn)行解析以識(shí)別其中的層級(jí)標(biāo)題結(jié)構(gòu)與段落邊界，得到解析后的文本段落；
14、基于預(yù)定義的農(nóng)業(yè)領(lǐng)域關(guān)鍵詞規(guī)則，對(duì)解析后的文本段落進(jìn)行內(nèi)容類(lèi)型識(shí)別，并注入對(duì)應(yīng)的知識(shí)類(lèi)型標(biāo)簽；其中，所述知識(shí)類(lèi)型標(biāo)簽至少包括用于標(biāo)識(shí)病害癥狀的第一類(lèi)型標(biāo)簽與用于標(biāo)識(shí)防治措施的第二類(lèi)型標(biāo)簽；
15、將文本段落劃分為預(yù)設(shè)長(zhǎng)度的多個(gè)文檔塊，并將文檔塊的切分點(diǎn)動(dòng)態(tài)錨定在最近的段落結(jié)束符或句號(hào)；
16、為每個(gè)文檔塊封裝元數(shù)據(jù)，所述元數(shù)據(jù)至少包含對(duì)應(yīng)文檔塊的所對(duì)應(yīng)的農(nóng)業(yè)書(shū)籍名稱(chēng)、對(duì)應(yīng)的作物名稱(chēng)、病害名稱(chēng)、知識(shí)類(lèi)型標(biāo)簽以及父文檔id。
17、作為優(yōu)選，所述綜合評(píng)分為向量相似度分?jǐn)?shù)、重排相關(guān)性分?jǐn)?shù)和領(lǐng)域獎(jiǎng)勵(lì)分的加權(quán)和；
18、所述向量相似度分?jǐn)?shù)用于將組合標(biāo)簽與候選文檔塊向量化，并計(jì)算二者的余弦相似度獲得；
19、所述重排相關(guān)性分?jǐn)?shù)用于將組合標(biāo)簽與候選文檔塊拼接后輸入至交叉編碼器模型獲得；
20、所述領(lǐng)域獎(jiǎng)勵(lì)分基于所述視覺(jué)標(biāo)簽與候選文檔塊元數(shù)據(jù)中作物名、病害名的匹配情況，按照預(yù)設(shè)規(guī)則為每個(gè)成功匹配的項(xiàng)賦予預(yù)設(shè)分值，并計(jì)算所有匹配項(xiàng)的分值之和。
21、作為優(yōu)選，所述向量相似度分?jǐn)?shù)、重排相關(guān)性分?jǐn)?shù)和領(lǐng)域獎(jiǎng)勵(lì)分在計(jì)算加權(quán)和時(shí)，領(lǐng)域獎(jiǎng)勵(lì)分的權(quán)重大于重排相關(guān)性分?jǐn)?shù)的權(quán)重，重排相關(guān)性分?jǐn)?shù)的權(quán)重大于向量相似度分?jǐn)?shù)的權(quán)重。
22、作為優(yōu)選，所述父文檔檢索機(jī)制回溯上下文的具體步驟為：
23、將綜合評(píng)分最高的候選文檔塊標(biāo)記為核心塊；
24、根據(jù)核心塊上封裝的元數(shù)據(jù)中的父文檔id映射回原始農(nóng)業(yè)書(shū)籍的完整章節(jié)；
25、以核心塊為中心，提取其在原始農(nóng)業(yè)書(shū)籍的完整章節(jié)中的前后多個(gè)相鄰的文檔塊，以獲得包含核心塊的上下文。
26、作為優(yōu)選，所述診斷結(jié)果獲得的具體步驟為：
27、計(jì)算用戶(hù)原始提問(wèn)和回溯得到的上下文之間的實(shí)體覆蓋率和關(guān)鍵詞重疊度；
28、若實(shí)體覆蓋率或關(guān)鍵詞重疊度低于對(duì)應(yīng)的閾值，則將視覺(jué)標(biāo)簽和用戶(hù)原始提問(wèn)輸入微調(diào)后的農(nóng)業(yè)大語(yǔ)言模型，以生成診斷結(jié)果；
29、否則，在將視覺(jué)標(biāo)簽、用戶(hù)原始提問(wèn)和回溯得到的上下文輸入微調(diào)后的農(nóng)業(yè)大語(yǔ)言模型，以生成診斷結(jié)果。
30、作為優(yōu)選，所述實(shí)體覆蓋率計(jì)算的具體步驟為：
31、提取用戶(hù)原始提問(wèn)中的實(shí)體以獲得用戶(hù)實(shí)體集，提取回溯得到的上下文中的實(shí)體以獲得上下文實(shí)體集；
32、計(jì)算用戶(hù)實(shí)體集和上下文實(shí)體集的交集與用戶(hù)實(shí)體集的比值以獲得實(shí)體覆蓋率。
33、作為優(yōu)選，所述關(guān)鍵詞重疊度基于bm25算法并引入農(nóng)業(yè)特征獎(jiǎng)勵(lì)計(jì)算獲得，其具體計(jì)算步驟為：
34、將用戶(hù)原始提問(wèn)和回溯得到的上下文向量化，并計(jì)算二者的余弦相似度，以獲得語(yǔ)義相關(guān)度分?jǐn)?shù)；
35、通過(guò)bm25算法計(jì)算用戶(hù)原始提問(wèn)和回溯得到的上下文之間的匹配程度，以獲得關(guān)鍵詞匹配分?jǐn)?shù)；
36、對(duì)回溯得到的上下文所對(duì)應(yīng)的元數(shù)據(jù)和用戶(hù)原始提問(wèn)中代表作物名和病害名的實(shí)體進(jìn)行匹配，按照預(yù)設(shè)規(guī)則為每個(gè)成功匹配的項(xiàng)賦予預(yù)設(shè)分值，并計(jì)算所有匹配項(xiàng)的分值之和，并在每次成功匹配時(shí)額外增加預(yù)設(shè)數(shù)值的獎(jiǎng)勵(lì)分?jǐn)?shù)，以獲得農(nóng)業(yè)特征獎(jiǎng)勵(lì)項(xiàng)；
37、計(jì)算語(yǔ)義相關(guān)度分?jǐn)?shù)、關(guān)鍵詞匹配分?jǐn)?shù)和農(nóng)業(yè)特征獎(jiǎng)勵(lì)項(xiàng)的加權(quán)和以獲得關(guān)鍵詞重疊度。
38、與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種基于輕量化視覺(jué)模型與檢索增強(qiáng)生成的作物病害診斷系統(tǒng)，具備以下有益效果：
39、1、本發(fā)明通過(guò)將輕量化視覺(jué)識(shí)別網(wǎng)絡(luò)與檢索增強(qiáng)生成系統(tǒng)有機(jī)協(xié)同，以極低計(jì)算開(kāi)銷(xiāo)實(shí)現(xiàn)高精度病害診斷與專(zhuān)業(yè)方案生成，視覺(jué)模型參數(shù)量?jī)H4.2m，準(zhǔn)確率達(dá)98%以上，可流暢部署于移動(dòng)終端或嵌入式設(shè)備，視覺(jué)標(biāo)簽作為硬約束檢索前綴，從根本上杜絕跨作物誤診，形成“感知-檢索-生成”高效閉環(huán)，顯著降低田間部署門(mén)檻。
40、2、本發(fā)明采用lora參數(shù)高效微調(diào)技術(shù)，在保持基座模型通用能力的前提下精準(zhǔn)注入農(nóng)業(yè)領(lǐng)域知識(shí)，僅需訓(xùn)練極小規(guī)模適配器權(quán)重，即可使7b級(jí)大語(yǔ)言模型具備深厚的植物病理學(xué)專(zhuān)業(yè)知識(shí)，梯度累積與bf16精度策略確保在有限顯存資源下穩(wěn)定訓(xùn)練，大幅降低領(lǐng)域大模型的構(gòu)建與存儲(chǔ)成本。
41、3、本發(fā)明通過(guò)智能分塊、元數(shù)據(jù)封裝及父文檔檢索機(jī)制，實(shí)現(xiàn)農(nóng)業(yè)非結(jié)構(gòu)化知識(shí)的深度結(jié)構(gòu)化加工，基于語(yǔ)義邊界的邊界保護(hù)切分保證知識(shí)片段語(yǔ)義完整，作物、病害、知識(shí)類(lèi)型等多維元數(shù)據(jù)為精準(zhǔn)檢索提供硬約束過(guò)濾依據(jù)，父文檔檢索以核心塊為中心自動(dòng)擴(kuò)展前后文，有效破解知識(shí)碎片化導(dǎo)致的語(yǔ)義割裂問(wèn)題，確保生成答案的連貫性與信息完整性。
42、4、本發(fā)明構(gòu)建多因子綜合評(píng)分與動(dòng)態(tài)路由決策機(jī)制，實(shí)現(xiàn)檢索質(zhì)量量化評(píng)估與生成路徑自適應(yīng)切換，向量相似度、重排相關(guān)性分?jǐn)?shù)與領(lǐng)域獎(jiǎng)勵(lì)分加權(quán)融合，兼顧語(yǔ)義廣度、邏輯深度與事實(shí)精度，實(shí)體覆蓋率與關(guān)鍵詞重疊度雙閾值判定，精準(zhǔn)識(shí)別知識(shí)盲區(qū)并觸發(fā)回退生成，有效抑制大語(yǔ)言模型幻覺(jué)，保障藥劑名稱(chēng)、使用劑量等關(guān)鍵信息的專(zhuān)業(yè)性與事實(shí)準(zhǔn)確性。