本發(fā)明涉及自動化養(yǎng)殖,具體涉及一種工廠化養(yǎng)殖魚體指標識別方法、系統(tǒng)、設備及介質。
背景技術:
1、工廠化養(yǎng)殖是現(xiàn)代水產養(yǎng)殖的重要發(fā)展方向,其中魚體生長指標的實時監(jiān)測是精準養(yǎng)殖的核心環(huán)節(jié)。
2、現(xiàn)有技術中,魚類體表尺寸測量主要采用以下兩種方法:(一)傳統(tǒng)圖像處理方法基于計算機視覺技術,通過攝像頭采集圖像后,使用opencv等庫進行圖像預處理、輪廓提取和特征分析,結合參照物比例尺計算魚體長度、寬度等基本尺寸參數(shù);(二)深度學習識別方法則采用卷積神經(jīng)網(wǎng)絡(如yolo、ssd等目標檢測算法)進行魚體檢測和關鍵點定位,通過訓練好的模型直接輸出魚體尺寸數(shù)據(jù)。
3、然而,現(xiàn)有技術存在明顯局限性和實際應用瓶頸。其一,現(xiàn)有方法大多假設魚體與攝像頭處于同一水平面,忽略魚群在立體水域中的深度變化帶來的透視畸變。當魚體在圓形池中游動時,其深度位置變化導致成像尺寸與實際尺寸存在非線性誤差,而傳統(tǒng)方法缺乏自動校正機制,依賴人工設定校正參數(shù),適用性差。此外,一些方案需特殊硬件(如深度相機、多視角攝像頭陣列)以解決透視問題,顯著增加系統(tǒng)成本和部署復雜度,不適合大規(guī)模工廠化養(yǎng)殖應用。
4、其二,當魚群密集重疊時,現(xiàn)有模型無法準確分割個體魚體,導致計數(shù)誤差和尺寸測量偏差。特別是yolo等目標檢測模型在魚體交叉重疊場景中誤檢率和漏檢率顯著升高,且缺乏有效的扎堆判斷機制,導致系統(tǒng)在魚群扎堆時仍繼續(xù)測量,輸出不可靠結果。
5、其三,現(xiàn)有方案通常僅能測量魚體長度和寬度,無法同步估算重量等關鍵指標。重量估算多采用經(jīng)驗公式,但公式參數(shù)固定,未考慮魚種差異、生長階段特性及水體環(huán)境的影響,導致重量估算誤差很大。
6、其四,傳統(tǒng)深度學習模型需針對特定魚種、養(yǎng)殖環(huán)境重新訓練,且依賴大規(guī)模標注數(shù)據(jù)集。當養(yǎng)殖池光照條件變化、水質渾濁或魚體顏色與背景對比度低時,模型性能顯著下降。
7、以上缺陷制約了魚體指標測量技術在大規(guī)模工廠化養(yǎng)殖中應用。
技術實現(xiàn)思路
1、本發(fā)明提供一種工廠化養(yǎng)殖魚體指標識別方法、系統(tǒng)、設備及介質,以解決現(xiàn)有魚體指標測量方法存在透視畸變校正能力不足、測量結果不可靠以及模型訓練和數(shù)據(jù)處理成本高的問題。
2、本發(fā)明通過下述技術方案實現(xiàn):
3、本發(fā)明的第一方面,提供了一種工廠化養(yǎng)殖魚體指標識別系統(tǒng),包括:
4、獲取垂直拍攝的魚池圖像;所述魚池圖像覆蓋完整的魚池邊界,且包括參照物;
5、將所述魚池圖像輸入多模態(tài)大模型中進行語義推理,同時通過第一提示詞觸發(fā)所述多模態(tài)大模型執(zhí)行魚群扎堆分析,獲取所述魚池圖像中是否存在魚群扎堆現(xiàn)象的分析結果;
6、若存在魚群扎堆現(xiàn)象,則獲取下一魚池圖像執(zhí)行魚群扎堆分析;否則,通過第二提示詞觸發(fā)所述多模態(tài)大模型執(zhí)行魚體指標識別;所述第二提示詞中包括所述參照物的幾何信息,所述參照物的幾何信息用于引導所述多模態(tài)大模型基于所述參照物對所述魚池圖像執(zhí)行透視畸變校正與魚體指標識別;
7、獲取所述多模態(tài)大模型輸出的魚體指標的識別結果,所述魚體指標包括魚體的數(shù)量、平均長度和平均重量。
8、進一步地,所述方法還包括:對所述魚體指標識別結果進行模型特異性修正;所述修正基于預設的修正公式進行,所述修正公式根據(jù)所采用的多模態(tài)大模型的類型預先訓練得到。
9、進一步地,所述通過第二提示詞觸發(fā)所述多模態(tài)大模型執(zhí)行魚體指標識別,包括:
10、調用至少兩次所述多模態(tài)大模型執(zhí)行魚體指標識別,得到每次的識別結果;和/或,
11、調用至少兩種多模態(tài)大模型分別執(zhí)行魚體指標識別,得到各多模態(tài)大模型的識別結果;
12、對多個所述識別結果剔除異常值后進行均值計算,得到各魚體指標的平均值。
13、進一步地,所述方法還包括:
14、基于各所述識別結果的方差計算置信度,并將所述置信度與各魚體指標的平均值一并輸出。
15、進一步地,第二提示詞中還包括輸出格式指令,所述輸出格式指令用于指示所述多模態(tài)大模型輸出符合預設json格式的識別結果。
16、進一步地,所述多模態(tài)大模型為qwen-vl-max或者gemini。
17、進一步地,在將所述魚池圖像輸入多模態(tài)大模型中進行語義推理之前,對所述魚池圖像做如下處理:
18、將所述魚池圖像從rgb色彩空間轉換至hsv色彩空間;
19、通過閾值分割算法提取所述魚池圖像中魚體所在的深色區(qū)域;
20、對提取后的深色區(qū)域進行形態(tài)學操作,以去除噪聲并連接斷裂區(qū)域。
21、本發(fā)明的第二方面,提供了一種工廠化養(yǎng)殖魚體指標識別系統(tǒng),包括:
22、圖像采集模塊,用于垂直拍攝包含參照物的魚池圖像;
23、識別控制模塊,用于將所述魚池圖像輸入多模態(tài)大模型,并通過第一提示詞觸發(fā)魚群扎堆分析,根據(jù)分析結果決定是否執(zhí)行魚體指標識別;
24、指標識別模塊,用于在未扎堆狀態(tài)下通過第二提示詞觸發(fā)多模態(tài)大模型執(zhí)行魚體指標識別,得到魚體數(shù)量、平均長度和平均重量;
25、輸出模塊,用于輸出標準化識別結果。
26、本發(fā)明的第三方面,提供了一種電子設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)本發(fā)明第一方面任意一項所述的工廠化養(yǎng)殖魚體指標識別方法。
27、本發(fā)明的第四方面,提供了一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)本發(fā)明第一方面任意一項所述的工廠化養(yǎng)殖魚體指標識別方法。
28、本發(fā)明與現(xiàn)有技術相比,具有如下的優(yōu)點和有益效果:
29、通過多模態(tài)大模型自動識別魚群扎堆狀態(tài),扎堆判斷準確率相比傳統(tǒng)輪廓分析法限制提升;并在扎堆時終止測量,避免無效數(shù)據(jù)采集;對未扎堆數(shù)據(jù)通過多模態(tài)大模型基于參照物自動執(zhí)行透視畸變校正,高精度識別魚體數(shù)量、長度和重量多指標數(shù)據(jù),且同步輸出標準化的多指標結構數(shù)據(jù),易于與養(yǎng)殖管理系統(tǒng)集成;無需額外硬件實現(xiàn)深度校正,單個魚池僅需一個單目攝像頭即可實現(xiàn),顯著降低測量成本。
1.一種工廠化養(yǎng)殖魚體指標識別方法,其特征在于,包括:
2.根據(jù)權利要求1所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,所述方法還包括:對所述魚體指標識別結果進行模型特異性修正;所述修正基于預設的修正公式進行,所述修正公式根據(jù)所采用的多模態(tài)大模型的類型預先訓練得到。
3.根據(jù)權利要求1所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,所述通過第二提示詞觸發(fā)所述多模態(tài)大模型執(zhí)行魚體指標識別,包括:
4.根據(jù)權利要求3所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,所述方法還包括:
5.根據(jù)權利要求1所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,第二提示詞中還包括輸出格式指令,所述輸出格式指令用于指示所述多模態(tài)大模型輸出符合預設json格式的識別結果。
6.根據(jù)權利要求1所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,所述多模態(tài)大模型為qwen-vl-max或者gemini。
7.根據(jù)權利要求1所述的工廠化養(yǎng)殖魚體指標識別方法,其特征在于,在將所述魚池圖像輸入多模態(tài)大模型中進行語義推理之前,對所述魚池圖像做如下處理:
8.一種工廠化養(yǎng)殖魚體指標識別系統(tǒng),其特征在于,包括:
9.一種電子設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述計算機程序時實現(xiàn)權利要求1-7中任意一項所述的工廠化養(yǎng)殖魚體指標識別方法。
10.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1-7中任意一項所述的工廠化養(yǎng)殖魚體指標識別方法。