本發明涉及茶葉分級,具體為一種利用茶葉regnet的茶葉分級方法。
背景技術:
1、中國的茶文化歷史悠久,茶在中國文化中具有極其重要的地位,它被視為國粹和生活的一部分。茶葉同時也是一種重要的農產品,其品質與外觀特征密切相關。茶葉根據其外觀可以分為不同的等級,對應的價值也有所差異。因此,需要一種自動化的茶葉分級系統和方法,能夠準確、快速地對茶葉進行分級,提高茶葉生產的質量和效率。
2、現有對于茶葉自動化分級的文獻較少,例如申請號為cn202111017041.8的中國專利公開了一種結合改進注意力機制和知識蒸餾的茶葉嫩芽分級方法,基于改進的注意力機制,構建多尺寸卷積塊注意力模塊,并建立茶葉嫩芽分級模型,預訓練茶葉嫩芽分級模型和resnet32模型,得到兩者權重參數;利用結合雙遷移學習和知識蒸餾的模型訓練策略以訓練茶葉嫩芽分級模型;將測試集中待分級的茶葉嫩芽圖像導入訓練好的茶葉嫩芽分級模型,記錄分級結果的各項指標及模型規格參數。但是該方法沒有對茶葉圖像進行圖像分割處理,在真正采摘時,容易受到茶園復雜背景的干擾,使得茶葉分級準確率低。此外,申請號為cn202110695923.3的中國專利公開了一種基于改進膠囊網絡的茶葉識別分級方法,包括,將已知品種和級別的茶葉分成若干單元,并依次放置于白色底板上,通過相機獲取各類別的茶葉圖像數據n張;基于大津法對所述茶葉圖像數據進行二值化處理和多種數據增強處理,根據茶葉等級標簽建立茶葉圖像數據庫;深化原始膠囊網絡結構并與殘差塊進行結合,構建適用于茶葉分級的改進膠囊網絡模型;在所述茶葉圖像數據庫中導入數據至所述改進膠囊網絡模型中進行訓練,獲得茶葉分級模型;將需要進行分級的茶葉平鋪于所述白色底板上,用所述相機拍攝獲取待識別圖像數據,輸入已訓練好的所述茶葉分級模型中,獲得茶葉品級的識別結果。但是,此專利是對采摘完成后的茶葉進行識別,并且膠囊網絡中的膠囊層具有大量的參數,需要進行適當的初始化和調優,如果沒有結合最優參數會導致茶葉分級準確率低。
3、在制茶的不同程序中,茶葉的分級標準也不同,對于采摘前的茶葉鮮葉按照規格可以分為單芽、一芽一葉、一芽二葉和一芽三葉。對于茶葉鮮葉的分級可以利用regnet算法進行檢測,regnet是一種用于圖像分類任務的深度神經網絡架構,它在2020年由facebookai?research提出。regnet的關鍵思想是使用網絡的規則化規模,而不是傳統的手工設計或自動搜索方法來定義網絡架構。regnet的設計目標是提供一種簡單而高效的網絡結構,能夠在計算資源受限的情況下實現良好的性能。
4、為了解決茶葉分級準確率低的問題,提出一種利用茶葉regnet的茶葉分級方法。
技術實現思路
1、本發明的目的在于提供利用茶葉regnet的茶葉分級方法。
2、為實現上述目的,本發明提供如下技術方案:
3、利用茶葉regnet的茶葉分級方法,包括:
4、采集茶葉圖像,構建茶葉圖像數據集。
5、進一步地,采集茶葉圖像還包括利用自適應雙邊濾波和直方圖均衡化對所述茶葉圖像進行預處理,具體步驟包括:
6、利用自適應雙邊濾波對所述茶葉圖像進行去噪;
7、利用直方圖均衡化對所述去噪后的茶葉圖像進行圖像增強處理。
8、進一步地,所述自適應雙邊濾波包括:所述自適應雙邊濾波的窗口為3×3;通過自適應雙邊濾波計算去噪后像素點的像素值;所述像素點(x,y)的去噪后像素值s(x,y),通過像素點(x,y)為中心的3×3窗口內領域像素點(u,v)的像素值z(u,v)加權得到,具體公式為:
9、
10、其中,θ(x,y)表示像素點(x,y)為中心的3×3窗口;w(x,y,u,v)為權重系數;w(x,y,u,v)可表示為:
11、
12、其中,exp()是以數學常數e為底數的指數函數;t(x,y)表示像素點(x,y)的梯度值;t(u,v)表示領域像素點(u,v)的梯度值;σd是位置方差;σr是灰度值方差;σt是梯度方差。
13、進一步地,利用自適應雙邊濾波對所述茶葉圖像進行去噪的步驟包括:
14、輸入茶葉圖像;
15、根據茶葉圖像,確定雙邊濾波的參數,包括空間域參數和強度域參數和梯度均值參數;
16、對于茶葉圖像的每個像素,自適應雙邊濾波器計算其與周圍像素的空間距離和強度差異,并根據權重進行加權平均;
17、輸出通過自適應雙邊濾波器處理后的茶葉圖像像素;
18、輸入對于的去噪后的茶葉圖像。
19、進一步地,利用直方圖均衡化對所述去噪后的茶葉圖像進行圖像增強處理的步驟包括:
20、將去噪后的茶葉圖像從rgb顏色空間轉換為hsv顏色空間,獲得茶葉hsv圖像;
21、從茶葉hsv圖像中提取表示茶葉圖像亮度的分量;
22、對亮度分量進行直方圖均衡化;
23、將均衡化后的亮度分量與原始飽和度和色調分量重新組合,獲得均衡化后的茶葉hsv圖像;
24、將均衡化后的茶葉hsv圖像轉換回rgb顏色空間得到最終圖像增強后的茶葉圖像。
25、進一步地,對亮度分量進行直方圖均衡化步驟包括:
26、計算亮度分量的直方圖和累積直方圖;
27、根據累積直方圖計算亮度映射函數;
28、將原始亮度值映射到均衡化后的亮度值。
29、利用s-enet模型對所述茶葉圖像進行圖像分割,輸出s-enet茶葉圖像數據集。
30、進一步地,將s-enet模型的初始化模塊中的卷積層替換為1個3x3的空洞卷積層,其中,空洞卷積層的步長為2,通道數為16,間隔值為2;將softmax損失函數作為分割的損失函數,所述softmax損失函數的表達式為:
31、
32、其中,l為softmax損失函數的值,w1為茶葉類別的像素點占總像素點的比例,w1為非茶葉類別的像素點占總像素點的比例,為s-enet模型對茶葉類別分割正確的像素點個數,f1為茶葉類別的像素點個數,為s-enet模型對非茶葉類別分割正確的像素點個數,f2為非茶葉類別的像素點個數。
33、進一步地,所述利用s-enet模型對所述茶葉圖像進行圖像分割包括:
34、將所述茶葉圖像數據集劃分為圖像分割訓練集和圖像分割測試集,并對圖像分割訓練集中的圖像進行像素級標簽,所述標簽將圖像像素分為茶葉區域和非茶葉區域;
35、使用訓練數據集對s-enet進行訓練,訓練過程中,通過將輸入圖像輸入網絡,計算輸出分割結果,并與真實標簽進行比較,計算softmax損失函數;
36、使用反向傳播算法更新網絡參數,以最小化softmax損失函數;
37、在softmax損失函數達到最小時,訓練結束,否則繼續訓練;
38、輸出訓練好的s-enet模型;
39、將圖像分割測試集輸入訓練好的s-enet模型中;
40、輸出s-enet茶葉圖像數據集。
41、在regnet的骨干層中的不同block層之間使用殘差連接,并在骨干層后添加fpn模塊,使用加權交叉熵損失函數作為茶葉分級的損失函數構建茶葉regnet模型。
42、進一步地,所述加權交叉熵損失函數包括:
43、加權交叉熵損失函數的表達式為:
44、
45、其中l表示加權交叉熵損失值;i表示s-enet茶葉圖像等級標簽;i=1,表示s-enet茶葉圖像等級為特級;i=2,表示s-enet茶葉圖像等級為一級;i=3,表示s-enet茶葉圖像等級為二級;i=4,表示s-enet茶葉圖像等級為三級;ti表示第i等級的真實s-enet茶葉圖像個數;表示第i等級中檢測正確的s-enet茶葉圖像個數;li表示第i等級的真實s-enet茶葉圖像占總s-enet茶葉圖像的比例,即
46、將所述s-enet茶葉圖像數據集輸入所述茶葉regnet模型,得到茶葉分級結果。
47、進一步地,所述s-enet茶葉圖像輸入茶葉regnet的骨干層,經過不同block層卷積輸出s-enet茶葉圖像的不同尺度特征圖像;所述不同尺度特征圖像輸入fpn模塊,所述fpn模塊逐層上采樣和融合特征并應用全局平均池化將特征圖轉換特征向量;所述特征向量輸入茶葉regnet的輸出層結合加權交叉熵損失函數進行茶葉分級;所述茶葉regnet進行茶葉分級的步驟包括:
48、將s-enet茶葉圖像數據集劃分為分級訓練集和分級測試集,并對分級訓練集中的s-enet茶葉圖像進行等級標記;
49、利用分級訓練集訓練茶葉regnet模型,訓練過程中,通過將s-enet茶葉圖像輸入網絡,計算輸出茶葉分級結果,并與真實等級進行比較,計算加權交叉熵損失函數;
50、在所述加權交叉熵損失函數達到最小時,訓練結束;否則繼續訓練;
51、輸出訓練好的茶葉regnet模型。
52、進一步地,所述對分級訓練集中的s-enet茶葉圖像進行等級標記包括所述等級至少包括特級、一級、二級和三級;所述特級是指單芽;所述一級是指一芽一葉;所述二級是指一芽兩葉;所述三級是指一芽三葉。
53、進一步地,所述茶葉regnet包括所述茶葉regnet的fpn模塊用于學習骨干層輸出的茶葉特征圖的特征信息;所述信息包括顏色特征、紋理特征和形狀特征;所述紋理特征包括葉片邊緣的光滑程度和葉脈的分布。
54、進一步地,所述茶葉regnet提取所述s-enet茶葉圖像的特征信息步驟包括:
55、將s-enet茶葉圖像輸入茶葉regnet網絡;
56、通過前向傳播將輸入圖像從網絡的輸入層傳遞到骨干層提取特征圖像;
57、將提取的特征圖像送入fpn模塊中,所述fpn逐層上采樣,逐層生成多尺度的特征圖像;
58、對于多個尺度的特征圖像,提取特征信息;
59、應用全局平均池化將提取到的不同層次下多個尺度的所述特征信息通過卷積操作進行特征融合;
60、在fpn模塊的最后,輸出特征融合后的s-enet茶葉圖像的特征信息。
61、輸出茶葉分級結果。
62、進一步地,所述輸出茶葉分級結果包括:輸出分級測試集中茶葉分級結果;所述結果包括分級測試集中每個s-enet茶葉圖像的茶葉等級和茶葉分級準確率。
63、與現有技術相比,本發明的有益效果為:
64、1、本發明采集了茶葉圖像,并將梯度均值帶入雙邊濾波函數中構建自適應雙邊濾波,利用自適應雙邊濾波算法對圖像進行去噪。與雙邊濾波算法相比,自適應雙邊濾波可以更加關注茶葉圖像的邊緣區域,同時保留細節,進而提高茶葉分級的準確性。
65、2、本發明在enet模型的基礎上,將enet模型的初始化模塊中的卷積層替換為空洞卷積層,將softmax損失函數作為分割的損失函數構建s-enet模型,并利用s-enet模型對茶葉圖像進行圖像分割。s-enet解決了enet模型對小目標的處理不夠精細,在小目標的語義分割中存在較大的誤差或錯漏分割的情況,提高s-enet在茶葉圖像分割的準確性,進而提高茶葉分級的準確性。
66、3、本發明在regnet模型的基礎上,在regnet的骨干層中的不同block層之間使用殘差連接,并在骨干層后添加fpn模塊,使用加權交叉熵損失函數作為茶葉分級的損失函數構建茶葉regnet模型,并利用茶葉regnet模型進行茶葉分級。茶葉regnet解決了regnet無法很好地建模和區分具有相似特征的類別,提高了茶葉分級的準確性。