本公開涉及人體關(guān)鍵點(diǎn)檢測領(lǐng)域，尤其涉及一種基于ai大模型的輕量級(jí)模型自動(dòng)優(yōu)化方法及系統(tǒng)。
背景技術(shù)：
1、在邊緣設(shè)備上部署深度學(xué)習(xí)模型進(jìn)行人體關(guān)鍵點(diǎn)檢測時(shí)，為滿足實(shí)時(shí)推理的速度要求，往往采用參數(shù)量較少、計(jì)算復(fù)雜度較低的輕量級(jí)模型。但用戶使用場景復(fù)雜多變，輕量級(jí)模型通常無法滿足精度要求。因此需要采集實(shí)際場景的數(shù)據(jù)，對(duì)輕量級(jí)模型進(jìn)行優(yōu)化以提升精度。
2、傳統(tǒng)的優(yōu)化方案中，一般先搜集困難樣本，然后通過困難樣本對(duì)輕量級(jí)模型進(jìn)行迭代。然而，在困難樣本搜集時(shí)需要人為操作，搜集效率較低，并且數(shù)據(jù)需要累積到一定數(shù)量后，才能進(jìn)行新一輪迭代，導(dǎo)致整個(gè)迭代周期較長。
3、針對(duì)上述現(xiàn)有技術(shù)中人工干預(yù)多且迭代周期長的技術(shù)問題，目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述相關(guān)技術(shù)中存在的問題，本公開提供了一種基于ai大模型的輕量級(jí)模型自動(dòng)優(yōu)化方法及系統(tǒng)。
2、本公開的第一方面提供了一種基于ai大模型的輕量級(jí)模型自動(dòng)優(yōu)化方法，所述方法應(yīng)用于服務(wù)器，在任一迭代周期中，所述方法包括：
3、按預(yù)設(shè)周期接收部署于邊緣設(shè)備的第一輕量級(jí)模型輸出的原始圖像及其第一識(shí)別結(jié)果，通過高精度模型識(shí)別所述原始圖像得到第二識(shí)別結(jié)果；所述高精度模型識(shí)別精度大于所述第一輕量級(jí)模型；
4、基于所述第一識(shí)別結(jié)果和所述第二識(shí)別結(jié)果進(jìn)行困難樣本檢測，在檢測未通過時(shí)確定所述原始圖像為第一困難樣本，確定所述第一困難樣本中的第一困難目標(biāo)；
5、通過ai大模型基于所述第一困難目標(biāo)輸出第一生成圖像；
6、通過所述高精度模型識(shí)別所述第一生成圖像得到第三識(shí)別結(jié)果；
7、將所述第一生成圖像和所述第三識(shí)別結(jié)果添加至當(dāng)前迭代周期的生成樣本集，直至所述生成樣本集中的生成圖片數(shù)量大于等于預(yù)設(shè)數(shù)量時(shí)，基于所述生成樣本集對(duì)本地的第二輕量級(jí)模型進(jìn)行訓(xùn)練；
8、對(duì)訓(xùn)練后的第二輕量級(jí)模型的進(jìn)行精度評(píng)估，在評(píng)估通過時(shí)，基于所述訓(xùn)練后的第二輕量級(jí)模型升級(jí)所述第一輕量級(jí)模型，并清空所述當(dāng)前迭代周期生成樣本集。
9、可選地，所述基于所述第一識(shí)別結(jié)果和所述第二識(shí)別結(jié)果進(jìn)行困難樣本檢測，在檢測未通過時(shí)確定所述原始圖像為第一困難樣本，確定所述第一困難樣本中的第一困難目標(biāo)，包括：
10、基于所述第一識(shí)別結(jié)果和所述第二識(shí)別結(jié)果，計(jì)算所述原始圖像中的每個(gè)識(shí)別目標(biāo)對(duì)應(yīng)的精度差距值；
11、判斷所述每個(gè)識(shí)別目標(biāo)對(duì)應(yīng)的精度差距值是否均小于第一閾值，若是，則確認(rèn)檢測通過；若否，則確認(rèn)檢測未通過，確定所述原始圖像為第一困難樣本，并確定精度差距值大于等于所述第一閾值的識(shí)別目標(biāo)為所述第一困難樣本中的第一困難目標(biāo)。
12、可選地，所述ai大模型包括圖片理解大模型和圖片生成大模型，
13、通過所述ai大模型基于所述第一困難目標(biāo)輸出第一生成圖像，包括：
14、在所述第一困難樣本中獲取所述第一困難目標(biāo)的位置及所述第一困難目標(biāo)的截圖，根據(jù)所述第一困難目標(biāo)的位置更新提示詞中的位置信息；
15、所述圖片理解大模型基于更新后的提示詞和所述第一困難樣本，輸出所述第一困難目標(biāo)對(duì)應(yīng)的姿態(tài)描述信息；
16、所述圖片生成大模型基于預(yù)設(shè)的環(huán)境描述信息、所述第一困難目標(biāo)的截圖和所述姿態(tài)描述信息輸出所述第一生成圖像。
17、可選地，所述圖片生成大模型包括圖生圖大模型和文生圖大模型；
18、所述圖片生成大模型基于預(yù)設(shè)的環(huán)境描述信息、所述第一困難目標(biāo)的截圖和所述姿態(tài)描述信息輸出所述第一生成圖像，包括：
19、所述圖生圖大模型根據(jù)所述環(huán)境描述信息和所述第一困難目標(biāo)的截圖，輸出第一圖像；
20、所述文生圖大模型根據(jù)所述環(huán)境描述信息和所述姿態(tài)描述信息，輸出第二圖像；
21、將所述第一圖像和所述第二圖像作為所述第一生成圖像。
22、可選地，所述基于所述生成樣本集對(duì)本地的第二輕量級(jí)模型進(jìn)行訓(xùn)練，包括：
23、將所述生成樣本集劃分為訓(xùn)練集、驗(yàn)證集、測試集；
24、使用所述訓(xùn)練集和所述驗(yàn)證集對(duì)所述第二輕量級(jí)模型進(jìn)行訓(xùn)練。
25、可選地，所述對(duì)訓(xùn)練后的所述第二輕量級(jí)模型的進(jìn)行精度評(píng)估，包括：
26、使用所述測試集對(duì)所述訓(xùn)練后的第二輕量級(jí)模型進(jìn)行精度評(píng)估，得到評(píng)估值，判斷所述評(píng)估值是否大于等于第二閾值，若是，則確定評(píng)估通過；若否，則確認(rèn)評(píng)估未通過。
27、可選地，在評(píng)估未通過時(shí)，所述方法還包括：
28、從所述測試集中獲取第二困難樣本及所述第二困難樣本中的第二困難目標(biāo)；
29、通過所述ai大模型基于所述第二困難目標(biāo)輸出第二生成圖像，將所述第二生成圖像作為下一個(gè)迭代周期的第一生成圖像。
30、可選地，基于訓(xùn)練后的第二輕量級(jí)模型升級(jí)所述第一輕量級(jí)模型，包括：
31、將所述訓(xùn)練后的第二輕量級(jí)模型的格式轉(zhuǎn)換為與所述第一輕量級(jí)模型相同的格式，并對(duì)所述第一輕量級(jí)模型進(jìn)行ota升級(jí)。
32、本公開的第二方面提供了一種基于ai大模型的輕量級(jí)模型自動(dòng)優(yōu)化系統(tǒng)，所述系統(tǒng)包括邊緣設(shè)備和服務(wù)器，在任一迭代周期中：
33、所述邊緣設(shè)備按預(yù)設(shè)周期將采集的原始圖像以及第一輕量級(jí)模型對(duì)所述原始圖像識(shí)別得到第一識(shí)別結(jié)果上傳至所述服務(wù)器；
34、所述服務(wù)器通過高精度模型識(shí)別所述原始圖像得到第二識(shí)別結(jié)果；所述高精度模型識(shí)別精度大于所述第一輕量級(jí)模型；基于所述第一識(shí)別結(jié)果和所述第二識(shí)別結(jié)果進(jìn)行困難樣本檢測，在檢測未通過時(shí)確定所述原始圖像為第一困難樣本，確定所述第一困難樣本中的第一困難目標(biāo)；通過ai大模型基于所述第一困難目標(biāo)輸出第一生成圖像；通過所述高精度模型識(shí)別所述第一生成圖像得到第三識(shí)別結(jié)果；將所述第一生成圖像和所述第三識(shí)別結(jié)果添加至當(dāng)前迭代周期的生成樣本集，直至所述生成樣本集中的生成圖片數(shù)量大于等于預(yù)設(shè)數(shù)量時(shí)，基于所述生成樣本集對(duì)本地的第二輕量級(jí)模型進(jìn)行訓(xùn)練；對(duì)訓(xùn)練后的第二輕量級(jí)模型的進(jìn)行精度評(píng)估，在評(píng)估通過時(shí)，基于所述訓(xùn)練后的第二輕量級(jí)模型升級(jí)所述第一輕量級(jí)模型，并清空所述當(dāng)前迭代周期生成樣本集。
35、本公開的第三方面提供了一種計(jì)算機(jī)設(shè)備，包括：
36、存儲(chǔ)器和處理器，其中，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述第一方面的基于ai大模型的輕量級(jí)模型自動(dòng)優(yōu)化方法。
37、本公開的第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述第一方面的?方法。
38、本公開提供的技術(shù)方案與現(xiàn)有技術(shù)相比具有如下有益效果：
39、本公開實(shí)施例中，可以通過高精度模型與輕量級(jí)模型的結(jié)果對(duì)比，自動(dòng)篩選出困難樣本，基于困難樣本通過ai大模型自動(dòng)生成大量的生成圖片，再通過高精度模型識(shí)別這些生成圖片，將識(shí)別結(jié)果形成一個(gè)生成樣本集；在一個(gè)迭代周期中，自動(dòng)使用該生成樣本集對(duì)輕量級(jí)模型進(jìn)行訓(xùn)練并持續(xù)優(yōu)化迭代，從而提升了輕量級(jí)模型的識(shí)別精度。本公開通過使用生成式ai大模型針對(duì)困難樣本自動(dòng)生成更多的困難樣本，可以實(shí)現(xiàn)整個(gè)迭代過程全自動(dòng)化，無需人為干預(yù)，因此縮短了模型迭代周期，提升了輕量級(jí)模型的優(yōu)化效率。
40、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。