本發明涉及聲學傳感與工業智能檢測,具體涉及一種基于智能可穿戴設備的事件觸發式音頻檢測方法。
背景技術:
1、在工業裝配、電氣連接、結構緊固等生產場景中,卡扣嚙合、插接到位、螺栓緊固等關鍵操作通常會伴隨微弱、瞬態的特征聲學信號,該類信號是判斷操作是否規范、連接是否可靠的重要依據。傳統依賴人工聽覺與視覺經驗的檢測方式主觀性強、判定標準不統一,難以實現量化與追溯;事后電性能檢測存在明顯滯后,無法實時指導現場操作,難以滿足智能制造對高效率、高可靠性的過程管控需求。
2、現有聲學監測系統多采用固定式麥克風陣列、手持設備或大型裝備集成模塊,部署位置固定、無法跟隨操作人員移動,在多工位、移動式、空間受限場景下存在明顯聲源覆蓋盲區,難以在最優位置原位捕獲關鍵音頻信號。同時,此類系統普遍采用全時段持續采集模式,未結合實際操作動作進行觸發控制,存在音頻采集啟動與停止時機不精準、無效數據量大、設備功耗高的問題,對應本發明s2?動作精準觸發采集所要解決的核心缺陷。
3、在信號處理與識別環節,現有方案多采用簡單幅值閾值或固定參數檢測,缺乏對微弱瞬態聲學信號的精細化處理機制,難以精準提取“咔嗒”類特征脈沖,特征聲學信號識別不準,操作合格性判定依賴主觀經驗、檢測一致性與準確率低。智能可穿戴設備雖具備貼身、隨動、低侵入等優勢,但目前尚未應用于工業原位聲學感知,無法實現工業操作音頻的精準采集、精準識別、實時反饋閉環。
技術實現思路
1、本發明意在提供一種基于智能可穿戴設備的事件觸發式音頻檢測方法,以解決工業操作過程中音頻采集觸發不精準、特征聲學信號識別不準確的問題。
2、為達到上述目的,本發明采用如下技術方案:
3、一種基于智能可穿戴設備的事件觸發式音頻檢測方法,包括:
4、s1,將集成六軸imu的智能可穿戴設備佩戴于操作者手部,啟動智能可穿戴設備;
5、s2,以預設采樣率持續采集三軸加速度與三軸角速度數據,采用卡爾曼濾波對加速度計與陀螺儀數據進行融合,得到穩定姿態角;基于濾波后數據進行工業操作啟動判定與操作完成判定,以觸發或終止音頻采集;
6、s3,對采集的音頻數據依次進行信號預處理與弱信號過濾、特征脈沖檢測、脈沖清晰度量化與分類,根據脈沖清晰度評分輸出工業操作質量判別結果;
7、s4,將判別結果實時反饋至智能可穿戴設備,形成人機協同質檢閉環。
8、本方案的原理及優點是:實際應用時,依托六軸imu與卡爾曼濾波實現精準動作觸發,避免持續錄音帶來的高功耗與數據冗余;通過可穿戴貼身部署實現工業操作原位音頻采集,克服固定設備部署盲區大、靈活性差的缺陷;通過基于卡爾曼濾波融合與動作閾值判定,實現工業操作啟動與結束的精準識別,讓音頻采集僅在有效動作時段開啟,做到采集時機準、冗余數據少、功耗更低;通過對音頻信號進行弱信號剔除、瞬態脈沖提取、自適應閾值檢測與多維度清晰度評分,實現對微弱特征聲學信號的精準檢出與操作質量的量化判別,解決傳統檢測主觀性強、識別不準、無法量化的問題,整體實現“采集準、識別精、判定穩”的工業原位音頻檢測。
9、優選的,作為一種改進,所述采用卡爾曼濾波對加速度計與陀螺儀數據進行融合包括:
10、初始化過程噪聲協方差矩陣q與觀測噪聲協方差矩陣r:
11、
12、
13、其中,表示姿態角過程噪聲方差,表示陀螺儀角速度過程噪聲方差,表示姿態角觀測噪聲方差;
14、每間隔預設時間更新卡爾曼濾波模型參數,輸入由加速度計解算的俯仰角與陀螺儀y軸角速度,輸出濾波后穩定角度。
15、技術效果:融合加速度計與陀螺儀數據,消除加速度抖動與陀螺儀漂移,輸出平滑穩定的姿態角,提高動作識別準確性。
16、優選的,作為一種改進,所述工業操作啟動判定包括:
17、監測濾波后的俯仰角θ與陀螺儀y軸角速度,當滿足以下條件時,激活預設時長的抬手手勢檢測窗口:
18、
19、
20、在該窗口內,若俯仰角符號發生預設次數反轉且相鄰反轉間隔滿足要求,則判定為有效操作準備動作,觸發音頻采集。
21、技術效果:便于精準識別插接、裝配等典型操作的啟動意圖,避免誤觸發,確保音頻采集與真實動作同步開始。
22、優選的,作為一種改進,所述操作完成判定包括:
23、音頻采集啟動后,計算合加速度幅值、合角速度幅值及加速度偏差:
24、
25、
26、
27、其中,為合加速度幅值,為合角速度幅值,為加速度偏差,、、分別為智能可穿戴設備中六軸imu輸出的?x?軸、y?軸、z軸加速度分量;,、、分別為六軸imu輸出的x軸、y軸、z軸角速度分量;
28、當小于加速度閾值、小于角速度閾值且持續預設時長,同時已錄音時長不低于預設最低要求時,判定動作結束,終止音頻錄制。
29、技術效果:便于準確判斷操作動作停止,自動結束采集,僅保留有效音頻片段,減少冗余數據與功耗。
30、優選的,作為一種改進,所述信號預處理與弱信號過濾包括:
31、多通道音頻僅保留第一聲道;計算信號最大絕對幅值,若最大絕對幅值小于預設弱信號閾值,則直接判定為無效信號并返回判別結果。
32、技術效果:便于剔除無有效聲音的空錄片段,避免無效計算,提高判別效率與可靠性。
33、優選的,作為一種改進,所述特征脈沖檢測包括:
34、采用希爾伯特變換提取音頻信號解析信號與包絡,經savitzky-golay濾波得到平滑包絡:
35、
36、
37、
38、其中,為原始音頻時域信號;為希爾伯特變換得到的解析信號;j為虛數單位;{}?為希爾伯特變換算子;為解析信號的模,即音頻瞬時包絡;為savitzky-golay濾波算子;為經平滑處理后的平滑包絡;
39、基于中位數絕對偏差設定自適應閾值,檢測包絡峰值并計算脈沖寬度,篩選出持續時間在0.2ms~2.0s之間的有效脈沖。
40、技術效果:準確提取瞬態“咔嗒”類脈沖,抑制噪聲,保留真實特征,提升微弱有效信號的檢出率。
41、優選的,作為一種改進,所述自適應閾值為:
42、
43、其中,t?為自適應檢測閾值;min()為取最小值函數;為平滑包絡的最大值;為取中位數函數;為經savitzky-golay濾波后的平滑包絡信號;mad為中位數絕對偏差。
44、技術效果:便于根據實時噪聲水平自適應調整閾值,抗干擾能力強,不同工況下均能穩定檢出目標脈沖。
45、優選的,作為一種改進,所述脈沖清晰度量化與分類包括:對有效脈沖片段提取多維聲學特征,按預設權重加權計算清晰度綜合評分;若任一脈沖的清晰度評分達到預設閾值,則判定為合格,否則判定為不合格。
46、技術效果:便于將聽覺上的“清脆/模糊”轉化為可計算數值,實現插接質量客觀量化判別,一致性高。
47、優選的,作為一種改進,清晰度綜合評分公式為:
48、
49、其中,~為對應特征的加權系數,為脈沖清晰度綜合評分;為≥4khz高頻能量占比;為95%能量頻譜滾降歸一化值;為頻譜質心歸一化值;brightness?為亮度特征;為包絡上升鋒利度;為歸一化過零率;為歸一化峰值因子。
50、技術效果:便于多維度全面表征脈沖音質,評分結果與實際裝配質量高度匹配,提高合格/不合格判定準確率。
51、優選的,作為一種改進,所述s4中通過顯示屏、led指示燈、語音提示或震動馬達將判別結果實時反饋至操作者。
52、技術效果:現場即時提示結果,無需查看終端,形成閉環指導,提升作業效率與質量穩定性。