本發明屬于聲學側信道攻擊的鍵盤聲音識別，具體涉及一種基于聲學竊聽的擊鍵識別方法。
背景技術：
1、信息技術的突飛猛進已經使得網絡和智能設備成為現代社會不可或缺的一部分。這些設備配備了高精度傳感器，極大地豐富了用戶的交互體驗并提高了生活便利性。然而，這種技術進步的另一面是，它為攻擊者提供了新的途徑來竊取用戶的敏感信息。在眾多與智能設備的交互方式中，鍵盤輸入因其普遍性而成為了信息泄露的一個主要渠道。因此，針對鍵盤輸入內容的竊聽攻擊，尤其是側信道攻擊，已經成為了信息安全領域的一個重要研究課題。目前，這類攻擊主要分為三種類型：基于慣性傳感器的運動信號攻擊、基于無線通信信號的攻擊以及基于聲學信號的攻擊。在這三種攻擊方式中，基于聲學信號的攻擊因其直接利用鍵盤敲擊時產生的聲波和振動特征，而成為了研究者關注的焦點。
2、基于聲學信號的鍵盤側信道攻擊的有效性建立在對鍵盤敲擊聲學特性的深入分析之上。每一次鍵盤敲擊都會產生具有獨特聲學特征的聲波，這些聲波不僅包含了按鍵本身的物理特性信息，還反映了用戶的打字風格和習慣。攻擊者可以通過分析這些聲波的特征來推斷出用戶的按鍵序列，從而獲取敏感信息。值得注意的是，由于用戶在敲擊不同鍵時可能會采用不同的手指、力度或角度，這會導致每次敲擊產生的聲音在強度和音色上存在差異，這些差異為攻擊者提供了額外的線索。自2004年r.agrawal等研究者通過實驗驗證了利用機械鍵盤聲音恢復輸入數據的可行性以來，聲學側信道攻擊技術的研究便受到了信息安全領域的廣泛關注，并逐漸成為該領域的一個研究熱點。
3、盡管聲學側信道攻擊技術在理論上具有廣泛的應用潛力，但在實際應用中面臨著多方面的挑戰和局限性。首先，環境噪聲的干擾是一個主要問題。實際應用環境中通常存在各種背景噪聲，例如人聲和設備噪聲等，這些噪聲會干擾擊鍵聲的采集，影響攻擊的準確性，而傳統的降噪方法在復雜環境中往往難以有效提取擊鍵的特征。其次，聲學特征提取的效率和準確性有待提升，現有方法在提取特征時難以兼顧高效和準確，特別是對高頻成分和細節特征的捕捉不夠充分，導致特征表達不完整，從而影響后續分類的效果。此外，現有技術通常采用單一特征提取方法，未能充分利用多種特征的組合優勢，且傳統分類模型在處理復雜聲學特征時表現有限，難以有效識別細微的鍵位差異和用戶個體差異，限制了模型的泛化能力和識別準確率。最后，實時性和計算復雜度也是實際應用中的重要制約因素。擊鍵識別技術需要具備較強的實時處理能力，但復雜的特征提取和分類算法往往計算量較大，導致系統響應速度較慢，難以滿足實時性要求。綜上所述，現有聲學側信道攻擊技術在環境適應性、特征提取效率、特征融合策略、模型適應性以及實時處理方面存在明顯不足，限制了其在實際應用中的有效性和可行性。
技術實現思路
1、本發明旨在提供一種基于聲學竊聽的擊鍵識別方法，專注于解決現有技術在處理復雜聲學信號時所面臨的挑戰，特別是在如何有效融合多種聲學特征以實現準確的擊鍵分類任務方面?，F有技術通常未能充分利用各種聲學特征，且缺乏完善的特征融合策略，導致模型在擊鍵識別時能力受限。為此，本發明采用先進的特征融合技術與深度學習模型，克服了這些技術局限，顯著提升了擊鍵識別的準確性和實用性，使其更適用于復雜的聲學環境。
2、為實現上述目的，本發明采用以下技術方案：
3、一種基于聲學竊聽的擊鍵識別方法，具體包括以下步驟：
4、s1，獲取擊鍵數據：使用手機麥克風采集擊鍵音頻數據，獲取擊鍵過程中產生的聲學信號；
5、s2，擊鍵數據預處理：對s1獲取的擊鍵數據進行預加重處理，增強信號的高頻分量，并使用自適應譜減法去除背景噪聲，得到干凈的擊鍵信號；
6、s3，擊鍵事件檢測：對經過s2預處理后的擊鍵信號進行快速傅里葉變換，計算頻譜能量，將擊鍵信號分離成單個擊鍵片段，確保每個擊鍵片段只包含一次擊鍵行為；
7、s4，特征提?。簩γ總€擊鍵片段提取聲譜圖和梅爾譜圖特征，從擊鍵片段中提取聲學特征；
8、s5，特征融合與注意力機制：引入多尺度通道注意力模塊和迭代注意特征融合模塊，對聲譜圖和梅爾譜圖特征進行融合，通過注意力機制賦予關鍵特征更高的權重；
9、s6，將融合后的特征數據輸入卷積神經網絡模型進行訓練，利用該模型對擊鍵行為進行分類識別，最終得到擊鍵識別結果。
10、進一步地，s1中的擊鍵數據是在受控環境中使用高靈敏度設備收集的，擊鍵數據中包含用戶敲擊鍵盤時產生的音頻特征。
11、進一步地，s2中對擊鍵數據進行預處理的具體做法為：
12、s2.1，對s1獲取的擊鍵數據進行預加重處理，其操作可以表示為：
13、y[n]＝x[n]-αx[n-1]
14、其中，x[n]表示原始信號序列，y[n]是經過預加重處理后的信號序列，參數α是預加重系數；
15、s2.2，將經過s2.1預加重得到的結果進行降噪，首先取擊鍵數據前5幀的平均值進行噪聲模型構建，將其頻譜平均得到代表背景噪聲的噪聲頻譜，即：
16、
17、其中，n表示用于計算平均值的幀數，是噪聲頻譜的平均值估計，用來表示在頻率ω上的噪聲強度，而代表的第i幀內聲學信號的頻域表示；
18、在譜減法中，假設原始信號中受到的噪聲干擾是加性的，收集得到的擊鍵數據可以看作是擊鍵信號和噪聲信號的線性疊加，從而通過估計噪聲分量并將其從擊鍵數據中減去，以恢復出更接近原始的干凈信號pn,為了進一步避免譜減法出現負值信號，降噪信號為
19、
20、其中，pn(ω)表示經過降噪處理后的信號頻譜，即干凈信號的估計值，在頻率ω處，它是從擊鍵數據中去除噪聲信號后的結果，y(ω)表示原始擊鍵數據的頻譜，它包含了擊鍵信號和噪聲信號的混合頻譜，αn是根據信噪比計算得到的減法因子，表示噪聲頻譜的平均值估計，表示降噪后的最終信號頻譜值，是對干凈信號頻譜的估計，βn是用于確定當減噪后的信號幅度小于噪聲幅度時，避免負數的調整系數,為了自適應的調整噪聲估計模型，還根據計算信號的信噪比snr來更新噪聲頻譜，信噪比的計算方式為：
21、
22、當某幀內的信噪比低于設定的經驗閾值時根據噪聲大小自適應的調整噪聲估計頻譜，噪聲估計模型的更新計算過程如下：
23、
24、其中，表示更新后的噪聲頻譜估計值，gn表示一個增益因子，介于0和1之間，用于控制當前噪聲估計和當前幀的觀測頻譜y(ω)在噪聲估計中的權重。
25、進一步地，s3的具體做法為：
26、對經過s2預處理的擊鍵信號做快速傅里葉變換，將時域轉換為頻域，查看擊鍵信號的頻域情況，計算過程如下：
27、
28、其中，為旋轉因子，其計算公式為擊鍵信號是x(n)，n＝0,1,…,n-1；
29、查看擊鍵信號頻率的獨特特征，并計算擊鍵信號的頻譜能量，用ek表示，使用經驗閾值進行判斷是否進入擊鍵過程，當兩個聲道其中任意一個通道的ek超過了經驗閾值，就認為進入了擊鍵過程，并將這個時間點作為擊鍵片段的起點，接下來的經驗閾值長度的信號作為單獨的擊鍵片段，經過按鍵分離算法，得到了多個擊鍵片段，每個擊鍵片段只包含一次擊鍵行為。
30、進一步地，s4的具體做法為：
31、聲譜圖特征提取，將擊鍵片段用matlab內置spectrogram函數計算音頻信號的短時傅里葉變換,從而生成聲譜圖；
32、梅爾譜圖特征提取，將擊鍵片段分成若干幀，幀長l和幀移s的對應樣本數分別為：
33、n＝l×fs,h＝s×fs
34、其中，fs為信號采樣率；
35、分幀完成之后，每一幀加一個漢寧窗函數，然后對分幀、加窗后的每一幀進行快速傅里葉變換，將fft變換結果取其magnitude，并進行平方再除以對應的fft點數得到功率譜，然后就是將功率譜經梅爾濾波器組，轉換為梅爾頻率尺度，其對應的頻率在梅爾頻率尺度上是線性的，最后一步就是對梅爾頻譜圖的每個元素對數變換，得到梅爾譜圖。
36、進一步地，s5的具體做法為：
37、多尺度通道注意力模塊ms-cam，輸入特征x的尺寸為c×h×w，經過全局平均池化將其壓縮為c×1×1的張量，從而提取每個通道的全局統計信息；接下來，經過一個點卷積對通道進行壓縮，得到維度為的特征，并經過批歸一化和relu激活函數來增加非線性，然后，通過第二個點卷積將特征的維度恢復回c×1×1，并再經過批歸一化處理；
38、恢復后的特征與輸入特征相融合，通過加法操作再應用sigmoid激活函數，生成了通道注意力權重，其尺寸為c×h×w；最后，輸入特征x與生成的通道注意力權重相乘，得到輸出特征x′；右邊兩個分支分別表示全局特征的通道注意力和局部特征的通道注意力，局部特征的通道注意力計算公l(x)如下：
39、l(x)＝b(pwconv2(δ(b(pwconv1(x)))))
40、其中，pwconv代表點卷積操作，b表示批歸一化，δ代表relu激活函數；這一模塊通過結合全局統計信息和點卷積調整，能夠生成特定通道的注意力權重；
41、將多尺度通道注意力模塊ms-cam應用于擊鍵識別的特征融合中，具體做法為：
42、首先，通過調整多尺度池化和卷積結構，突出擊鍵聲音在各頻率范圍內的特征差異；
43、其次，增加了對擊鍵信號中全局時序特征和局部細節特征的融合，確保卷積神經網絡模型既能關注擊鍵片段的整體時序特征，又能捕捉擊鍵片段中的局部變化細節特征；引入了自適應初始特征融合策略，使初始融合結果更貼合音頻數據的特性；此外，采用迭代注意力機制iaff，iaff通過使用ms-cam模塊進行特征增強和融合，經過多次迭代細化擊鍵片段信號的特征融合。
44、進一步地，s6的具體做法為：
45、采用卷積神經網絡cnn進行深度學習模型訓練，cnn由兩層卷積層和一層全連接層組成，每層卷積層后接relu激活函數；同時，通過池化層降低特征圖的尺寸，以減少計算復雜度并保留關鍵特征，深度學習模型訓練過程中，使用交叉熵損失函數對識別結果進行優化；訓練完成后，深度學習模型使用softmax函數在輸出層生成識別結果，并選擇概率最高的類別作為最終預測結果，以完成擊鍵識別任務。
46、一種計算機終端，包含存儲器、處理器及存儲在存儲器并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述的一種基于聲學竊聽的擊鍵識別方法。
47、一種計算機可讀介質，其上存儲有計算機程序，所述計算機程序被處理器執行可實現如上述的一種基于聲學竊聽的擊鍵識別方法。
48、與現有技術相比，本發明的有益效果是：
49、本發明對擊鍵信號進行了特征提取，有效地捕捉了擊鍵信號的，通過實施特征融合策略，結合注意力機制，從而在特征融合時賦予某些特征更高的權重，實現了對擊鍵信號更深層次的理解。實驗結果表明，經過特征融合后，模型在性能方面要優于未經過特征融合的單一特征。