本發明涉及語音信號處理、機器學習與數據安全，特別涉及一種針對模型微調攻擊的不可學習語音數據生成方法。
背景技術：
1、近年來，隨著社交媒體、短視頻平臺及各類語音交互系統的全面普及，海量包含明確身份標識的個人語音數據被公開發布于互聯網上，面臨著被未經授權大規模抓取的嚴峻隱私安全隱患。與此同時，自監督預訓練語音表征模型與深度說話人識別系統取得了突破性進展，當前的預訓練網絡已在海量無標注數據中學習到了極具泛化性的底層聲學表征與強大的身份判別先驗。僅從語音音頻中學習強表征技術的演進，直接催生了一種新型、低成本且極具威脅的少樣本微調攻擊場景。通過在小數據集上進行微調，攻擊者僅需利用公開渠道獲取的極少量目標受害者語音數據，在開源預訓練模型的基礎上進行微調，即可在極低算力成本下快速得到針對該受害者的高精度聲紋識別模型或高保真語音克隆模型。
2、然而，現有的語音隱私保護方案無法有效應對此類極具針對性的微調攻擊。傳統不可學習樣本生成方法通常假定攻擊者的模型參數是凍結的或從隨機初始化的，未能與攻擊者真實的“預訓練表征提取加動態微調更新”的雙層演進路徑相對齊。在預訓練模型強大的特征自適應能力和微調優化器的動量機制面前，傳統防御施加的靜態干擾往往只能引起初期的訓練震蕩，隨著多輪次梯度下降，這些淺層擾動極易被抵消，難以持續有效地抑制惡意模型對真實說話人身份特征的學習。此外，現有方法大多僅促使樣本偏離原有的特征聚類中心，缺乏明確的錯誤身份定向引導，導致微調后的模型在度量學習空間中依然容易將深層特征與真實說話人重新關聯。
3、目前，語音領域嚴重缺乏一種既能有效抵御雙層優化攻擊，又能保證原始語音聽感質量，且能在工程上高效求解落地的系統性主動防御方案。
技術實現思路
1、針對現有涉及目標身份指定的語音身份保護或受保護語音生成方法中，目標身份通常采用隨機指定、定向指定或人工預設而導致攻擊針對性不足的問題，本發明提出一種針對模型微調攻擊的不可學習語音數據生成方法，通過模擬攻擊者在預訓練說話人識別模型上的微調過程，并在微調后的模型上驅動帶擾動語音向非真實身份目標類別偏移，以此生成可公開發布的不可學習語音，能夠提高針對目標身份攻擊的有效性，增強身份混淆能力，減少無效目標帶來的優化浪費，從而提升語音身份保護過程的穩定性和實用性。
2、本發明采用如下技術方案：一種針對模型微調攻擊的不可學習語音數據生成方法，包括如下步驟：
3、步驟1、獲取原始語音樣本及其真實說話人標簽，基于預訓練語音表征網絡與可微分類頭，構建代理說話人識別模型；
4、步驟2、初始化擾動變量，并計算時序顯著性掩碼；
5、步驟3、通過候選緩沖池和余弦相似度規則為源樣本確定目標身份標簽，對所述代理說話人識別模型進行雙層優化；
6、步驟4、以內層優化模擬攻擊者，使用受保護語音及真實說話人標簽對預訓練模型進行微調，得到模型參數；
7、步驟5、在外層優化中，以為臨時模型，為目標身份標簽計算外層損失，并根據一階近似策略對擾動變量求解梯度；
8、步驟6、依據梯度更新規則更新擾動變量，并執行投影及頻譜差異約束；
9、步驟7、重復步驟3至步驟6，直至達到設定輪數或滿足收斂條件，輸出受保護語音。
10、作為一種優選，步驟1中，所述代理說話人識別模型，面向微調攻擊防御任務構建，由預訓練語音表征網絡與說話人分類頭組合形成，其中，說話人分類頭，采用aam-softmax分類頭、全連接分類頭或arcface頭。
11、作為一種優選，步驟2中，所述時序顯著性掩碼，根據分類損失對輸入語音的梯度幅值進行計算，得到時序顯著性分數，再將所述分數歸一化生成。
12、作為一種優選，步驟3中，為每個源樣本確定一個非真實的目標身份標簽，具體步驟如下：
13、步驟3.1、使用預訓練語音表征網絡，提取當前批次樣本的歸一化說話人嵌入，為源樣本的歸一化說話人嵌入；
14、步驟3.2、將當前批次的說話人嵌入及其標簽寫入候選緩沖池，為候選樣本的歸一化說話人嵌入；所述候選緩沖池采用先進先出結構，最大容量為；
15、步驟3.3、對于源樣本，在候選緩沖池中排除所有滿足的候選項，僅保留非本類候選集；
16、步驟3.4、選擇與源樣本余弦相似度最高的非本類身份作為目標身份，得到源樣本對應的目標身份標簽；
17、步驟3.5、當候選緩沖池中不存在可用非本類樣本時，采用回退策略，從所有非真實身份標簽中任選一個預設標簽，或按循環偏移規則取。
18、作為一種優選，步驟4中，所述內層優化，模擬攻擊者利用受保護語音及真實說話人標簽，對所述代理說話人識別模型進行一步或多步微調；內層損失采用交叉熵類說話人分類損失，對應進行內層更新，得到優化后的模型參數。
19、作為一種優選，步驟5中，所述外層優化，以為臨時模型，將同一受保護語音朝向非真實目標身份標簽偏移，外層損失采用目標身份分類損失與頻譜差異約束的加權和。
20、頻譜差異約束采用短時傅里葉變換后的l1范數差異、l2范數差異或mel頻譜差異。
21、一階近似策略，在內層更新階段，將受保護語音視為停止梯度的輸入，完成模型參數從到的更新；在外層優化階段，將視為相對于擾動變量的常數，僅計算擾動變量到外層損失的梯度。
22、作為一種優選，步驟6中，采用符號梯度下降方式更新擾動變量，每次更新后對執行投影，使擾動幅度不超過預設閾值；并進行頻譜差異約束，用于對受保護語音與原始語音之間的短時頻譜差異施加約束，保證受保護語音的可發布性。
23、作為一種優選，步驟2中，還包括多子擾動處理，用于緩解同類樣本共享單一擾動導致的平均化問題；
24、每個說話人類別維護多個子擾動模板，其中，表示每個說話人類別對應維護的子擾動模板數量；當待保護樣本進入系統時，樣本級索引由樣本路徑、文件名或唯一編號通過確定性映射函數獲得。
25、本發明采用以上技術方案與現有技術相比，具有以下技術效果：
26、1、本發明通過顯式模擬攻擊者在預訓練說話人識別模型上的微調過程生成擾動，使擾動設計路徑與實際攻擊路徑一致，因此較僅面向從零訓練模型的不可學習樣本方法更適合預訓練微調場景。
27、2、本發明通過目標身份選擇機制為每個源樣本指定明確的錯誤身份偏移方向，使保護目標由一般性“擾亂訓練”轉變為“誘導錯誤身份映射”，從而提高攻擊者微調后建立錯誤身份關聯的概率。
28、3、本發明采用一階近似方式求解雙層優化中的擾動梯度，在不顯式計算二階梯度的情況下，實現了可落地的工程求解流程，兼顧了方法有效性與訓練復雜度。
29、4、本發明通過幅度約束、stft頻譜差異約束以及可選的時序顯著性掩碼，使受保護語音在盡量保持聽感和可發布性的前提下實現主動防護。
30、5、本發明通過采用預訓練語音表征網絡與aam-softmax分類頭結構，能夠直接適配現有主流說話人識別系統，具備較強的現實可實施性。