1. <rt id="e600n"></rt>
      1. <pre id="e600n"><strong id="e600n"><pre id="e600n"></pre></strong></pre>
      2. 岛国免费AV,无码人妻精品一区二区三区夜夜嗨,又大又粗又硬又爽黄毛少妇,精品国产AV二区,91视频最新网址,久操无码,久久无码人妻一区二区三区午夜,国产精品视频中文字幕

        人聲與伴奏分離方法、裝置、終端和介質與流程

        文檔序號:45761415發布日期:2026-06-10 00:48閱讀:0來源:國知局

        本技術涉及數據處理,尤其涉及一種人聲與伴奏分離方法、裝置、終端和介質。


        背景技術:

        1、人聲與伴奏分離是音頻信號處理領域的核心研究方向之一,廣泛應用于音樂制作、卡拉ok系統、音頻降噪、語音增強等場景。傳統的分離技術基于人聲與伴奏在時頻域的能量分布差異,通過計算理想二值掩蔽(ibm)、理想比率掩蔽(irm)等掩蔽函數,對混合音頻的時頻特征進行過濾,保留目標信號的時頻分量。其核心假設是人聲與伴奏在部分時頻單元上能量互不重疊;或者,通過估計伴奏噪聲的頻譜特征,從混合音頻頻譜中減去噪聲頻譜,實現人聲提取。隨著深度學習技術的發展,基于神經網絡的分離方法逐漸成為主流,其核心是利用網絡自動學習人聲與伴奏的特征差異,替代傳統方法的人工設計規則,代表性技術包括:循環神經網絡(rnn)/長短期記憶網絡(lstm)類方法:針對音頻信號的時序特性,通過rnn/lstm捕捉長序列的時序依賴關系,提升對人聲、伴奏時序特征的建模能力。transformer類方法:引入自注意力機制,建模音頻時頻特征的全局依賴關系,解決cnn局部感受野和rnn長序列梯度消失的問題,進一步提升特征解耦效果;混合模型方法:結合cnn的局部特征提取能力與transformer的全局建模能力,構建端到端的分離模型,成為當前主流的研究方向。

        2、然而,現有的人聲與伴奏的分離技術手段有下列不足:對噪聲估計精度依賴大,易產生“音樂噪聲”;現有深度學習方法大多采用“模型端輸出即最終結果”的模式,神經網絡完成特征解耦后,僅通過簡單的逆時頻變換得到分離音頻,缺乏針對模型輸出特征的有效性評估與適配性處理邏輯;現有方法的神經網絡層多采用單一的特征提取或解耦結構,對人聲與伴奏的重疊特征分量處理方式簡單(如直接丟棄或平均分配),未考慮重疊分量的幅值能量分布特性;面對混合度高、分離難度大的音頻(如人聲與伴奏頻率高度重疊的音樂片段),現有方法僅執行單次模型推理,分離度無法滿足實際需求時無有效補救措施。


        技術實現思路

        1、本技術的主要目的在于提供一種人聲與伴奏分離方法、裝置、終端和介質,旨在通過多分支動態邏輯設計來實現高精度的人聲與伴奏的分離。

        2、為實現上述目的,本技術提供一種人聲與伴奏分離方法,所述方法包括:

        3、獲取混合音頻的原始波形數據;

        4、對所述原始波形數據進行特征提取處理,得到混合音頻對應的特征提取張量;

        5、對所述特征提取張量進行解耦處理,得到人聲特征張量以及伴奏特征張量;

        6、基于所述人聲特征張量以及所述伴奏特征張量,確定特征質量等級,其中,所述特征質量等級用于表征所述人聲特征張量以及所述伴奏特征張量之間的人聲和伴奏的分離程度;

        7、基于所述特征質量等級,通過預設差異化分離執行方案對所述人聲特征張量以及所述伴奏特征張量進行處理,得到目標人聲波形數據以及目標伴奏波形數據。

        8、具體地,所述對所述原始波形數據進行特征提取處理,得到混合音頻對應的特征提取張量,包括:

        9、對所述原始波形數據進行短時傅里葉變換處理,得到頻譜特征圖;

        10、通過預設一維卷積網絡對所述頻譜特征圖進行卷積處理,得到中間卷積特征圖;

        11、通過預設批歸一化網絡對所述中間卷積特征圖進行批歸一化處理,得到批歸一化特征圖;

        12、基于預設元素激活規則,根據所述批歸一化特征圖,得到激活特征圖;

        13、基于預設池化核,對所述激活特征圖進行處理,得到所述特征提取張量。

        14、具體地,所述基于預設元素激活規則,根據所述批歸一化特征圖,得到激活特征圖,包括:

        15、保留所述批歸一化特征圖中的大于0的元素,并將所述批歸一化特征圖中的小于0的元素設置為0,以得到所述激活特征圖。

        16、具體地,所述基于預設池化核,對所述激活特征圖進行處理,得到所述特征提取張量,包括:

        17、對所述激活特征圖中的被所述預設池化核對應的感受野覆蓋的所有元素計算平均值,得到池化后的特征值;

        18、基于所述池化后的特征值,得到所述特征提取張量。

        19、具體地,所述對所述特征提取張量進行解耦處理,得到人聲特征張量以及伴奏特征張量,包括:

        20、將所述特征提取張量輸入至預設多頭自注意力層,得到與所述特征提取張量的維度相同的多頭自注意力特征;

        21、將所述多頭自注意力特征以及所述特征提取張量輸入至預設殘差連接層,得到與所述特征提取張量的維度相同的殘差特征張量;

        22、對所述殘差特征張量進行深度卷積處理,得到深度卷積特征張量;

        23、對所述深度卷積特征進行逐點卷積處理,得到所述人聲特征張量以及所述伴奏特征張量。

        24、具體地,所述基于所述人聲特征張量以及所述伴奏特征張量,確定特征質量等級,包括:

        25、基于所述人聲特征張量以及所述伴奏特征張量,分別計算得到人聲特征張量對應的第一相似度矩陣以及伴奏特征張量對應的第二相似度矩陣;

        26、基于所述第一相似度矩陣以及所述第二相似度矩陣,分別計算得到第一相似度矩陣對應的第一全局均值以及第二相似度矩陣對應的第二全局均值;

        27、基于預設頻率維度權重、預設時間維度權重、所述第一全局均值以及所述第二全局均值,計算得到混合音頻對應的融合分離度指標;

        28、比較所述融合分離度指標與預設分離度閾值區間之間的大小,確定所述特征質量等級。

        29、具體地,所述特征質量等級為高分離度等級、中分離度等級或低分離度等級;

        30、所述基于所述特征質量等級,通過預設差異化分離執行方案對所述人聲特征張量以及所述伴奏特征張量進行處理,得到目標人聲波形數據以及目標伴奏波形數據,包括:

        31、若所述特征質量等級為所述高分離度等級,則分別對所述人聲特征張量以及所述伴奏特征張量進行逆短時傅里葉變換,得到所述目標人聲波形數據以及所述目標伴奏波形數據;

        32、若所述特征質量等級為所述中分離度等級,則對所述人聲特征張量依次進行高頻增強處理以及逆短時傅里葉變換處理,并對所述伴奏特征張量依次進行噪聲抑制處理以及逆短時傅里葉變換處理,得到所述目標人聲波形數據以及所述目標伴奏波形數據;

        33、若所述特征質量等級為所述低分離度等級,則基于所述人聲特征張量以及所述伴奏特征張量之間的重疊特征分量對應的幅值比例,將所述重疊特征分量分配至所述人聲特征張量以及所述伴奏特征張量,得到分配后的人聲特征張量以及分配后的伴奏特征張量;調整所述預設多頭自注意力層,并基于調整后的預設多頭自注意力層,對所述分配后的人聲特征張量以及所述分配后的伴奏特征張量進行解耦處理,以重新確定所述分配后的人聲特征張量以及所述分配后的伴奏特征張量之間的特征質量等級。

        34、為實現上述目的,本技術還提供一種人聲與伴奏分離裝置,所述裝置包括:

        35、第一單元,用于獲取混合音頻的原始波形數據;

        36、第二單元,用于對所述原始波形數據進行特征提取處理,得到混合音頻對應的特征提取張量;

        37、第三單元,用于對所述特征提取張量進行解耦處理,得到人聲特征張量以及伴奏特征張量;

        38、第四單元,用于基于所述人聲特征張量以及所述伴奏特征張量,確定特征質量等級,其中,所述特征質量等級用于表征所述人聲特征張量以及所述伴奏特征張量之間的人聲和伴奏的分離程度;

        39、第五單元,用于基于所述特征質量等級,通過預設差異化分離執行方案對所述人聲特征張量以及所述伴奏特征張量進行處理,得到目標人聲波形數據以及目標伴奏波形數據。

        40、為實現上述目的,本技術還提供一種終端,包括存儲器存儲有多條指令;所述處理器從所述存儲器中加載指令,以執行本技術所提供的任一種方法中的步驟。

        41、為實現上述目的,本技術還提供一種介質,所述介質存儲有多條指令,所述指令適于處理器進行加載,以執行本技術所提供的任一種方法中的步驟。

        42、本技術提供的一種人聲與伴奏分離方法、裝置、終端和介質,可以首先獲取混合音頻的原始波形數據;對所述原始波形數據進行特征提取處理,得到混合音頻對應的特征提取張量;對所述特征提取張量進行解耦處理,得到人聲特征張量以及伴奏特征張量;基于所述人聲特征張量以及所述伴奏特征張量,確定特征質量等級;基于所述特征質量等級,通過預設差異化分離執行方案對所述人聲特征張量以及所述伴奏特征張量進行處理,得到目標人聲波形數據以及目標伴奏波形數據,以實現高精度的人聲與伴奏的分離。

        當前第1頁1 2 
        網友詢問留言 留言:0條
        • 還沒有人留言評論。精彩留言會獲得點贊!
        主站蜘蛛池模板: 亚洲AV无码片一区二区三区| 中文字幕久久国产精品| 六月婷婷激情综合| 欧美成人欧美va天堂在线电影| 国产成人精品久久性色av| 亚洲自拍另类欧美综合| 亚洲国产精品线观看不卡| 国产无吗一区二区三区在线欢| 欧美成人精品在线| 欧美另类高清zo欧美| 超碰视屏| 日韩人妻无码精品久久| 草草浮力影院| 国产一区二区av天堂热| 波多野结衣无码视频在线观看| 国产精品久久久久精品日日| 亚洲春色在线视频| 日本夜爽爽一区二区三区| 久久久久久av无码免费网站下载| 真实国产乱啪福利露脸| 日本深夜福利在线观看| 最新国产精品亚洲| 亚洲国产精品性色av| 久久精品夜夜夜夜夜久久| 久久人妻精品国产| 韩国三级hd中文字幕| 亚洲日本中文综合在线 | 日韩AV无码精品| 精品欧美一区二区三区在线| 日韩av日韩av在线| 丁香婷婷久久| 久久久久久青五月| 亚洲国产都市一区二区| 中文字幕日韩有码av| 中文字幕精品人妻在线| 子长县| 精品亚洲成A人无码成A在线观看| 成人av无码高清| 亚洲中文字幕女同一区二区三区| 99热这里只有精品69| 激情亚洲内射一区二区三区|