本申請涉及語音合成技術領域，尤其涉及一種韻律預測效果的評估方法及裝置。
背景技術：
韻律預測是語音合成系統(tǒng)中不可或缺的一部分，它屬于語音合成系統(tǒng)的前端處理，用于預測文本數(shù)據(jù)中的韻律邊界位置，語音合成系統(tǒng)的后端處理會根據(jù)韻律邊界位置給出音頻停頓。
韻律預測通過韻律預測引擎實現(xiàn)，韻律預測引擎的韻律預測效果的好壞直接影響語音合成的整體質(zhì)量，為了獲得較高的語音合成質(zhì)量，通常需要對韻律預測引擎的韻律預測效果進行評估。
目前，對韻律預測引擎的韻律預測效果進行評估的方法為人工評估方法，即由評估人員對韻律預測引擎的韻律預測結(jié)果進行評估。然而，人工評估方法易受主觀因素(比如評估人員的經(jīng)驗、狀態(tài)等)影響，導致評估結(jié)果可信度不高，并且，人工評估方法的人工成本和時間成本較高。
技術實現(xiàn)要素：
有鑒于此，本申請?zhí)峁┝艘环N韻律預測結(jié)果的評估方法及裝置，用以解決現(xiàn)有技術中的人工評估方法易受主觀因素，導致評估結(jié)果可信度不高，且人工評估方法的人工成本和時間成本較高的問題，其技術方案如下：
一種韻律預測效果的評估方法，包括：
獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，其中，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到；
基于預先獲得的、所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值，其中，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果，任一人工韻律標注結(jié)果的權值能夠表征該人工韻律標注結(jié)果的合理程度；
根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
可選的，獲取所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，包括：
獲取所述多個測試用例分別對應的人工韻律標注結(jié)果集；
將所述多個測試用例分別對應的人工韻律標注結(jié)果集中的每個人工韻律標注結(jié)果進行音頻合成，獲得所述多個測試用例分別對應的合成音頻集；
根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值；其中，任一測聽人員針對任一測試用例選取的最佳人工韻律標注結(jié)果為該測聽人員通過對該測試用例對應的合成音頻集中的各合成音頻進行測聽，從該測試用例對應的人工韻律標注結(jié)果集中選取出的最佳人工韻律標注結(jié)果。
可選的，所述根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，包括：
將所述測試用例集中的測試用例分為多組，每組測試用例組成一個測試用例子集，得到多個測試用例子集；
從所述多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集；
基于所述多個測聽人員分別對應的初始權值，以及每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測聽人員分別對應的目標權值；
通過所述測聽人員分別對應的目標權值，確定所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值；
將所述多個測聽人員分別對應的目標權值作為所述多個測聽人員分別對應的初始權值，然后執(zhí)行所述從多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集，直至不存在未獲取過的測試用例子集，以獲得所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
可選的，所述基于所述多個測聽人員分別對應的初始權值，以及每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測聽人員分別對應的目標權值，包括：
通過每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定任意兩個測聽人員對應的測試用例數(shù)量比，其中，任意兩個測聽人員對應的測試用例數(shù)量比為：任意兩個測聽人員針對該目標測試用例子集中的各個測試用例選取的相同最佳人工韻律標注結(jié)果對應的測試用例的總數(shù)量與所述目標測試用例子集中測試用例的總數(shù)量的比值；
基于所述多個測聽人員分別對應的初始權值，以及所述任意兩個測聽人員對應的測試用例數(shù)量比，確定所述多個測聽人員分別對應的目標權值。
可選的，所述通過所述測聽人員分別對應的目標權值，確定所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，包括：
對于所述目標測試用例子集中任一測試用例對應的人工韻律標注結(jié)果集中的任一人工韻律標注結(jié)果：
通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值；
以得到所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
可選的，所述通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值，包括：
將選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值求和，求和得到值作為該人工韻律標注結(jié)果的權值。
可選的，所述基于預先獲得的、所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值，包括：
針對任一測試用例對應的韻律預測結(jié)果：
從該測試用例對應的人工韻律標注結(jié)果集中確定與該測試用例對應的韻律預測結(jié)果一致的人工韻律標注結(jié)果，并將確定出的人工韻律標注結(jié)果的權值作為該測試用例對應的韻律預測結(jié)果的權值；
以得到所述多個測試用例分別對應的韻律預測結(jié)果的權值。
可選的，所述根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果，包括：
通過所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的得分；
確定所述待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例，作為所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果；
其中，所述人工最高得分通過對各個測試用例對應的最大權值求和得到，任一測試用例對應的最大權值為該測試用例對應的人工韻律標注結(jié)果集中各個人工韻律標注結(jié)果的權值中的最大權值。
一種韻律預測效果的評估裝置，包括：韻律預測結(jié)果獲取模塊、韻律預測結(jié)果權值確定模塊和韻律預測效果評估模塊；
所述韻律預測結(jié)果獲取模塊，用于獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，其中，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到；
所述韻律預測結(jié)果權值確定模塊，用于基于預先獲得的、所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值，其中，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果，任一人工韻律標注結(jié)果的權值能夠表征該人工韻律標注結(jié)果的合理程度；
所述韻律預測效果評估模塊，用于根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
所述韻律預測效果的評估裝置還包括：人工韻律標注結(jié)果集獲取模塊、音頻合成模塊和人工韻律標注結(jié)果權值確定模塊；
所述人工韻律標注結(jié)果集獲取模塊，用于獲取所述多個測試用例分別對應的人工韻律標注結(jié)果集；
所述音頻合成模塊，用于將所述多個測試用例分別對應的人工韻律標注結(jié)果集中的每個人工韻律標注結(jié)果進行音頻合成，獲得所述多個測試用例分別對應的合成音頻集；
所述人工韻律標注結(jié)果權值確定模塊，用于根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值；其中，任一測聽人員針對任一測試用例選取的最佳人工韻律標注結(jié)果為該測聽人員通過對該測試用例對應的合成音頻集中的各合成音頻進行測聽，從該測試用例對應的人工韻律標注結(jié)果集中選取出的最佳人工韻律標注結(jié)果。
可選的，所述人工韻律標注結(jié)果權值確定模塊包括：分組子模塊、獲取子模塊、第一權值確定子模塊、第二權值確定子模塊和初始權值確定子模塊；
所述分組子模塊，用于將所述測試用例集中的測試用例分為多組，每組測試用例組成一個測試用例子集，得到多個測試用例子集；
所述獲取子模塊，用于從所述多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集；
所述第一權值確定子模塊，用于基于所述多個測聽人員分別對應的初始權值，以及每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測聽人員分別對應的目標權值；
所述第二權值確定子模塊，用于通過所述測聽人員分別對應的目標權值，確定所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值；
所述初始權值確定子模塊，用于將所述多個測聽人員分別對應的目標權值確定為所述多個測聽人員分別對應的初始權值，然后觸發(fā)所述獲取子模塊從多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集，直至不存在未獲取過的測試用例子集，以獲得所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
可選的，所述第一權值確定子模塊，具體用于通過每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定任意兩個測聽人員對應的測試用例數(shù)量比；基于所述多個測聽人員分別對應的初始權值，以及所述任意兩個測聽人員對應的測試用例數(shù)量比，確定所述多個測聽人員分別對應的目標權值；
其中，任意兩個測聽人員的測試用例數(shù)量比為：任意兩個測聽人員針對該目標測試用例子集中的各個測試用例選取的相同最佳人工韻律標注結(jié)果對應的測試用例的總數(shù)量與所述目標測試用例子集中測試用例的總數(shù)量的比值。
可選的，所述第二權值確定子模塊，具體用于對于所述目標測試用例子集中任一測試用例對應的人工韻律標注結(jié)果集中的任一人工韻律標注結(jié)果，通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值，以得到所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
可選的，所述韻律預測結(jié)果權值確定模塊，具體用于針對任一測試用例對應的韻律預測結(jié)果：從該測試用例對應的人工韻律標注結(jié)果集中確定與該測試用例對應的韻律預測結(jié)果一致的人工韻律標注結(jié)果，并將確定出的人工韻律標注結(jié)果的權值作為該測試用例對應的韻律預測結(jié)果的權值；以得到所述多個測試用例分別對應的韻律預測結(jié)果的權值。
可選的，所述韻律預測效果評估模塊包括：韻律預測效果得分確定子模塊和評估結(jié)果確定子模塊；
所述韻律預測效果得分確定子模塊，用于通過所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的得分；
所述評估結(jié)果確定子模塊，用于確定所述待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例，作為所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果；其中，所述人工最高得分通過對各個測試用例對應的最大權值求和得到，任一測試用例對應的最大權值為該測試用例對應的人工韻律標注結(jié)果集中各個人工韻律標注結(jié)果的權值中的最大權值。
一種韻律預測效果的評估設備，包括：存儲器和處理器；
所述存儲器，用于存儲程序；
所述處理器，用于執(zhí)行所述程序，實現(xiàn)所述韻律預測效果的評估方法的各個步驟。
一種可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時，實現(xiàn)所述韻律預測效果的評估方法的各個步驟。
經(jīng)由上述方案可知，本申請?zhí)峁┑捻嵚深A測效果的評估方法及裝置，首先獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，然后基于預先獲得的多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值，最后根據(jù)多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果，由此可見，本申請?zhí)峁┑捻嵚深A測效果的評估方法，可基于測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值自動對待評估韻律預測引擎的韻律預測效果進行評估，相較于現(xiàn)有的人工評估方式，不但避免了主觀性因素對評估結(jié)果的影響，而且節(jié)省了人力、降低了評估耗時。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
圖1為本申請實施例提供的韻律預測效果的評估方法的流程示意圖；
圖2為本申請實施例提供的獲取多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的流程示意圖；
圖3為本申請實施例提供的根據(jù)多個測聽人員中的每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的流程示意圖；
圖4為本申請實施例提供的根據(jù)多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果的流程示意圖；
圖5為本申請實施例提供的韻律預測效果的評估裝置的結(jié)構示意圖；
圖6為本申請實施例提供的韻律預測效果的評估設備的結(jié)構示意圖。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
現(xiàn)有的人工評估方法為，通過多個評估人員對測試用例集中各個測試用例對應的韻律預測結(jié)果(即，待評估韻律預測引擎針對測試用例集的韻律預測結(jié)果)進行評估，具體的，評估人員對韻律預測結(jié)果或者通過韻律預測結(jié)果合成的音頻進行韻律標注校對，從而從各個測試用例對應的韻律預測結(jié)果中挑選出不可接受的韻律預測結(jié)果，進而統(tǒng)計出不可接受率。
發(fā)明人經(jīng)研究發(fā)現(xiàn)，上述的人工評估方式存在較大的主觀性，比如，不同的評估人員在測聽通過韻律預測結(jié)果合成的音頻時，測聽結(jié)果的差異可達25％，甚至同一評估人員在不同時間段針對同一音頻的測聽結(jié)果差異也比較大，這導致評估結(jié)果的可信度較低，并且，人工評估方法所需人力較多，且評估時間較長，即人工評估方法的人工成本和時間成本較高。
另外，上述人工評估方法中，人工標注的數(shù)據(jù)無法重復利用，也就是說，韻律預測引擎優(yōu)化前后，均需要評估人員對韻律預測引擎的韻律預測結(jié)果或者通過韻律預測結(jié)果合成的音頻進行韻律標注校對，以挑選出不可接受的韻律預測結(jié)果，即，韻律預測引擎優(yōu)化前的標注數(shù)據(jù)對優(yōu)化后韻律預測引擎的韻律預測結(jié)果的評估沒有任何利用價值。
鑒于上述人工評估方式存在的問題，本案發(fā)明人進行了深入研究，最終提出了一種效果較好的、針對韻律預測引擎的預測效果進行評估的方法，該評估方法適用于需要對韻律預測引擎的預測效果進行評估的應用場景，該評估方法能夠自動、高效、客觀地對待評估韻律預測引擎的預測效果進行評估，該評估預估方法可應用于終端，也可應用于服務器。接下來通過下述實施例對本申請?zhí)峁┑捻嵚深A測效果的評估方法進行介紹。
請參閱圖1，示出了本申請實施例提供的韻律預測效果的評估方法的流程示意圖，該方法可以包括：
步驟s101：獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果。
其中，測試用例集中包括從用戶場景的不同領域按預設的大數(shù)據(jù)比例選取的多個測試用例，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到。
步驟s102：基于預先獲得的、多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值。
其中，任一測試用例對應一人工韻律標注結(jié)果集，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果。
考慮到同一測試用例可能存在多個合理的韻律標注結(jié)果，因此，本申請針對任一測試用例，可獲取多個合理的人工韻律標注結(jié)果組成該測試用例對應的人工韻律標注結(jié)果集，其中，多個合理的人工韻律標注結(jié)果可通過多個標注人員對該測試用例進行韻律邊界位置標注得到。
其中，任一韻律標注結(jié)果的權值能夠表征該韻律標注結(jié)果的合理程度。
預先獲取測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的實現(xiàn)過程可參見后續(xù)實施例的說明。
步驟s103：根據(jù)多個測試用例分別對應的韻律預測結(jié)果以及多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
具體地，可根據(jù)測試用例集中多個測試用例分別對應的韻律預測結(jié)果以及多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的得分，進而基于待評估韻律預測引擎的韻律預測效果的得分，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
本申請實施例提供的韻律預測效果的評估方法，首先獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，然后基于預先獲得的多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值，最后根據(jù)多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果，由此可見，本申請實施例提供的韻律預測效果的評估方法，可基于測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，自動對待評估韻律預測引擎的韻律預測效果進行評估，相較于現(xiàn)有的人工評估方式，不但避免了主觀性因素對評估結(jié)果的影響，而且節(jié)省了人力、降低了評估耗時。
另外，本實施例中，測試用例集中的多個測試用例分別對應的人工韻律標注結(jié)果集，以及多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值只需要獲取一次，即可利用其對每個版本的韻律預測引擎的預測效果進行評估，即測試用例集中的多個測試用例分別對應的人工韻律標注結(jié)果集，以及多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值可重復利用。
接下來對預先獲取測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值進行介紹。
請參閱圖2，示出了獲取測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的流程示意圖，可以包括：
步驟s201：獲取測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集。
其中，任一測試用例對應的人工韻律標注結(jié)果集中的人工韻律標注結(jié)果由多個標注人員針對該測試用例進行韻律短語邊界位置標注得到。
步驟s202：將多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果進行音頻合成，獲得多個測試用例分別對應的合成音頻集。
具體的，針對任一測試用例，分別對該測試用例對應的人工韻律標注結(jié)果集中的每個人工韻律標注結(jié)果進行音頻合成，合成得到的音頻組成的集合作為該測試用例對應的合成音頻集，以得到多個測試用例分別對應的合成音頻集。
步驟s203：根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
其中，任一測聽人員針對任一測試用例選取的最佳人工韻律標注結(jié)果為該測聽人員通過對該測試用例對應的合成音頻集中的各合成音頻進行測聽，從該測試用例對應的人工韻律標注結(jié)果集中選取出的最佳人工韻律標注結(jié)果。需要說明的是，任一測聽人員針對任一測試用例對應的合成音頻集進行測聽時，從該測試用例對應的合成音頻集中挑選出最佳音頻，最佳音頻對應的人工韻律標注結(jié)果即為最佳人工韻律標注結(jié)果。
以下對“步驟s203：根據(jù)多個測聽人員中的每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值”進行介紹。
請參閱圖3，示出了根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的流程示意圖，可以包括：
步驟s301：將測試用例集中的測試用例分為多組，每組測試用例組成一個測試用例子集，得到多個測試用例子集。
示例性的，測試用例集中包括100個測試用例，可將100個測試用例分為5組，每組5個測試用例，可獲得5個測試用例子集。
步驟s302：從多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集。
步驟s303：基于多個測聽人員分別對應的初始權值，以及每個測聽人員針對目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定多個測聽人員分別對應的目標權值。
具體的，步驟s303的實現(xiàn)過程可以包括：
步驟s3031、通過每個測聽人員針對目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定任意兩個測聽人員對應的測試用例數(shù)量比。
其中，任意兩個測聽人員對應的測試用例數(shù)量比為：任意兩個測聽人員針對該目標測試用例子集中的各個測試用例選取的相同最佳人工韻律標注結(jié)果對應的測試用例的總數(shù)量與目標測試用例子集中測試用例的總數(shù)量的比值。
示例性的，目標測試用例子集包括3個測試用例a、b、c，測試用例a對應的人工韻律標注結(jié)果集為{a1,a2,a3}，測試用例b對應的人工韻律標注結(jié)果集為{b1,b2,b3}，測試用例c對應的人工韻律標注結(jié)果集為{c1,c2,c3},假設測聽人員x針對測試用例a選取的最佳人工韻律標注結(jié)果為a2，針對測試用例b選取的最佳人工韻律標注結(jié)果為b1，針對測試用例c選取的最佳人工韻律標注結(jié)果為c3，測聽人員y針對測試用例a選取的最佳人工韻律標注結(jié)果為a1，針對測試用例b選取的最佳人工韻律標注結(jié)果為b1，針對測試用例c選取的最佳人工韻律標注結(jié)果為c3，那么，測聽人員x和測聽人員y針對該測試用例a、b、c選取的相同最佳人工韻律標注結(jié)果對應的測試用例的總數(shù)量為2，目標測試用例子集中測試用例的總數(shù)量為3，則測聽人員x和測聽人員y對應的測試用例數(shù)量比為2/3。
步驟s3032、基于多個測聽人員分別對應的初始權值，以及任意兩個測聽人員對應的測試用例數(shù)量比，確定多個測聽人員分別對應的目標權值。
其中，任一測聽人員對應的目標權值越高，表明該測聽人員在測聽方面的經(jīng)驗越豐富。
假設測聽人員的數(shù)量為np，在本實施例中，可將np個測聽人員分別對應的初始權值組成一個np維列向量作為目標測試用例子集對應的初始概率分布，可將任意兩個測聽人員的測試用例數(shù)量比組成一個np*np的矩陣作為目標測試用例子集對應的轉(zhuǎn)移矩陣。需要說明的是，對于第一個目標測試用例子集而言，其對應的初始概率分布中每個元素的值均為1/np。
針對目標測試用例子集si，獲得目標測試用例子集si對應的初始概率分布vi-1和轉(zhuǎn)移矩陣mi后，可根據(jù)limn→∞minvi-1，進行若干次迭代，直至計算結(jié)果趨于平穩(wěn)，最終的計算結(jié)果為目標測試用例子集si對應的概率分布vi，vi中各個元素的值為，多個測聽人員分別對應的目標權值，其中，i的取值為1～q，q為測試用例子集的數(shù)量。
步驟s304：通過測聽人員分別對應的目標權值，確定目標測試用例子集的每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
具體的，對于目標測試用例子集中任一測試用例對應的人工韻律標注結(jié)果集中的任一人工韻律標注結(jié)果：通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值，以得到目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
進一步的，對于目標測試用例子集中任一測試用例對應的人工韻律標注結(jié)果集中的任一人工韻律標注結(jié)果：可將選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值求和，求和得到值作為該人工韻律標注結(jié)果的權值，以得到目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
步驟s305：判斷多個測試用例子集中是否還有未獲取過的測試用例子集，若多個測試用例子集中還有未獲取過的測試用例子集，則執(zhí)行步驟s306，若多個測試用例子集中沒有未獲取過的測試用例子集，則結(jié)束權值確定流程。
步驟s306：將多個測聽人員分別對應的目標權值作為多個測聽人員分別對應的初始權值，然后執(zhí)行步驟s302。
在本實施例中，計算第一個目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值時，以[1/np1/np…1/np]t作為第一個目標測試用例子集對應的初始概率分布v0，通過該初始概率分布v0和第一個目標測試用例子集對應的轉(zhuǎn)移矩陣m1確定第一個目標測試用例子集對應的概率分布v1，在計算第二個目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值時，將v1作為第二個目標測試用例子集對應的初始概率分布，通過v1和第二個目標測試用例子集對應的轉(zhuǎn)移矩陣m2確定第二個目標測試用例子集對應的概率分布v2，以此類推。
經(jīng)由上述過程，可獲得測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
需要說明的是，本實施例對測試用例集中的測試用例分組，分別針對每組測試用例確定權重，由于每次運算的數(shù)據(jù)相對較少，因此，具有較高的運算效率，另外，將前一目標測試用例子集對應的概率分布作為下一目標測試用例子集對應的初始概率分布可以降低迭代次數(shù)，使計算結(jié)果快速趨于平穩(wěn)，能進一步提高運算效率。
另外需要說明的是，上述步驟s301～步驟s306為步驟s203的一種優(yōu)選實現(xiàn)方式，本實施例并不限定步驟s203僅可通過步驟s301～步驟s306實現(xiàn)，還可通過其它方式實現(xiàn)，比如，可不對測試用例集進行分組，針對整個測試用例集設定一初始概率分布v0(v0為np維列向量，該np維列向量中各個元素的值均為1/np)，然后將任意兩個測聽人員對應的測試用例數(shù)量比組成整個測試用例集對應的轉(zhuǎn)移矩陣m(np*np)，通過limn→∞mnv0進行若干次迭代，直至計算結(jié)果趨于平穩(wěn)，最終的計算結(jié)果為整個測試用例集對應的概率分布v，v中各個元素的值為多個測聽人員分別對應的目標權值，通過測聽人員分別對應的目標權值，確定整個測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
前述過程給出了預先獲取測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值的過程，接下來對上述實施例中的“步驟s102：基于預先獲得的、多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值”進行介紹。
基于預先獲得的、多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值的過程可以包括：針對任一測試用例對應的韻律預測結(jié)果，從該測試用例對應的人工韻律標注結(jié)果集中確定與該測試用例對應的韻律預測結(jié)果一致的人工韻律標注結(jié)果，并將確定出的人工韻律標注結(jié)果的權值作為該測試用例對應的韻律預測結(jié)果的權值；以得到測試用例集中多個測試用例分別對應的韻律預測結(jié)果的權值。
示例性的，一測試用例對應的韻律預測結(jié)果為x，該測試用例對應的人工韻律標注結(jié)果集為{a1,a2,a3}，若韻律預測結(jié)果x與人工韻律標注結(jié)果a2一致，則將人工韻律標注結(jié)果a2的權值作為韻律預測結(jié)果x的權值。需要說明的是，韻律預測結(jié)果x與人工韻律標注結(jié)果a2一致可以為韻律預測結(jié)果x與人工韻律標注結(jié)果a2中的韻律短語停頓位置相同。
需要說明的是，針對任一測試用例對應的韻律預測結(jié)果，若該測試用例對應的人工韻律標注結(jié)果集中不存在與該測試用例對應的韻律預測結(jié)果一致的人工韻律標注結(jié)果，則將測試用例對應的韻律預測結(jié)果的權值設定為0。
在獲得測試用例集中多個測試用例分別對應的韻律預測結(jié)果的權值后，便可根據(jù)多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
請參閱圖4，示出了根據(jù)多個測試用例分別對應的韻律預測結(jié)果以及多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果的流程示意圖，可以包括：
步驟s401：通過多個測試用例分別對應的韻律預測結(jié)果以及多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的得分。
具體的，可將多個測試用例分別對應的韻律預測結(jié)果的權值求和，求和得到值歸一化后作為待評估韻律預測引擎的韻律預測效果的得分。
步驟s402：確定待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例，作為待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
其中，人工最高得分通過對多個測試用例分別對應的最大權值求和得到，任一測試用例對應的最大權值為該測試用例對應的人工韻律標注結(jié)果集中各個人工韻律標注結(jié)果的權值中的最大權值。
在本實施例中，待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例能夠反映大部分用戶對待評估韻律預測引擎的韻律預測效果滿意度，可以理解的，待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例越大，表明對待評估韻律預測引擎的韻律預測效果滿意度越高。
本申請實施例提供的韻律預測效果的評估方法，可自動對待評估韻律預測引擎的韻律預測效果進行評估，相較于現(xiàn)有的人工評估方式，不但避免了主觀性因素對評估結(jié)果的影響，而且節(jié)省了人力、降低了評估耗時，即本申請實施例提供的評估方法能夠自動、高效、客觀地對待評估韻律預測引擎的韻律預測效果進行評估。另外，本實施例中測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集，以及多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值可重復利用。
本申請實施例還提供了一種韻律預測效果的評估裝置，下面對本申請實施例提供的評估裝置進行描述，下文描述的評估裝置與上文描述的評估方法可相互對應參照。
請參閱圖5，示出了本申請實施例提供的一種韻律預測效果的評估裝置的結(jié)構示意圖，該裝置可以包括：韻律預測結(jié)果獲取模塊501、韻律預測結(jié)果權值確定模塊502和韻律預測效果評估模塊503。
韻律預測結(jié)果獲取模塊501，用于獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果。
其中，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到。
韻律預測結(jié)果權值確定模塊502，用于基于預先獲得的、多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值。
其中，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果，任一人工韻律標注結(jié)果的權值能夠表征該人工韻律標注結(jié)果的合理程度。
韻律預測效果評估模塊503，用于根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
本申請實施例提供的韻律預測效果的評估裝置，首先獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，然后基于預先獲得的多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定多個測試用例分別對應的韻律預測結(jié)果的權值，最后根據(jù)多個測試用例分別對應的韻律預測結(jié)果的權值，確定待評估韻律預測引擎的韻律預測效果的評估結(jié)果，由此可見，本申請實施例提供的韻律預測效果的評估裝置，可基于多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，自動對待評估韻律預測引擎的韻律預測效果進行評估，相較于現(xiàn)有的人工評估方式，不但避免了主觀性因素對評估結(jié)果的影響，而且節(jié)省了人力、降低了評估耗時。
在一種可能的實現(xiàn)方式中，上述實施例提供的韻律預測效果的評估裝置還包括：人工韻律標注結(jié)果集獲取模塊、音頻合成模塊和人工韻律標注結(jié)果權值確定模塊。
所述人工韻律標注結(jié)果集獲取模塊，用于獲取所述多個測試用例分別對應的人工韻律標注結(jié)果集。
所述音頻合成模塊，用于將所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果進行音頻合成，獲得多個測試用例分別對應的合成音頻集。
所述人工韻律標注結(jié)果權值確定模塊，用于根據(jù)多個測聽人員中每個測聽人員針對每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
其中，任一測聽人員針對任一測試用例選取的最佳人工韻律標注結(jié)果為該測聽人員通過對該測試用例對應的合成音頻集中的各合成音頻進行測聽，從該測試用例對應的人工韻律標注結(jié)果集中選取出的最佳人工韻律標注結(jié)果。
在一種可能的實現(xiàn)方式中，所述人工韻律標注結(jié)果權值確定模塊包括：分組子模塊、獲取子模塊、第一權值確定子模塊、第二權值確定子模塊和初始權值確定子模塊；
所述分組子模塊，用于將所述測試用例集中的測試用例分為多組，每組測試用例組成一個測試用例子集，得到多個測試用例子集；
所述獲取子模塊，用于從所述多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集；
所述第一權值確定子模塊，用于基于所述多個測聽人員分別對應的初始權值，以及每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定所述多個測聽人員分別對應的目標權值；
所述第二權值確定子模塊，用于通過所述測聽人員分別對應的目標權值，確定所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值；
所述初始權值確定子模塊，用于將所述多個測聽人員分別對應的目標權值確定為所述多個測聽人員分別對應的初始權值，然后觸發(fā)所述獲取子模塊從多個測試用例子集中獲取一未獲取過的測試用例子集作為目標測試用例子集，直至不存在未獲取過的測試用例子集，以獲得所述測試用例集中多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
在一種可能的實現(xiàn)方式中，所述第一權值確定子模塊，具體用于通過每個測聽人員針對所述目標測試用例子集中每個測試用例選取的最佳人工韻律標注結(jié)果，確定任意兩個測聽人員對應的測試用例數(shù)量比；基于所述多個測聽人員分別對應的初始權值，以及所述任意兩個測聽人員對應的測試用例數(shù)量比，確定所述多個測聽人員分別對應的目標權值；
其中，任意兩個測聽人員的測試用例數(shù)量比為：任意兩個測聽人員針對該目標測試用例子集中的各個測試用例選取的相同最佳人工韻律標注結(jié)果對應的測試用例的總數(shù)量與所述目標測試用例子集中測試用例的總數(shù)量的比值。
在一種可能的實現(xiàn)方式中，所述第二權值確定子模塊，具體用于對于所述目標測試用例子集中任一測試用例對應的人工韻律標注結(jié)果集中的任一人工韻律標注結(jié)果，通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值，以得到所述目標測試用例子集中每個測試用例對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值。
在一種可能的實現(xiàn)方式中，所述第二權值確定子模塊，在通過選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值，確定該人工韻律標注結(jié)果的權值時，具體用于將選取該人工韻律標注結(jié)果為最佳人工韻律標注結(jié)果的測聽人員對應的目標權值求和，求和得到值作為該人工韻律標注結(jié)果的權值。
在一種可能的實現(xiàn)方式中，上述實施例提供的韻律預測效果的評估裝置中，韻律預測結(jié)果權值確定模塊502，具體用于針對任一測試用例對應的韻律預測結(jié)果：從該測試用例對應的人工韻律標注結(jié)果集中確定與該測試用例對應的韻律預測結(jié)果一致的人工韻律標注結(jié)果，并將確定出的人工韻律標注結(jié)果的權值作為該測試用例對應的韻律預測結(jié)果的權值；以得到所述多個測試用例分別對應的韻律預測結(jié)果的權值。
在一種可能的實現(xiàn)方式中，上述實施例提供的韻律預測效果的評估裝置中，韻律預測效果評估模塊503可以包括：韻律預測效果得分確定子模塊和評估結(jié)果確定子模塊。
所述韻律預測效果得分確定子模塊，用于通過所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的得分。
所述評估結(jié)果確定子模塊，用于確定所述待評估韻律預測引擎的韻律預測效果的得分占人工最高得分的比例，作為所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
其中，所述人工最高得分通過對多個測試用例分別對應的最大權值求和得到，任一測試用例對應的最大權值為該測試用例對應的人工韻律標注結(jié)果集中各個人工韻律標注結(jié)果的權值中的最大權值。
本申請實施例還提供了一種韻律預測效果的評估設備，請參閱圖6，示出了該評估設備的結(jié)構示意圖，該評估設備可以包括：至少一個處理器601，至少一個通信接口602，至少一個存儲器603和至少一個通信總線604；
在本申請實施例中，處理器601、通信接口602、存儲器603、通信總線604的數(shù)量為至少一個，且處理器601、通信接口602、存儲器603通過通信總線604完成相互間的通信；
處理器601可能是一個中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實施本發(fā)明實施例的一個或多個集成電路等；
存儲器603可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatilememory)等，例如至少一個磁盤存儲器；
其中，存儲器存儲有程序，處理器可調(diào)用存儲器存儲的程序，所述程序用于：
獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，其中，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到；
基于預先獲得的、所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值，其中，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果，任一人工韻律標注結(jié)果的權值能夠表征該人工韻律標注結(jié)果的合理程度；
根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
可選的，所述程序的細化功能和擴展功能可參照上文描述。
本申請實施例還提供一種可讀存儲介質(zhì)，該可讀存儲介質(zhì)可存儲有適于處理器執(zhí)行的程序，所述程序用于：
獲取測試用例集中多個測試用例分別對應的韻律預測結(jié)果，其中，每個測試用例對應的韻律預測結(jié)果通過待評估韻律預測引擎預測得到；
基于預先獲得的、所述多個測試用例分別對應的人工韻律標注結(jié)果集中每個人工韻律標注結(jié)果的權值，確定所述多個測試用例分別對應的韻律預測結(jié)果的權值，其中，任一測試用例對應的人工韻律標注結(jié)果集包括該測試用例對應的至少一個人工韻律標注結(jié)果，任一人工韻律標注結(jié)果的權值能夠表征該人工韻律標注結(jié)果的合理程度；
根據(jù)所述多個測試用例分別對應的韻律預測結(jié)果以及所述多個測試用例分別對應的韻律預測結(jié)果的權值，確定所述待評估韻律預測引擎的韻律預測效果的評估結(jié)果。
最后，還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。
對所公開的實施例的上述說明，使本領域?qū)I(yè)技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。