本發明涉及語音轉換技術領域，具體涉及一種基于解糾纏和解釋性表征的跨語種語音轉換方法及系統。
背景技術：
語音轉換是語音信號處理領域的重要研究分支，是在語音合成和說話人識別的研究基礎上發展與延伸的。語音轉換的任務是改變源說話人的語音個性特征，使之具有目標說話人的個性特征，同時保留源說話人的語義信息不變。簡而言之就是使源說話人的語音經過轉換后，保留原語義的同時聽起來像是目標說話人的語音。
語音轉換技術經過多年的研究，已經涌現了很多經典的轉換方法，根據訓練語料進行分類，語音轉換可以分為平行文本條件下的轉換方法和非平行文本條件下的轉換方法。平行文本條件下的轉換方法需要預先采集大量平行訓練文本，但是在實際應用中，想要獲取大量的平行訓練文本往往較為困難，耗時耗力，尤其在跨語種語音轉換和醫療輔助系統中，采集到平行的訓練文本根本無法實現，因此，無論從語音轉換系統的通用性還是實用性來考慮，非平行文本條件下的語音轉換研究都具有更大的應用價值和現實意義。
在語音轉換領域的研究中，現有的非平行文本條件下的語音轉換方法取得了很大進展，主要包括基于循環一致對抗網絡(cycle-consistentadversarialnetworks,cycle-gan)的方法、基于條件變分自編碼器(conditionalvariationalauto-encoder,c-vae)的方法、基于星型生成對抗網絡(stargenerativeadversarialnetwork，stargan)模型等。這些轉換方法能夠直接規避對平行文本的依賴，實現非平行文本下的轉換，但是目前這些已有的語音轉換研究的方法主要是在相同的語種上進行轉換研究，跨語種條件下的語音轉換研究仍是一個很大的挑戰。
在跨語種語音轉換的研究中，由于源說話人和目標說話人語音的語言系統是不同的，所以并不能使用平行文本進行訓練，為了解決這一問題，傳統的處理方法是尋找會兩種語種或者會更多語種的背景說話人，采集這些說話人在不同語種下的平行文本數據集，通過這些平行文本來訓練雙語轉換模型，以實現跨語種語音轉換，包括：masanobuabe等人在《thejournaloftheacousticalsocietyofamerica》發表的“statisticalanalysisofbilingualspeaker'sspeechforcross-languagevoiceconversion”、mikikomashimo等人在《informationprocessingsocietyofjapan》發表的“cross-languagevoiceconversionevaluationusingbilingualdatabases”等。然而，平行文本數據集的獲取本就困難，會雙語甚至是多國語言的說話人的平行文本的獲取并不現實。
技術實現要素：
發明目的：為了克服現有技術的不足，本發明提供一種基于解糾纏和解釋性表征的跨語種語音轉換方法，該方法可以解決現有的語音轉換技術只能在同一種語言中進行轉換的問題，另一方面，本發明還提供基于解糾纏和解釋性表征的跨語種語音轉換系統。
技術方案：根據本發明的第一方面，提出基于解糾纏和解釋性表征的跨語種語音轉換方法，包括訓練階段和轉換階段，所述訓練階段包括以下步驟：
步驟1、獲取訓練語料，訓練語料由兩種語言的多名說話人的語料組成，所述說話人包含源說話人和目標說話人；
步驟2、提取所述訓練語料的梅爾頻譜特征，得到聲學特征向量；
步驟3、將所述聲學特征向量輸入到轉換網絡中進行訓練，所述訓練網絡包括內容編碼器、說話人編碼器和解碼器；
其中，所述內容編碼器用于對源說話人的語音進行解糾纏，從中獲得語句的內容表征，所述說話人編碼器用于對目標說話人的語音進行解糾纏，從中獲得語句的說話人表征，所述解碼器用于將獲得的內容表征和說話人表征重構，生成重構語音；
步驟4、對所述轉換網絡訓練過程中，使所述轉換網絡的重構損失函數和kl散度損失函數盡量小，設置所述轉換網絡的超參，使得目標函數最小化，直至設置的迭代次數，從而得到訓練好的所述轉換網絡；
所述轉換階段包括以下步驟：
步驟5、提取待轉換語料的梅爾頻譜特征，得到聲學特征向量x'；
步驟6、將所述聲學特征向量x'輸入到訓練好的轉換網絡中，重構出轉換語句的梅爾頻譜特征；
步驟7、采用griffin_lim算法，將獲得的所述轉換語句的梅爾頻譜特征轉換為語音進行輸出，進而獲得跨語種語音轉換的合成語音。
進一步的，包括：
所述說話人編碼器包括多尺度卷積，所述多尺度卷積的輸出連接有卷積模塊，所述卷積模塊的輸出連接有第一池化層，最后連接有稠密層，所述多尺度卷積包括8個產生128個通道的一維卷積層，所述卷積模塊包括依次連接的6組一維卷積塊，每組一維卷積塊中均有2個產生128個通道的一維卷積層，所述一維卷積塊連接有第二池化層。
進一步的，包括：
所述內容編碼器包括多尺度卷積，所述多尺度卷積的輸出連接卷積模塊，所述多尺度卷積包括8個產生128個通道的一維卷積層，所述卷積模塊包括依次連接的6組一維卷積塊，每組一維卷積塊中均有2個產生128個通道的一維卷積層和多個實例歸一化函數，所述一維卷積層和實例歸一化函數交替放置，所述一維卷積塊連接有池化層。
進一步的，包括：
所述實例歸一化函數表示為：
其中，m'c為第c個信道的矩陣mc實例歸一化后的特征映射矩陣，mc[ω]表示第c個信道的特征映射中的第ω個元素，μc為第c個信道的均值，σc為第c個信道的標準差。
進一步的，包括：
所述解碼器包括卷積模塊，所述卷積模塊包括6組一維卷積塊，每組一維卷積塊包括2個產生128個通道的一維卷積層和多個自適應實例歸一化函數，所述一維卷積層和自適應實例歸一化函數交替放置，所述一維卷積塊連接有上采樣函數。
進一步的，包括：
所述自適應實例歸一化函數表示為：
其中，m'c為第c個信道的矩陣mc實例歸一化后的特征映射矩陣，mc[ω]表示第c個信道的特征映射中的第ω個元素，μc為第c個信道的均值，σc為第c個信道的標準差，γc和βc分別表示第c個信道中說話人編碼器輸出的線性變換系數。
進一步的，包括：
所述轉換網絡的目標函數表示為：
其中，λrec和λkl為超參數，分別是重構損失函數和kl散度的權重，lrec為模型的重構損失函數，lkl為模型的kl散度損失函數，
進一步的，包括：
所述重構損失函數表示為：
其中，
所述kl散度損失函數表示為：
其中，ex～p(x)[·]為內容表征的期望，ec(·)為內容編碼器。
另一方面，本發明提供基于解糾纏和解釋性表征的跨語種語音轉換系統，包括訓練階段和轉換階段，所述訓練階段包括模塊：
語料獲取模塊，用于獲取訓練語料，訓練語料由兩種語言的多名說話人的語料組成，所述說話人包含源說話人和目標說話人；
預處理模塊，用于提取所述訓練語料的梅爾頻譜特征，得到聲學特征向量；
網絡訓練模塊，用于將所述聲學特征向量輸入到轉換網絡中進行訓練，所述訓練網絡包括內容編碼器、說話人編碼器和解碼器；
其中，所述內容編碼器用于對源說話人的語音進行解糾纏，從中獲得語句的內容表征，所述說話人編碼器用于對目標說話人的語音進行解糾纏，從中獲得語句的說話人表征，所述解碼器用于將獲得的內容信息和說話人信息重構，生成重構語音；
在訓練過程中，使所述轉換網絡的重構損失函數和kl散度損失函數盡量小，設置所述轉換網絡的超參，使得目標函數最小化，直至設置的迭代次數，從而得到訓練好的所述轉換網絡；
所述轉換階段包括以下步驟：
頻譜提取模塊，用于提取待轉換語料的梅爾頻譜特征，得到聲學特征向量x'；
轉換模塊，用于將所述聲學特征向量x'輸入到訓練好的轉換網絡中，重構出轉換語句的梅爾頻譜特征；
語音合成模塊，用于采用griffin_lim算法，將獲得的所述轉換語句的梅爾頻譜特征轉換為語音進行輸出，進而獲得跨語種語音轉換的合成語音。
再一方面，本發明公開一種計算機存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序在被計算機處理器執行時實現上述所述的基于解糾纏和解釋性表征的跨語種語音轉換方法。
有益效果：
1、本發明通過學習解糾纏表征來實現跨語種語音轉換，在內容編碼器中增加不進行仿射變換的實例歸一化層，可以在保留內容信息的同時去除說話人信息；在說話人編碼器中提取與說話人個性信息相關的說話人信息，尤其加入了平均池化層，進一步強化說話人編碼器對于說話人信息的學習，提煉說話人信息；在解碼器中增加進行了自適應實例歸一化的說話人信息，加強生成的轉換語句在個性特征上更像目標說話人，提高了跨語種語音轉換的準確度和通用性，且該應用在電影配音，語言翻譯，醫療輔助系統等豐富人機交互方面有廣闊的市場前景。
2、本發明在訓練階段對于說話人個性信息的建模是通過說話人編碼器實現，其提取與學習直接參與了模型的訓練，與之前方法的預先提取存在本質的不同，能夠有效提升轉換語音的個性相似度。
3、本發明將內容編碼器、說話人編碼器以及解碼器結合加入網絡中，能夠實現非平行文本條件下的語音轉換，而且訓練過程不需要任何對齊過程，提高了語音轉換系統的通用性和實用性。
4、由于本發明對應模型在訓練階段訓練了大量的背景說話人的語料，在轉換階段，可以轉換不在訓練集中的目標說話人的數據，解決了無法采集到目標說話人大量訓練數據的問題，能夠實現任意目標說話人直接進行語音轉換的任務，將語音轉換應用的適用范圍從閉集拓展為開集，因此，本發明是具有高合成音質和個性相似度的跨語種多對多語音轉換方法。
附圖說明
圖1是本發明實施例所述的模型的原理示意圖；
圖2是本發明實施例所述的模型中說話人編碼器的網絡結構圖；
圖3是本發明實施例所述的模型中內容編碼器的網絡結構圖；
圖4是本發明實施例所述的模型中解碼器的網絡結構圖；
圖5是本發明實施例所述的模型在中文轉英文情形下語音的語譜圖，其中，圖5a為源語音的語譜圖，圖5b為合成語音的語譜圖；
圖6是本發明實施例所述的模型在中文轉英文情形下語音的時域波形圖，其中，圖6a為源語音的時域波形圖，圖6b為合成語音的時域波形圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，并不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
本發明提出基于解糾纏和解釋性表征的跨語種語音轉換方法，包括訓練階段和轉換階段，訓練階段用于得到語音轉換所需的參數和轉換網絡，而轉換部分用于實現源說話人語音轉換為目標說話人語音。
如圖1所示，訓練階段包括以下步驟：
步驟1、獲取訓練語料，訓練語料由兩種語言的多名說話人的語料組成，所述說話人包含源說話人和目標說話人；使用中英文兩種語言的語料庫作為訓練語料，分別是aishell中文語料庫和cstrvctk英文語料庫。
從獲取的兩種語言的語料庫中，選取aishell中文語料庫中50名說話人，每人的語料有300句左右，每句時長2～10s不等；選取cstrvctk英文語料庫中50名說話人，每人的語料有300句左右，每句時長1～8s不等。將選取出來的中文和英文兩種語言的語句聯合作為訓練語料，可以使得轉換網絡充分學習到不同語種各自的發音特色和音素特征，進行模型的訓練可以提升轉換語音的質量。
步驟2、本實施例從訓練語料中提取出梅爾頻譜特征，構成聲學特征向量x，其中，由于快速傅氏變換(fastfouriertransformation,fft)長度設置為2048，因此，得到的頻譜包絡特征為2048/2+1＝1025維，再從頻譜包絡特征中提取512維的梅爾頻譜特征。
步驟3、將步驟2得到的聲學特征向量x輸入到轉換網絡中進行訓練，本實例中的網絡以vae模型為基礎，在vae模型的基礎上，額外增加了一個編碼器，通過設置兩個功能不同的編碼器，對輸入內容進行解糾纏，將輸入語句中的說話人信息和內容信息進行解耦，從而實現跨語種語音轉換。
該網絡主要包括三部分：
(1)一個用來獲取語句中的說話人表征的說話人編碼器，其結構如圖2所示，說話人編碼器包括輸入層輸出層和多尺度卷積，圖中表示為convbank，多尺度卷積的輸出連接有卷積模塊，卷積模塊的輸出連接有第一池化層，圖中表示為avgpool，最后連接有兩層稠密層，圖中為dense，用于根據獲取結果特征的權重決定輸入所屬分類的概率，多尺度卷積包括8個產生128個通道的一維卷積層，圖中表示為conv，用于捕捉頻譜特征中多尺度的信息，卷積模塊包括依次連接的6組一維卷積塊a，每組一維卷積塊中均有2個產生128個通道的一維卷積層，其中，第一個一維卷積層包括圖中的conv1-1和conv1-2，第二個一維卷積層包括圖中的conv2-1和conv2-2，一維卷積塊連接有第二池化層，圖中表示為avgpool，在兩個一維卷積層之間設置有修正線性單元，圖中為relu，本實施例中第一池化層和第二池化層均采用自適應平均池化層。
(2)一個用來獲取語句中的內容表征的內容編碼器，其結構如圖3所示，內容編碼器包括多尺度卷積，圖中表示為convbank，多尺度卷積的輸出連接卷積模塊，多尺度卷積包括8個產生128個通道的一維卷積層，圖中表示為conv，卷積模塊包括依次連接的6組一維卷積塊a，每組一維卷積塊中均有2個產生128個通道的一維卷積層和4個實例歸一化函數，其中，第一個一維卷積層包括圖中的conv1-1和conv1-2，第二個一維卷積層包括圖中的conv2-1和conv2-2，分別在conv1-1、conv1-2、conv2-1和conv2-2后均設置有實例歸一化函數，實例歸一化函數圖中表示為in，一維卷積層和實例歸一化函數交替放置，且每個一維卷積層和對應的實例歸一化函數之間均設置有修正線性單元，圖中為relu，一維卷積塊連接有池化層，本實施例的池化層采用自適應平均池化層，用于強化說話人編碼器對于說話人信息的學習，提煉說話人信息。
在內容編碼器中，增加了不進行仿射變換的實例歸一化層，可以在保留源說話人語句內容信息的同時刪除源說話人的個性信息，由此分離語句中的說話人信息和內容信息，達到解糾纏效果。
不進行仿射變換的實例歸一化公式為：
其中，m'c為第c個信道的矩陣mc實例歸一化后的特征映射矩陣，mc[ω]表示第c個信道的特征映射中的第ω個元素，μc為第c個信道的均值，σc為第c個信道的標準差。
(3)一個用來生成轉換語音的解碼器，其結構如圖4所示。解碼器包括卷積模塊，卷積模塊包括6組一維卷積塊a，每組一維卷積塊包括2個產生128個通道的一維卷積層和4個自適應實例歸一化函數，其中，第一個一維卷積層包括圖中的conv1-1和conv1-2，第二個一維卷積層包括圖中的conv2-1和conv2-2，分別在conv1-1、conv1-2、conv2-1和conv2-2后均設置有自適應實例歸一化函數，自適應實例歸一化函數表示為adain，一維卷積層用于還原內容信息，自適應實例歸一化層，用于向內容信息中融合目標說話人的個性特征，使得轉換語句在相似度上更像目標說話人；一維卷積層和自適應實例歸一化函數交替放置，且一維卷積層的單層和對應的自適應實例歸一化函數之間均設置有修正線性單元，圖中表示為relu，一維卷積塊連接有上采樣函數，圖中表示為upsample。
在解碼器中，對說話人信息進行自適應實例歸一化，以加強生成的轉換語句在相似度上更像目標說話人，獲得高相似度的轉換合成語音。
自適應實例歸一化公式為：
其中，m'c為第c個信道的矩陣mc實例歸一化后的特征映射矩陣，mc[ω]表示第c個信道的特征映射中的第ω個元素，μc為第c個信道的均值，σc為第c個信道的標準差，γc和βc分別表示第c個信道中說話人編碼器輸出的線性變換系數。
整個轉換網絡的目標函數表示為：
其中，λrec和λkl為超參數，分別是重構損失函數和kl散度的權重，本實例中，設置λrec為10，λkl為0.01。lrec為模型的重構損失函數，lkl為模型的kl散度損失函數，
上述的重構損失函數表示為：
其中，
步驟3-1、將步驟2中提取的說話人聲學特征向量x輸入到說話人編碼器中，經過編碼器網絡，生成說話人表征zs；
步驟3-2、將步驟2中提取的說話人聲學特征x輸入到內容編碼器中，經過編碼器網絡，生成內容表征zc；在vae模型中，為了使得后驗概率分布向標準正態分布擬合，需要計算各分量獨立的正態分布與標準正態分布的kl散度作為損失值，kl散度越小，分布距離越近，即越相似。在本模型中，對于提取到的內容表征，其kl散度要盡量小。
上述的kl散度損失函數表示為：
其中，ex～p(x)[·]為內容表征的期望，ec(·)為內容編碼器，x為輸入的梅爾頻譜特征。
步驟3-3、將上述得到的說話人表征zs和內容表征zc一同輸入到模型的解碼器中，經過解碼器網絡，重構頻譜特征x，在訓練過程中，上述的重構損失函數越小，即表明重構的頻譜與真實頻譜越相似。
步驟4、重復步驟3-1至步驟3-3，直至達到設置的迭代次數，從而得到訓練好的網絡。由于神經網絡具體設置不同以及實驗設備性能不同，設置的迭代次數也各不相同。本實驗中設置迭代次數為100000次。
轉換階段包括以下步驟：
步驟5、由于本發明針對跨語種語音轉換進行研究，因此選取不同語種的語料作為待轉換語料。分別提取待轉換語料的梅爾頻譜特征；
步驟6、將所述聲學特征向量輸入到訓練好的轉換網絡中，重構出轉換語句的梅爾頻譜特征；
步驟6-1、將步驟5中提取到的目標說話人的梅爾頻譜特征輸入到訓練好的說話人編碼器中，生成說話人表征zs。
步驟6-2、將步驟5中提取到的源說話人的梅爾頻譜特征輸入到訓練好的內容編碼器中，生成內容表征zc。
步驟6-3、將上述模型輸出的目標說話人的說話人表征zs以及源說話人的內容表征zc輸入到解碼器中，重構出轉換語句的梅爾頻譜特征。
步驟7、采用griffin_lim算法，將步驟6-3中獲得的轉換語句的梅爾頻譜特征轉換為語音進行輸出，進而獲得跨語種語音轉換的合成語音。其中，g&l(griffin-lim)算法是一種已知幅度譜，未知相位譜，通過迭代生成相位譜，并用已知的幅度譜和計算得出的相位譜，重建語音波形的方法。進一步的，如圖5a為本實施例所述的中英文語料下的源語音的語譜圖，橫坐標為時間time，單位為秒secs，縱坐標為頻率frequency，單位khz。圖5b為本實施例所述的合成語音的語譜圖。圖6a和圖6b分別是中文轉英文情形下源語音及合成語音的時域波形圖。
本發明中，模型通過學習解糾纏和解釋性表征，可以解耦語句中的說話人信息和內容信息，從而實現跨語種語音轉換。說話人編碼器被用來訓練生成說話人表征zs，內容編碼器被用來訓練生成內容表征zc。在編碼器部分，其關鍵點在于：在內容編碼器中，增加了不進行仿射變換的實例歸一化層，這一行為可以在保留源說話人語句內容信息的同時刪除源說話人的個性信息，由此分離語句中的說話人信息和內容信息。在解碼器部分，通過自適應實例歸一化向解碼器提供說話人信息，這樣可以進一步加強目標說話人個性信息，使得轉換語音聽起來更像目標說話人。
本發明的轉換合成語音的語譜圖具有清晰的細節、完整的基音和諧波信息，因此合成的語音更加細膩真實，能夠完整地表達源說話人語種的語義，具有很好的合成質量，同時在個性相似度方面也有較好的效果，很好地實現了跨語種語音轉換任務。同時，本發明提出的方法還可以轉換不在訓練集內的說話人的語音，大大提高了語音轉換在應用中的便捷性。
在基于解糾纏和解釋性表征的跨語種語音轉換方法的基礎上，本發明還提供一種基于解糾纏和解釋性表征的跨語種語音轉換系統，包括訓練階段和轉換階段，所述訓練階段包括模塊：
語料獲取模塊，用于獲取訓練語料，訓練語料由兩種語言的多名說話人的語料組成，所述說話人包含源說話人和目標說話人；
預處理模塊，用于提取所述訓練語料的梅爾頻譜特征，得到聲學特征向量；
網絡訓練模塊，用于將所述聲學特征向量輸入到轉換網絡中進行訓練，所述訓練網絡包括內容編碼器、說話人編碼器和解碼器；
其中，所述內容編碼器用于對源說話人的語音進行解糾纏，從中獲得語句的內容表征，所述說話人編碼器用于對目標說話人的語音進行解糾纏，從中獲得語句的說話人表征，所述解碼器用于將獲得的內容信息和說話人信息重構，生成重構語音；
在訓練過程中，使所述轉換網絡的重構損失函數和kl散度損失函數盡量小，設置所述轉換網絡的超參，使得目標函數最小化，直至設置的迭代次數，從而得到訓練好的所述轉換網絡；
所述轉換階段包括以下步驟：
頻譜提取模塊，用于提取待轉換語料的梅爾頻譜特征，得到聲學特征向量x'；
轉換模塊，用于將所述聲學特征向量x'輸入到訓練好的轉換網絡中，重構出轉換語句的梅爾頻譜特征；
語音合成模塊，用于采用griffin_lim算法，將獲得的所述轉換語句的梅爾頻譜特征轉換為語音進行輸出，進而獲得跨語種語音轉換的合成語音。
對于方法實施例而言，由于其基本相似于系統實施例，所以描述的比較簡單，相關之處參見系統實施例的部分說明即可。
本發明實施例如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機、服務器、或者網絡設備等)執行本發明各個實施例所述方法的全部或部分。而前述的存儲介質包括:u盤、移動硬盤、只讀存儲器(readonlymemory,rom)、磁碟或者光盤等各種可以存儲程序代碼的介質。這樣，本發明實例不限制于任何特定的硬件和軟件結合。
相應的，本發明的實施例還提供了一種計算機存儲介質，其上存儲有計算機程序。當所述計算機程序由處理器執行時，可以實現前述基于解糾纏表征的中英跨語種語音轉換方法。例如，該計算機存儲介質為計算機可讀存儲介質。
本領域內的技術人員應明白，本申請的實施例可提供為方法、系統、或計算機程序產品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產品的形式。
本申請是參照根據本申請實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。