本發明涉及虛擬數字人，具體涉及一種虛擬數字人多媒體教學交互方法、系統及存儲介質。
背景技術：
1、虛擬數字人多媒體教學交互已應用于大班直播授課、課程錄播、在線答疑、考試講評等場景，通常以虛擬數字人作為講授載體，面向同一教學會話綜合輸出語音講解、口型同步、表情動作、字幕提示與視頻畫面疊加等視聽多模態內容，并可能同時接入教師端攝像頭畫面、課件屏幕共享畫面與數字人渲染畫面，再在平臺側或邊緣節點完成合成與轉發，以滿足低時延與大規模并發的播放需求。
2、現有實現為壓縮端到端時延，常將音頻處理、口型驅動、表情動作生成、字幕生成與視頻渲染劃分為并行鏈路分別處理，并在弱網或擁塞條件下引入重傳、抖動緩沖與節拍調整等連續播放保障機制；由于上述鏈路在處理隊列、緩沖深度、重傳回退策略與合成節拍上具有差異，且字幕片段屬于覆蓋時間范圍的數據形態、音頻幀與視頻幀屬于離散時刻的數據形態，不同形態數據在同一播放時刻的“時間位置”容易出現不一致：例如同一時間范圍內音頻幀已推進而口型參數仍沿用先前時間位置，或視頻幀節拍調整而口型參數仍按舊時間位置驅動，進而形成語音與口型、口型與字幕、語音與字幕、視頻與口型之間的時序偏移；該類偏移通常不表現為黑屏或卡頓，而以口型與語義不一致等方式隱蔽出現，用戶感知成本高，且在錄播或錄屏傳播中易被固化為可重復播放的片段，影響教學內容呈現的可靠性。
3、因此，現有技術存在的一個突出問題在于：在多鏈路異步處理、弱網重傳與邊緣合成等條件下，缺少面向同一教學會話的統一時間參照與跨序列的時序一致控制機制，難以在可執行的時間窗口粒度內將音頻幀序列、口型參數序列、表情動作參數序列、字幕片段序列與視頻幀序列組織為可比對的同窗數據，并據此形成可用于處置的錯位告警結果證據鏈數據包，從而難以及時抑制錯位片段在錄制輸出中的擴散并開展針對性糾偏替換。
4、因此，提出一種虛擬數字人多媒體教學交互方法、系統及存儲介質，來解決現有技術存在的困難，是本領域技術人員亟需解決的問題。
技術實現思路
1、本發明的目的是提供一種虛擬數字人多媒體教學交互方法、系統及存儲介質，以解決背景技術中不足。
2、為了實現上述目的，本發明提供如下技術方案：一種虛擬數字人多媒體教學交互方法，包括：
3、獲取教學會話的主時間基準；按主時間基準為視聽全維度序列生成統一時間戳，得到對齊數據集；
4、基于對齊數據集生成時間窗口索引，時間窗口索引包括時間窗口標識與各序列對應數據的關聯關系；按時間窗口標識抽取對應數據形成同窗數據組，統計缺失計數與重復計數，得到風險特征；
5、基于同窗數據組計算時序一致指標，至少包括音頻口型時差、口型字幕時差、音頻字幕時差、視頻口型時差；時差由對應兩類數據的統一時間戳相減得到；將時差與時差閾值比對，超閾輸出錯位告警結果；
6、依據錯位告警結果選擇降級策略并生成執行記錄；匯總錯位告警結果與執行記錄得到證據鏈數據包；錯位告警結果在預設窗口數內累計次數超過擴散阻斷閾值時，錄制輸出切換為保留音頻與字幕且不疊加口型的視頻流；基于證據鏈數據包生成糾偏發布流，糾偏發布流的時序一致指標滿足發布閾值時替換錄播對應時間片段并保留哈希校驗值。
7、進一步地，視聽全維度序列至少包括音頻幀序列、口型參數序列、表情動作參數序列、字幕片段序列與視頻幀序列；
8、將主時間基準與教學會話編號同步分發至邊緣合成節點與學生端；
9、基于主時間基準，對音頻幀序列與視頻幀序列分別讀取采集時刻或封裝時刻并映射生成統一時間戳；
10、基于統一時間戳，對口型參數序列、表情動作參數序列、字幕片段序列分別確定對應的音頻幀時間位置或視頻幀時間位置并映射生成統一時間戳，匯聚視聽全維度序列形成對齊數據集。
11、進一步地，基于對齊數據集并以統一時間戳為時間參照，確定窗口起點與時間窗口長度，生成時間窗口索引，時間窗口索引包括時間窗口標識與音頻幀序列、口型參數序列、表情動作參數序列、字幕片段序列、視頻幀序列的關聯關系；
12、依據時間窗口索引按時間窗口標識抽取各序列對應數據，形成同窗數據組；
13、基于同窗數據組分別統計各序列在時間窗口內的期望數量與實際數量，得到缺失計數與重復計數；
14、基于缺失計數與重復計數按時間窗口標識匯總，得到風險特征。
15、進一步地，基于同窗數據組建立音頻幀序列與口型參數序列的對應數據對、口型參數序列與字幕片段序列的對應數據對、音頻幀序列與字幕片段序列的對應數據對、視頻幀序列與口型參數序列的對應數據對；
16、基于對應數據對分別提取音頻幀序列、口型參數序列、視頻幀序列的統一時間戳，并提取字幕片段序列的范圍起點統一時間戳與范圍終點統一時間戳；
17、基于統一時間戳相減得到各時差，包括音頻口型時差、口型字幕時差、音頻字幕時差與視頻口型時差；
18、針對字幕片段序列的時間范圍，依據時間范圍起點統一時間戳與時間范圍終點統一時間戳確定口型字幕時差與音頻字幕時差；
19、在同窗數據組內對音頻幀序列與視頻幀序列按統一時間戳排序，選取與口型參數序列統一時間戳最接近的音頻幀序列對應數據與視頻幀序列對應數據作為相減對象；
20、匯總音頻口型時差、口型字幕時差、音頻字幕時差、視頻口型時差，得到時序一致指標并與時間窗口標識關聯；
21、將各時差與時差閾值比對，任一時差超過對應時差閾值時輸出錯位告警結果，錯位告警結果包括時間窗口標識、超閾類型與對應時差。
22、進一步地，依據錯位告警結果并按窗口序號順序讀取，基于超閾類別從降級策略集合選取降級策略，降級策略包括口型參數凍結策略、口型參數回退重對齊策略、字幕延時對齊策略、合成視頻幀節拍重建策略；
23、執行所選降級策略并生成執行記錄，執行記錄包括觸發窗口序號、超閾類別、對應時差、降級策略類型、降級起始窗口序號、降級終止窗口序號、降級執行時刻與降級輸出版本號；
24、匯總錯位告警結果與執行記錄并進行配對，得到證據鏈數據包，證據鏈數據包包括教學會話編號、窗口序號范圍、錯位告警結果清單、執行記錄清單、主時間基準參數、降級輸出版本號清單與生成時刻；
25、針對音頻幀序列、字幕片段序列、視頻幀序列，在窗口序號范圍內對統一時間戳與數據長度進行順序拼接并計算摘要值，得到音頻幀序列摘要信息、字幕片段序列摘要信息與視頻幀序列摘要信息并寫入證據鏈數據包。
26、進一步地，當超閾類別包括音頻口型時，選擇口型參數凍結策略或口型參數回退重對齊策略；當超閾類別包括口型字幕或音頻字幕時，選擇字幕延時對齊策略；當超閾類別包括視頻口型時，選擇合成視頻幀節拍重建策略；
27、口型參數凍結策略的執行方式為在連續若干窗口序號內將口型參數序列的輸出維持為觸發窗口序號對應的口型參數；口型參數回退重對齊策略的執行方式為在觸發窗口序號處向前回退預設回退窗口數并重新選取口型參數序列的時間位置，使口型參數序列的時間位置與音頻幀序列的時間位置處于同一窗口序號內；字幕延時對齊策略的執行方式為將字幕片段序列的輸出時間整體延后預設延時窗口數，使字幕片段序列覆蓋的窗口序號與音頻幀序列覆蓋的窗口序號一致；合成視頻幀節拍重建策略的執行方式為在觸發窗口序號起按主時間基準的時間刻度重新確定視頻幀序列在各窗口序號內的輸出節拍，使視頻幀序列在每個窗口序號內的輸出數量與該窗口序號對應的時間長度一致。
28、進一步地，依據錯位告警結果并在滾動窗口統計范圍內按窗口序號計數，得到預設窗口數內的累計次數；
29、將累計次數與擴散阻斷閾值比對，累計次數超過擴散阻斷閾值時觸發錄制輸出切換；
30、將錄制輸出切換為保留音頻幀序列與字幕片段序列且不疊加口型參數序列的視頻流，視頻幀序列按主時間基準輸出，字幕片段序列按字幕延時對齊策略的輸出時間覆蓋窗口序號范圍，音頻幀序列按原輸出方式播放；
31、將切換起始窗口序號、切換終止窗口序號與觸發時刻記入執行記錄，并將執行記錄納入證據鏈數據包。
32、進一步地，基于證據鏈數據包提取觸發窗口序號范圍與主時間基準參數；
33、按觸發窗口序號范圍重新組織音頻幀序列、字幕片段序列與視頻幀序列；
34、以主時間基準參數作為時間參照，重新確定口型參數序列在觸發窗口序號范圍內的輸出時間位置；
35、在觸發窗口序號范圍內計算糾偏發布流的時序一致指標，時序一致指標包括音頻口型時差、口型字幕時差、音頻字幕時差、視頻口型時差；
36、將時序一致指標與發布閾值比對，時序一致指標滿足發布閾值時，將錄播資源中與觸發窗口序號范圍對應的錄播對應時間片段替換為糾偏發布流的對應時間片段；
37、對替換后的錄播對應時間片段計算哈希校驗值，并將哈希校驗值與證據鏈數據包中的教學會話編號、觸發窗口序號范圍、降級輸出版本號關聯存儲。
38、一種虛擬數字人多媒體教學交互系統，用于實現一種虛擬數字人多媒體教學交互方法，系統包括：
39、主時基準模塊，用于獲取教學會話的主時間基準；按主時間基準為視聽全維度序列生成統一時間戳，得到對齊數據集；
40、分窗索引模塊，基于對齊數據集生成時間窗口索引，時間窗口索引包括時間窗口標識與各序列對應數據的關聯關系；按時間窗口標識抽取對應數據形成同窗數據組，統計缺失計數與重復計數，得到風險特征；
41、一致性計算模塊，基于同窗數據組計算時序一致指標，至少包括音頻口型時差、口型字幕時差、音頻字幕時差、視頻口型時差；時差由對應兩類數據的統一時間戳相減得到；將時差與時差閾值比對，超閾輸出錯位告警結果；
42、糾偏模塊，依據錯位告警結果選擇降級策略并生成執行記錄；匯總錯位告警結果與執行記錄得到證據鏈數據包；錯位告警結果在預設窗口數內累計次數超過擴散阻斷閾值時，錄制輸出切換為保留音頻與字幕且不疊加口型的視頻流；基于證據鏈數據包生成糾偏發布流，糾偏發布流的時序一致指標滿足發布閾值時替換錄播對應時間片段并保留哈希校驗值。
43、一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被執行時實現一種虛擬數字人多媒體教學交互方法。
44、本發明提供的了一種虛擬數字人多媒體教學交互方法、系統及存儲介質的技術效果和優點：
45、通過獲取教學會話的主時間基準，并按主時間基準為視聽全維度序列生成統一時間戳，得到對齊數據集，將音頻幀序列、口型參數序列、表情動作參數序列、字幕片段序列與視頻幀序列統一到同一時間參照下表達時間位置；在此基礎上再基于對齊數據集生成時間窗口索引，并按時間窗口標識建立各序列對應數據的關聯關系，從源頭消除異步鏈路各自使用不同時間口徑導致的時間參考分裂；使得同一教學會話內的多模態內容獲得可直接比對的共同時間口徑，后續任何跨序列的時間位置比較均可落在統一時間戳與時間窗口標識上完成，從而解決缺少統一時間參照、難以跨鏈路組織可比對數據的問題，提供了可實施基礎數據結構。
46、通過以時間窗口索引-同窗數據組-缺失計數與重復計數-風險特征的方法推導，將對齊數據集在可執行的窗口粒度內重組為同窗數據組，并對音頻幀序列、口型參數序列、表情動作參數序列、字幕片段序列、視頻幀序列分別統計缺失計數與重復計數，得到能夠表征重傳回退、緩沖調整與節拍變化外在跡象的風險特征；一方面，風險特征以期望數量與實際數量的差異形式呈現，來源于同窗數據組的客觀統計，不依賴主觀判定；另一方面，字幕片段序列以覆蓋不足/重疊過密的統計口徑納入統一窗口框架，解決了幀類數據與片段類數據形態不一致導致的組織困難。由此，解決錯位以隱蔽方式出現且難以提前感知的問題，被轉化為在窗口邊界內可被持續記錄與聚合的風險表征，為后續告警、降級與阻斷提供可量化輸入。
47、在統一時間口徑與窗口化組織基礎上，通過基于同窗數據組計算時序一致指標，并將各類時差與時差閾值比對以輸出錯位告警結果的方法推導，實現對音頻口型、口型字幕、音頻字幕、視頻口型四類關鍵對齊關系的統一約束；當告警發生時，再依據錯位告警結果選擇降級策略并生成執行記錄，匯總形成證據鏈數據包，并在預設窗口數內累計次數超過擴散阻斷閾值時，觸發錄制輸出切換為保留音頻與字幕且不疊加口型的視頻流，最后基于證據鏈數據包生成糾偏發布流并在滿足發布閾值時，替換錄播對應時間片段并保留哈希校驗值；其一，錯位被窗口化定位并以超閾類別與對應時差值固化為告警結果，能夠直接驅動口型參數凍結、口型參數回退重對齊、字幕延時對齊、合成視頻幀節拍重建等處置動作，避免僅依賴播放端感知而延誤處置；其二，證據鏈數據包將錯位告警結果、執行記錄、摘要信息與哈希校驗值關聯存儲，使何時發生、觸發何類偏移、采取何種處置、對應輸出版本為可追溯事實；其三，錄制輸出切換與錄播片段替換均由閾值比對觸發并限定在窗口序號范圍內，能夠在錯位擴散階段降低口型錯位片段被固化傳播的概率，并在事后以糾偏發布流完成可控替換。