本技術涉及計算機圖形學,尤其涉及基于虛擬現實節奏游戲的認知交互方法、電子設備及存儲介質。
背景技術:
1、在現代醫療健康與認知心理學領域中,工作記憶等核心執行功能的訓練與干預是一個關鍵的技術環節,其干預效果直接影響到用戶的推理思維能力和日常活動質量。傳統的認知訓練通常基于經典的n階回溯(n-back)工作記憶任務范式,要求用戶在二維顯示設備前,通過鍵盤或鼠標對連續呈現的視覺或聽覺刺激序列進行機械性的匹配判斷。這種傳統的干預方法雖然具備科學的理論基礎,但任務過程高度重復且單調乏味,導致用戶的內在動機和長期訓練依從性極低,訓練效果難以長效維持。隨著計算機圖形學與人機交互技術的發展,虛擬現實(virtual?reality,vr)技術被逐漸引入到認知康復與訓練行業中,用以通過三維沉浸式環境和游戲化元素來提高用戶的參與度和訓練體驗。
2、在相關技術中,為了實現更具趣味性的認知訓練,通常會將簡單的記憶測試用例植入到虛擬現實環境中,并利用基礎的視覺提示引導用戶進行交互。但由于現有的虛擬現實認知系統往往未能將嚴謹的認知心理學范式與用戶的感官物理交互進行深度融合,導致用戶在執行任務時的肢體運動與大腦認知加工過程耦合松散。這種方案不僅無法有效利用音樂節奏等節律性線索來動態引導用戶的時間注意分配,且在面對復雜的動態音符序列時,系統難以結合歷史刺激內容與實時交互時機給出精準的匹配反饋,導致現有的虛擬現實認知訓練方法在提升用戶沉浸感的同時,其認知干預的精準度以及針對實時認知負荷的自適應調節能力存在較低的情況。
技術實現思路
1、本技術實施例的提供了一種基于虛擬現實節奏游戲的認知交互方法、電子設備及存儲介質,能夠在提升用戶沉浸感的同時,有效地提高認知干預的精準度以及針對實時認知負荷的自適應調節能力。
2、為實現上述目的,本技術實施例的第一方面提出了一種基于虛擬現實節奏游戲的認知交互方法,所述方法包括:
3、根據用戶當前交互配置參數加載目標音樂數據以及與所述目標音樂數據對應的譜面數據;
4、在播放所述目標音樂數據時,根據預設節奏控制動態音符序列沿著虛擬環境的音符軌道向交互區域移動,所述動態音符序列基于所述譜面數據生成;
5、當所述動態音符序列中至少一個目標音符移動至觸發位置時,呈現所述目標音符對應的認知刺激內容;
6、響應于用戶基于所述交互區域對所述目標音符的交互操作,獲取歷史音符的歷史刺激內容,并基于所述歷史刺激內容、所述認知刺激內容以及所述交互操作的交互位置,得到針對所述目標音符的認知匹配結果;
7、基于所述認知匹配結果和所述交互操作的交互時機,生成實時反饋信息。
8、在一些實施例中,所述當前交互配置參數包括預設回溯步數,所述獲取歷史音符的歷史刺激內容,并基于所述歷史刺激內容、所述認知刺激內容以及所述交互操作的交互位置,得到針對所述目標音符的認知匹配結果,包括:
9、確定在所述動態音符序列中與所述目標音符相隔預設回溯步數的所述歷史音符,并獲取所述歷史音符的所述歷史刺激內容;
10、根據所述認知刺激內容與所述歷史刺激內容進行比對,得到內容一致性判定結果;
11、基于所述目標音符對應的刺激類型、所述內容一致性判定結果以及所述交互位置與預設擊打子區域的對應關系,得到所述認知匹配結果。
12、在一些實施例中,所述刺激類型包括視覺刺激和聽覺刺激,所述預設擊打子區域包括第一擊打子區域、第二擊打子區域和第三擊打子區域,所述基于所述目標音符對應的刺激類型、所述內容一致性判定結果以及所述交互位置與預設擊打子區域的對應關系,得到所述認知匹配結果,包括:
13、當所述刺激類型為所述視覺刺激,且所述內容一致性判定結果表征認知刺激內容與所述歷史刺激內容一致,且所述交互位置位于所述第一擊打子區域時,則生成表征正確的所述認知匹配結果;
14、當所述刺激類型為所述聽覺刺激,且所述內容一致性判定結果表征認知刺激內容與所述歷史刺激內容一致,且所述交互位置位于所述第二擊打子區域時,則生成表征正確的所述認知匹配結果;
15、當所述內容一致性判定結果表征認知刺激內容與所述歷史刺激內容不一致,或者所述目標音符為未包含認知刺激內容的普通音符時,且所述交互位置位于所述第三擊打子區域,則生成表征正確的所述認知匹配結果。
16、在一些實施例中,所述動態音符序列的生成步驟,包括:
17、基于所述譜面數據中的時間節點信息和音符類型信息,生成初始音符序列;
18、在所述初始音符序列中,確定與包含目標刺激內容的刺激音符相隔目標步數的干擾位置,并按照預設概率在所述干擾位置生成干擾刺激音符,并基于更新后的所述初始音符序列得到所述動態音符序列;
19、其中,所述干擾刺激音符的認知刺激內容與所述目標刺激內容相同,且所述目標步數基于所述預設回溯步數所得到。
20、在一些實施例中,所述基于所述認知匹配結果和所述交互操作的交互時機,生成實時反饋信息,包括:
21、當所述認知匹配結果表征正確時,獲取所述交互操作的實際觸發時間,并基于所述實際觸發時間與所述目標音符到達交互區域中心的理論到達時間之間的差值,得到時間差值;
22、基于所述時間差值與預設的多個表現評價時間窗口進行匹配,得到匹配時間窗口,并基于所述匹配時間窗口,生成對應所述匹配時間窗口的評價等級的所述實時反饋信息。
23、在一些實施例中,所述當前交互配置參數包括音樂難度等級和預設回溯步數,所述方法還包括:
24、在當前交互任務周期內,確定多次所述交互操作對應的所述認知匹配結果的準確率;
25、當所述準確率達到第一預設閾值時,提升所述音樂難度等級;
26、當所述音樂難度等級達到最高等級,且所述準確率達到第二預設閾值時,保持所述音樂難度等級并提高所述預設回溯步數。
27、在一些實施例中,在所述根據用戶當前交互配置參數加載目標音樂數據之前,所述方法還包括:
28、獲取原始音頻文件,并獲取所述原始音頻文件的周期性節拍特征和節拍速度特征;
29、基于所述周期性節拍特征將所述原始音頻文件的時間軸劃分為多個節拍周期;
30、在每個所述節拍周期內,基于所述節拍速度特征,按照預設的重復出現規律對空模塊、刺激模塊和非刺激模塊進行排布,生成所述譜面數據。
31、在一些實施例中,所述基于所述節拍速度特征,按照預設的重復出現規律對空模塊、刺激模塊和非刺激模塊進行排布,包括:
32、建立所述節拍速度特征與刺激間隔時間的映射模型;
33、基于所述映射模型確定所述刺激模塊之間的時間間隔,并在所述時間間隔內插入所述空模塊或所述非刺激模塊。
34、為實現上述目的,本技術實施例的第二方面提出了一種電子設備,所述電子設備包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現如第一方面所述的基于虛擬現實節奏游戲的認知交互方法。
35、為實現上述目的,本技術實施例的第三方面提出了一種存儲介質,所述存儲介質為計算機可讀存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述第一方面所述的基于虛擬現實節奏游戲的認知交互方法。
36、本技術實施例提出的基于虛擬現實節奏游戲的認知交互方法、電子設備及存儲介質,方法包括:首先,根據用戶當前交互配置參數加載目標音樂數據以及與目標音樂數據對應的譜面數據;然后,在播放目標音樂數據時,根據預設節奏控制動態音符序列沿著虛擬環境的音符軌道向交互區域移動,動態音符序列基于譜面數據生成;之后,當動態音符序列中至少一個目標音符移動至觸發位置時,呈現目標音符對應的認知刺激內容;接下來,響應于用戶基于交互區域對目標音符的交互操作,獲取歷史音符的歷史刺激內容,并基于歷史刺激內容、認知刺激內容以及交互操作的交互位置,得到針對目標音符的認知匹配結果;最后,基于認知匹配結果和交互操作的交互時機,生成實時反饋信息。本技術實施例通過根據用戶當前交互配置參數加載并播放目標音樂數據與對應的譜面數據,控制動態音符序列按預設音樂節奏在虛擬環境的音符軌道上向交互區域移動,并在觸發位置呈現認知刺激內容,能夠利用音樂的節律性線索有效引導用戶的時間注意分配,打破了傳統工作記憶訓練單調乏味的局限性,極大地提升了用戶的沉浸感、內在動機與長期訓練依從性;同時,本技術的方案通過響應用戶在交互區域的擊打操作,將提取出的歷史刺激內容與當前認知刺激內容進行比對,并結合具體的交互位置得出認知匹配結果,進而依據該匹配結果和擊打交互時機生成毫秒級的實時反饋信息,從而實現了嚴謹的n階回溯(n-back)認知心理學范式與三維空間內多感官物理交互的深度融合,緊密耦合了用戶的肢體運動與大腦認知加工過程,有效解決了現有虛擬現實認知系統中干預精準度低、匹配反饋缺乏針對性的技術問題,顯著提升了工作記憶等核心執行功能的訓練效能與干預質量。
37、本技術的其它特征和優點將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實施本技術而了解。本技術的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。