本發明屬于數據智能處理,具體涉及一種用于駕駛人多模態生理數據處理的方法。
背景技術:
1、在基于數字數據處理的智能監測場景中,數據處理的準確性與可靠性至關重要,其中,針對人體生理信號的數據采集、處理及智能推理,是數字數據處理技術的重要應用方向之一。近年來,涌現出大量基于人體生理信號采集與數據處理的狀態評估技術,通過對生理信號進行數字化采集、預處理及分析,生成用于評估目標對象狀態的數字化信息,進而在評估結果不滿足預設安全需求時觸發提示或報警相關的數據輸出操作。
2、在利用語言推理大模型對人體生理狀態信息進行數字化分析與評估的過程中,輸入至大模型的結構化文本描述(提示詞)是大模型實現準確推理運算的決定性前提,直接影響數據處理的準確性與可靠性。目前的現有技術中,針對將采集到的生理信息構建成大模型提示詞這一核心數據處理環節,技術著力點在于構建更加豐富的提示內容,通過增加提示詞的信息維度,提升大模型推理運算的準確性,例如中國發明專利申請《一種大模型驅動的智能汽車測試場景類人評價方法》(公開號cn?120145204?a),就構建了包括“提示詞-底盤動力學-生理數據-評價詞元”的組合數據集,通過豐富提示內容的信息維度,優化大模型的推理運算效果,提升數字數據處理的準確性。
3、然而,在對多元生理信號進行同步數字化采集與處理的過程中,由于多源數據采集時序差異、傳輸干擾、采集設備精度等因素,勢必會產生數據不同步、數據缺失、數據錯誤等影響數據置信度的問題。當前,在生理數據處理領域,針對如何通過數據置信度判斷實現提示詞數據優化,進而獲得更加精準的大模型輸入數據這一關鍵技術點,還缺少相關的技術研究,現有數據處理方案難以解決多源生理信號采集過程中的數據置信度評估問題,導致輸入大模型的提示詞存在精度缺陷,影響大模型推理運算的準確性,制約了基于大模型的生理信號數據處理技術的應用效果。
技術實現思路
1、為了解決目前現有數據處理方案難以解決多源生理信號采集過程中的數據置信度評估問題,導致輸入大模型的提示詞存在精度缺陷這一技術問題,本發明提供一種用于駕駛人多模態生理數據處理的方法,所述方法具體為:
2、s1、多模態數據采集:采集與駕駛人狀態信息有關的多模態數據;
3、s2、數據同步處理:對采集的多模態數據進行數據同步處理,獲得同步數據;
4、s3、多模態特征獲取:從同步數據中獲取駕駛人狀態信息;
5、s4、置信度計算:判定駕駛人狀態信息的置信度;
6、s5、結構化提示詞生成:根據駕駛人狀態信息以及駕駛人狀態信息的置信度構建用于輔助大模型判定的結構化提示詞。
7、進一步,多模態數據采集通過訂閱ros2話題獲取與駕駛人信息有關的多模態數據,包括駕駛人臉部圖像數據和駕駛人座椅壓力分布數據。
8、進一步,駕駛人臉部圖像數據的采集方式為通過車內攝像頭采集駕駛人臉部圖像,采集到的數據形式為連續視頻幀數據;駕駛人座椅壓力分布數據的采集方式為:在駕駛人員的座墊和靠背上布置壓力傳感器,獲取座椅壓力分布情況。
9、進一步,同步處理采用的方式為設置滑動時間窗,具體為:
10、時間戳標準化:為每幀視頻、每條壓力數據打上毫秒級系統時間戳,統一時間基準;定義窗口參數:設定窗口長度和滑動步長,規則為數據時間戳落在窗口范圍內即納入該窗口;滑動窗口篩選:從最早數據時間戳開始,按步長滑動窗口,篩選窗口時間范圍內的所有視頻幀和壓力數據,整合為同步數據單元。
11、進一步,從同步數據中獲取駕駛人狀態信息具體為:從駕駛人臉部圖像視頻幀數據中提取駕駛人注意力區域并從駕駛人臉部圖像視頻幀數據中計算駕駛人心率變異性,從駕駛人座椅壓力分布數據中提取駕駛人座椅壓力分布特征;
12、從駕駛人臉部圖像視頻幀數據中提取駕駛人注意力區域具體為:給定駕駛人臉部圖像,使用cnn/transformer?網絡進行駕駛人注意力區域分類,分類結果由給定的訓練標簽決定,包括前方、左后視鏡、右后視鏡、中控屏、儀表盤和其他;
13、從駕駛人臉部圖像視頻幀數據中計算駕駛人心率變異性具體為:采用基于攝像頭的無接觸心率檢測技術檢測得到駕駛人心率變異性數據hrv;
14、從駕駛人座椅壓力分布數據中提取駕駛人座椅壓力分布特征具體為:將駕駛人座椅壓力分布數據轉化為m*n矩陣,矩陣分為四部分,分別為坐墊左側、坐墊右側、靠背左側和靠背右側,通過四部分的壓力情況獲得駕駛人座椅壓力分布特征。
15、進一步,駕駛人狀態信息的置信度包括注意力信息置信度、心率信息置信度和壓力信息置信度,統一采用的計算方式,其中表示滑動窗口索引,表示置信度得分;
16、表示樣本數量得分,若,則,若,則,其中為樣本數,為目標樣本數,為設置的最小樣本閾值數;
17、表示時間一致性得分,,表示滑動窗口內選取的樣本的時間戳跨度,為滑動窗口長度;
18、表示信號質量得分,將注意力信息置信度和壓力信息置信度的信號質量得分設置為1,單獨計算心率信息置信度的信號質量得分,定義基礎信號范圍,為心率變異性數據hrv最低閾值,為心率變異性數據hrv最高閾值,選取個心率變異性數據hrv樣本z,分別計算其單樣本越界懲罰系數,為常數,目的是為了防止除數為0;計算滑動窗口內平均越界懲罰系數:,。
19、進一步,結構化提示詞構建時,基于駕駛人狀態信息及駕駛人狀態信息的置信度,構建用于輔助大模型判定的結構化提示詞,具體實現步驟為:
20、s51、當某狀態信息置信度大于或等于第一閾值時,判定該狀態信息可信,可作為正常評估依據寫入結構化提示詞;
21、s52、當狀態信息態置信度小于第一閾值但大于或等于第二閾值時,判定該狀態信息可信度不足,該狀態信息僅作為輔助參考信息寫入結構化提示詞,不得作為觸發強約束評估規則的依據;
22、s53、當狀態信息態置信度小于第二閾值但大于或等于第三閾值時,判定該狀態信息可靠性較低,將該狀態信息對于駕駛人狀態評估的影響權重降低至預設低權重;
23、s54、當某狀態信息置信度小于第三閾值時,判定該狀態信息無效,在結構化提示詞中標記為無效信息,不參與最終評估。
24、本發明所述方法的有益效果為:
25、針對現有多模態生理數據處理中,因多源數據采集時序差異、傳輸干擾、設備精度等因素導致的數據不同步、缺失、錯誤,進而造成大模型輸入提示詞精度不足、推理準確性受限的問題,本發明結合與駕駛人狀態相關的多模態數據,通過系統化的數據采集、同步處理、特征提取、置信度計算及結構化提示詞構建流程,將置信度評估結果與駕駛人狀態信息深度融合,構建結構化提示詞,引導大模型結合數據可靠性進行推理,避免低置信度數據對推理結果的干擾;在置信度計算環節,結合多模態數據的樣本數量、時間一致性、信號穩定性等多維度指標進行綜合判定,避免單一指標評估導致的置信度偏差,經過以上方案的組合,使得駕駛人多模態生理數據處理達到較高的準確性與魯棒性。