本發明涉及人工智能,具體涉及基于大模型的會議終端交互系統及方法。
背景技術:
1、在現有的會議交互技術中,雖然已存在部分能夠采集觀眾反饋的系統,但普遍存在以下缺陷:
2、首先,現有技術多側重于數據的單向展示,缺乏基于大模型推理的閉環修正機制。傳統系統通常將采集的情緒或動作數據直接可視化,無法生成針對會議內容的實時修正,導致發言者僅能看到了解觀眾狀態,卻無法獲得如何調整第一交互界面中交互內容的具體指導,難以實現會議內容的迭代優化。
3、其次,現有交互界面缺乏時間維度的預測能力。大多數系統僅展示當前時刻的狀態數據,無法基于當前幀的動態交互特征推演未來幀的情緒演化路徑,導致發言者無法提前獲知未來內容的潛在風險,缺乏前瞻性的交互策略調整。
4、再次,現有技術在數據采集與處理上較為粗糙。缺乏對情緒判別空間的精細化定義與權重分配,且未針對多模態情緒數據中的非情緒噪聲進行有效剔除,導致生成的交互特征準確性不足,影響后續大模型推理的可靠性。最后,現有系統缺乏模型自進化能力。無法根據未來幀實際發生時的偏差值反饋更新大模型參數,導致系統的推演精度難以隨使用過程不斷提升。
5、因此,亟需一種基于大模型的會議終端交互系統及方法,以實現交互內容的智能迭代修正與前瞻性引導。
技術實現思路
1、針對上述問題,本發明提供基于大模型的會議終端交互系統及方法,實現交互內容的智能迭代修正與前瞻性引導。
2、本發明的第一方面,提供基于大模型的會議終端交互系統,包括:
3、設置所述會議終端于具有預設布置數據的會議空間內,還包括:
4、數據獲取模塊,被配置為根據所述預設布置數據將所述會議空間限定為至少一個情緒判別空間,采集通過會議終端的第一交互界面時所述情緒判斷空間內的多模態情緒數據;
5、第一數據處理模塊,被配置為根據所述多模態情緒數據和第一交互界面確定會議內容與情緒關聯的動態交互特征;
6、第二數據處理模塊,被配置為于所述會議終端生成所述第一交互界面和第二交互界面,將所述動態交互特征渲染至所述第二交互界面,調用存儲于服務器的大模型根據所述動態交互特征生成修正判斷項,將所述修正判斷項呈現于所述第二交互界面,并根據所述修正判斷項對所述第一交互界面中的交互內容進行迭代修正;
7、服務器,被配置為存儲至少一個大模型;
8、存儲模塊,被配置為存儲所述服務器與所述會議終端的交互數據。
9、作為一種優選方式,所述多模態情緒數據包括第一模態數據和第二模態數據,其中,所述第一模態數據為面部識別情緒值,所述第二模態數據為動作識別情緒值,且所述服務器中還預存儲有非情緒噪聲數據集合;
10、所述數據獲取模塊還被配置為將采集的所述面部識別情緒值和所述動作識別情緒值與所述非情緒噪聲數據集合進行特征比對,剔除匹配度高于預設噪聲閾值的面部識別情緒值和動作識別情緒值,生成有效的多模態情緒數據。
11、作為一種優選方式,若所述預設布置數據中定義有至少兩個具有不同權重系數的情緒判別空間;
12、所述數據獲取模塊還被配置為根據所述權重系數對各個情緒判別空間內采集的多模態情緒數據進行加權計算,生成加權多模態情緒數據,根據所述加權多模態情緒數據和第一交互界面確定會議內容與情緒關聯的動態交互特征。
13、作為一種優選方式,所述第一交互界面中的交互內容為按時間序列排列的幀序列,所述幀序列包括當前幀內容和未來幀內容;
14、所述修正判斷項包括對應當前幀內容的當前修正判斷項和對應所述未來幀內容的未來修正判斷項,所述第二數據處理模塊為將所述當前幀內容對應的動態交互特征及所述當前修正判斷項作為推演輸入,生成所述未來修正判斷項。
15、作為一種優選方式,所述第二數據處理模塊在調用所述大模型時,被配置為:
16、構建包含時間演化提示詞的推理指令,分析所述當前幀內容的動態交互特征的變化趨勢,結合所述當前修正判斷項的修正邏輯,推演未來時間的情緒演化路徑,生成與所述未來幀內容相匹配的所述未來修正判斷項。
17、作為一種優選方式,所述第二交互界面包括實時修正區域和預測預覽區域;所述第二數據處理模塊被配置為將所述當前修正判斷項實時渲染至所述實時修正區域,并將所述未來修正判斷項提前輸出至所述預測預覽區域;
18、其中,所述預測預覽區域被配置為以區別于所述實時修正區域的視覺樣式展示所述未來修正判斷項,以標識其為預測性修正信息。
19、作為一種優選方式,當會議進程推進至所述未來幀內容對應的時刻時,所述第二數據處理模塊被配置將所述未來修正判斷項轉換為新的當前修正判斷項;
20、所述第二數據處理模塊還被配置為采集所述未來幀內容實際發生時的多模態情緒數據,計算實際動態交互特征與所述推演輸入之間的偏差值,并將所述偏差值反饋至所述服務器以更新所述大模型的推演參數。
21、作為一種優選方式,所述第一數據處理模塊被配置為對所述多模態情緒數據進行時間戳標記,并與所述第一交互界面的內容更新時刻進行時序對齊,提取情緒變化率與內容更新率的關聯特征作為所述動態交互特征;
22、所述第二數據處理模塊在調用所述大模型時,構建包含所述動態交互特征的特征向量提示詞,所述大模型輸出包含修正方向、修正幅度及修正優先級的所述修正判斷項,所述第二數據處理模塊根據所述修正優先級確定所述迭代修正的執行順序;
23、其中,所述迭代修正包括計算所述交互內容與目標情緒狀態的偏差值,當所述偏差值大于預設收斂閾值時,持續執行所述修正判斷項的生成與呈現步驟,直至所述偏差值小于或等于所述預設收斂閾值。
24、本發明的第二方面,提供基于大模型的會議終端交互方法,包括如下步驟:
25、根據所述預設布置數據將所述會議空間限定為至少一個情緒判別空間,采集通過所述會議終端的第一交互界面時所述情緒判別空間內的多模態情緒數據;
26、根據所述多模態情緒數據和所述第一交互界面確定會議內容與情緒關聯的動態交互特征;
27、生成所述第一交互界面和第二交互界面,將所述動態交互特征渲染至所述第二交互界面,調用存儲于服務器的大模型根據所述動態交互特征生成修正判斷項,將所述修正判斷項呈現于所述第二交互界面,并根據所述修正判斷項對所述第一交互界面中的交互內容進行迭代修正。
28、本發明相比現有技術具有如下有益效果:
29、本發明通過第二數據處理模塊調用服務器存儲的大模型,根據動態交互特征生成修正判斷項,并將其呈現于第二交互界面,進而根據修正判斷項對第一交互界面中的交互內容進行迭代修正。使得會議內容能夠根據觀眾情緒實時動態調整,顯著提升了會議交互的精準性與適應性。
30、本發明將第一交互界面中的交互內容劃分為當前幀內容和未來幀內容,生成對應的當前修正判斷項和未來修正判斷項。通過在第二交互界面設置實時修正區域和預測預覽區域,并以區別于實時修正區域的視覺樣式展示未來修正判斷項,使得發言者既能掌握當前狀態,又能提前獲知未來時間步的情緒演化路徑及修正建議,實現了從“被動響應”到“主動預測”的轉變。
31、本發明通過數據獲取模塊采集面部識別情緒值和動作識別情緒值,并與服務器預存儲的非情緒噪聲數據集合進行特征比對,剔除匹配度高于預設噪聲閾值的數據。這種數據清洗機制有效過濾了非情緒干擾信號,確保了生成的動態交互特征能夠真實反映會議內容與情緒的關聯規律。
32、本發明可根據預設布置數據中不同情緒判別空間的權重系數對多模態情緒數據進行加權計算,適應不同的會議空間布局。此外,系統能夠在會議進程推進至未來幀內容對應的時刻時,計算實際動態交互特征與推演輸入之間的偏差值,并將偏差值反饋至服務器以更新大模型的推演參數,實現了系統的持續自學習與精度優化。
33、本發明中大模型輸出的修正判斷項包含修正方向、修正幅度及修正優先級,第二數據處理模塊根據修正優先級確定迭代修正的執行順序,并設定預設收斂閾值作為迭代終止條件。這使得交互內容的修正過程更加有序、可控,避免了過度修正或修正不足的問題,確保交互內容最終收斂至目標情緒狀態。