本技術涉及船舶用吊放操控臺的，尤其是涉及一種吊放操控臺的多模態人機交互意圖識別方法、系統及設備。
背景技術：
1、在船舶作業領域，吊放操控臺承擔著關鍵的設備操控任務，其操作的準確性和高效性直接關系到船舶作業的安全與效率。隨著船舶技術的不斷發展，船舶的自動化和智能化程度越來越高，吊放操控臺所涉及的操作也日益復雜。
2、目前，部分吊放操控臺采用單一的人機交互模態，如觸控操控模態。操作員主要通過觸摸操控臺上的屏幕來輸入操作指令。這種方式在船舶較為平穩、環境相對安靜的情況下，能夠滿足基本的操作需求。它利用屏幕的直觀顯示和便捷的觸摸操作，讓操作員可以直接對相關設備進行控制，操作過程相對簡單明了。
3、然而，當船舶處于晃動，且晃動較為劇烈時，操作員很難準確地觸摸到屏幕上的目標區域，容易出現誤操作，從而影響吊放作業的安全。
技術實現思路
1、為了降低操作員的誤操作，以保障吊放作業的安全，本技術提供一種吊放操控臺的多模態人機交互意圖識別方法、系統及設備。
2、第一方面，本技術提供一種吊放操控臺的多模態人機交互意圖識別方法，采用如下技術方案：
3、一種吊放操控臺的多模態人機交互意圖識別方法，包括：
4、獲取船舶的運動數據和船舶所處環境的環境數據并根據所述運動數據合成晃動強度；所述運動數據包括橫搖角和縱搖角；
5、根據操作員當前所在位置與吊放操控臺的距離和方位，確定操作員當前所處的交互區；
6、根據所述環境數據、操作員當前所處的交互區和操作偏好，計算語音操控模態的適宜性分數以及根據晃動強度、操作員當前所處的交互區和操作偏好，分別計算觸控操控模態適宜性分數和硬件操控模態適宜性分數；
7、將適宜性分數最高的操控模態作為首選模態，將適宜性分數次高的操控模態作為備選模態，并為硬件輸入通道、語音輸入通道和觸控輸入通道配置初始置信度基值；
8、任一輸入通道在檢測到有效操作信號后，生成意圖對象，所述意圖對象至少包括來源操控模態和信號質量評分；
9、根據意圖對象中的信號質量評分和來源操控模態的適宜性分數，計算每個意圖對象的最終置信度；
10、將長度為z的對齊窗口內所有指向同一設備且動作相同或邏輯兼容的意圖對象，歸入同一個意圖簇；
11、根據簇內所有意圖對象的最終置信度和來源模態的初始置信度基值，計算每一個意圖簇的綜合權重值；
12、根據綜合權重值，判定有效意圖簇，并將所述有效意圖簇中的意圖轉換為具體的控制指令。
13、通過采用上述技術方案，合成晃動強度可以反映船舶在運動過程中的晃動程度，環境數據可以體現船舶所處的外部環境；通過獲取船舶的運動數據和環境數據，能夠考慮到船舶運行時的實際狀況。考慮操作員的操作偏好以及確定操作員相對于吊放操作臺所處的交互區，體現了對操作員個性化需求和實際操作位置的關注，能更好地適配操作員的使用習慣，提高交互的舒適度和效率。在檢測到有效操作信號后生成意圖對象，并計算其最終置信度，結合了信號質量評分和來源操控模態的適宜性分數，使得系統能夠更準確地評估每個意圖對象的可靠性，避免因信號質量不佳或不適宜的操控模態而導致的誤判。建立對齊窗口并將意圖對象歸入意圖簇，能夠對相似或邏輯兼容的意圖進行整合，從而減少重復和冗余的意圖，進而提高意圖識別的效率和準確性。意圖簇的綜合權重值的計算，進一步對意圖進行篩選和評估，能夠更準確地判定有效意圖簇。最后將有效意圖簇中的意圖轉換為具體的控制指令，實現了從操作員的操作意圖到實際控制的無縫銜接。整個過程考慮了船舶運行的實際情況、操作員的個性化需求和操作場景，通過多模態的交互方式和意圖識別算法，提高了吊放操控臺的人機交互效率和準確性，避免了因單一模態或不恰當的意圖識別導致的操作失誤。
14、可選的，根據所述運動數據合成晃動強度的步驟包括：
15、將橫搖角速度和縱搖角速度輸入至構建的晃動經驗公式中，輸出晃動強度；所述晃動強度取值范圍在0到1之間，用于表征船舶搖晃對操作的影響。
16、可選的，計算語音操控模態的適宜性分數的步驟包括：
17、根據環境數據中的環境噪聲計算噪聲衰減因子，并將操作員當前所處的交互區映射為位置增益系數，以及根據操作偏好中的語音偏好計算語音習慣系數；
18、根據所述噪聲衰減因子、所述位置增益系數和所述語音習慣系數計算語音操控模態的適宜性分數；
19、計算觸控操控模態適宜性分數的步驟包括：
20、根據所述晃動強度計算晃動抑制因子，以及根據操作偏好中的觸摸偏好計算觸摸習慣系數；
21、根據所述晃動抑制因子、所述位置增益系數和所述語音習慣系數計算觸控模態適宜性分數；
22、計算硬件操控模態適宜性分數的步驟包括：
23、根據所述晃動強度計算晃動影響因子，并根據操作偏好中的硬件偏好計算硬件習慣系數；
24、根據所述晃動影響因子、所述位置增益系數和所述硬件習慣系數計算硬件操控模態適宜性分數。
25、可選的，根據綜合權重值，判定有效意圖簇的步驟包括：
26、篩選出綜合權重值最高的意圖簇組成候選集；
27、若所述候選集中意圖簇的數量為1，則直接判定有效意圖簇；
28、若所述候選集中意圖簇的數量至少為2，則依次檢測候選集中所有意圖簇的動作沖突、模態優先級和時間戳；若所有候選的意圖簇的指向設備相同且動作相同則視為重復指令，直接選取任意一個意圖簇作為有效意圖簇，若未有重復指令則將來源操控模態為首選模態或備選模態且模態適宜性分數最高的意圖簇判定為有效意圖簇，若仍有并列則直接將時間戳最新的意圖簇判定為有效意圖簇。
29、通過采用上述技術方案，當候選集中意圖簇的數量至少為2時，依次檢測動作沖突、模態優先級和時間戳，能夠進一步細化判定過程，確保選出最合理的有效意圖簇。對于指向設備相同且動作相同的重復指令，直接選取任意一個意圖簇作為有效意圖簇，避免了重復執行相同的指令，減少了資源的浪費，同時也保證了系統操作的簡潔性。而在未有重復指令的情況下，優先將來源操控模態為首選模態或備選模態且模態適宜性分數最高的意圖簇判定為有效意圖簇，是因為首選模態或備選模態通常具有較高的穩定性和可靠性，適宜性分數高則說明該模態在當前場景下更為合適，能夠提高操作的準確性和安全性。若仍有并列情況，將時間戳最新的意圖簇判定為有效意圖簇，體現了對最新操作意圖的重視，更符合操作員的實時需求，能夠及時響應操作員的最新指令，使吊放操控臺的操作與操作員的意圖保持同步。通過合理的篩選和細致的判定過程，提高了意圖識別的準確性和效率，減少了資源浪費，確保了系統能夠及時、準確地響應操作員的意圖，為吊放操控臺的穩定、高效運行提供了有力保障。
30、可選的，所述多模態人機交互意圖識別方法還包括：
31、若所述候選集中意圖簇的數量為0，則判斷所有意圖簇的綜合權重是否均低于設定的沖突閾值；
32、若是則判定為意圖置信不足，吊放操作臺進行多模態反饋并提示“指令未識別，請重新輸入”，并清空當前對齊窗口內的所有意圖對象等待新一輪操作信號；若否則進一步判斷綜合權重間的優勢差是否均未超過設定的最小優勢差；
33、若是則選取綜合權重最高的意圖簇作為有效意圖簇并生成操作日志警告“模態沖突，已按權重優先級執行”；若否則啟動多模態協同確認機制：播放詢問語音“是否執行[動作描述]？”，并在觸控界面彈出確認按鈕，若設定時長內未收到確認信號則自動放棄當前批次意圖簇。
34、通過采用上述技術方案，候選集中意圖簇數量為0時，先判斷所有意圖簇的綜合權重是否均低于設定的沖突閾值，能夠有效識別出操作員的操作意圖是否足夠清晰和可靠。若綜合權重均低于沖突閾值，則判定為意圖置信不足，此時吊放操作臺進行多模態反饋并提示“指令未識別，請重新輸入”，同時清空當前對齊窗口內的所有意圖對象，等待新一輪操作信號，避免了系統基于不可靠的意圖進行操作，防止出現誤操作，保障了吊放作業的安全性和準確性。若綜合權重并非都低于沖突閾值，則進一步判斷綜合權重間的優勢差是否均未超過設定的最小優勢差。若優勢差未超過最小優勢差，說明各意圖簇之間的差異較小，存在模態沖突的可能性較大；此時選取綜合權重最高的意圖簇作為有效意圖簇，并生成操作日志警告“模態沖突，已按權重優先級執行”，可以在保證系統能夠繼續執行操作的同時，通過操作日志警告記錄下模態沖突的情況，有助于不斷優化系統的意圖識別能力。若綜合權重間的優勢差超過了設定的最小優勢差，則啟動多模態協同確認機制，播放詢問語音“是否執行[動作描述]？”，并在觸控界面彈出確認按鈕，充分利用語音和觸控兩種模態，以更加直觀和明確的方式向操作員確認操作意圖，提高了操作的準確性和可靠性。若設定時長內未收到確認信號，則自動放棄當前批次意圖簇，避免了系統長時間等待無效信號，提高了系統的運行效率，確保系統能夠及時響應后續的操作指令。
35、可選的，將所述有效意圖簇中的意圖轉換為具體的控制指令之后的步驟包括：
36、實時采集被控設備的狀態響應數據并根據所述狀態響應數據判斷實際響應動作是否與預期動作存在偏差；
37、若是則基于偏差程度觸發分級異常處理流程：當偏差小于第一閾值時，僅記錄至操作日志并標記“輕微漂移”；當偏差介于第一閾值和第二閾值之間時，推送提示信息“檢測到動作偏移，是否重新校準？”；當偏差超過第二閾值時，則立即暫停后續指令隊列并進行報警，第二閾值大于第一閾值。
38、可選的，所述多模態人機交互意圖識別還包括：
39、定期統計過去t小時內各操控模態的識別成功率；
40、根據所述識別成功率和環境數據計算對應操控模態的效能評分；
41、根據所述效能評分動態修正對應操控模態的初始置信度基值。
42、通過采用上述技術方案，定期統計識別成功率能夠反映出各操控模態在實際使用中的表現，以對各操控模態的性能有一個量化的認識。根據識別成功率和環境數據計算對應操控模態的效能評分，綜合考慮了操控模態自身的性能以及船舶所處的實際環境，使得系統能夠根據各操控模態的實際表現和環境適應性來調整其在意圖識別中的權重。通過定期統計、綜合評估和動態修正，使多模態人機交互意圖識別系統能夠更好地適應不同的環境和各操控模態的實際性能變化，提高了意圖識別的準確性和可靠性，進一步優化了吊放操控臺的人機交互體驗。
43、第二方面，本技術提供了一種吊放操控臺的多模態人機交互意圖識別系統，采用如下技術方案：
44、一種吊放操控臺的多模態人機交互意圖識別系統，包括：
45、數據獲取模塊，用于獲取船舶的運動數據和船舶所處環境的環境數據并根據所述運動數據合成晃動強度；所述運動數據包括橫搖角和縱搖角，以及用于獲取操作員的操作偏好；
46、位置模塊，用于根據操作員當前所在位置與吊放操控臺的距離和方位，確定操作員當前所處的交互區；
47、數據處理模塊，用于根據所述環境數據、操作員當前所處的交互區和操作偏好計算語音操控模態的適宜性分數以及根據晃動強度、操作員當前所處的交互區和操作偏好，分別計算觸控操控模態適宜性分數和硬件操控模態適宜性分數；以及用于將適宜性分數最高的操控模態作為首選模態，將適宜性分數次高的操控模態作為備選模態，并為硬件輸入通道、語音輸入通道和觸控輸入通道配置初始置信度基值；
48、意圖識別處理模塊，用于任一輸入通道在檢測到有效操作信號后，生成意圖對象，所述意圖對象至少包括來源操控模態和信號質量評分；以及用于根據意圖對象中的信號質量評分和來源操控模態的適宜性分數計算每個意圖對象的最終置信度，以及用于將長度為z的對齊窗口內所有指向同一設備且動作相同或邏輯兼容的意圖對象，歸入同一個意圖簇，以及用于根據簇內所有意圖對象的最終置信度和來源模態的初始置信度基值，計算每一個意圖簇的綜合權重值，并根據綜合權重值判定有效意圖簇；
49、指令模塊，用于將所述有效意圖簇中的意圖轉換為具體的控制指令并派發。
50、第三方面，本技術提供了一種計算機設備，采用如下技術方案：
51、一種計算機設備，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現如第一方面所述吊放操控臺的多模態人機交互意圖識別方法。
52、第四方面，本技術提供了一種計算機可讀存儲介質，采用如下技術方案：
53、一種計算機可讀存儲介質，存儲有能夠被處理器加載并執行如第一方面所述吊放操控臺的多模態人機交互意圖識別方法的計算機程序。