本申請涉及圖像處理領域，特別是涉及一種列車司機手勢和疲勞駕駛多任務融合的檢測方法及系統。
背景技術：
1、列車司機作為機車安全運行的直接操控者，“手比、眼看、口呼”是鐵路駕駛領域明確規定的作業要求，在實際生產運營中，部分司機存在簡化作業流程、手勢動作不規范等現象，而不正確的手勢判斷可能威脅列車運行安全。除手勢不規范外，疲勞駕駛也是威脅列車運行安全的重要隱患。
技術實現思路
1、本申請的目的是提供一種列車司機手勢和疲勞駕駛多任務融合的檢測方法，可對疲勞駕駛和手勢進行聯合檢測。
2、為實現上述目的，本申請提供了如下方案：
3、第一方面，本申請提供了一種列車司機手勢和疲勞駕駛多任務融合的檢測方法，包括：
4、獲取目標圖像；
5、將所述目標圖像輸入預先訓練的多任務融合檢測模型，獲得所述多任務融合檢測模型輸出的手勢檢測結果和/或疲勞狀態檢測結果；
6、其中，所述多任務融合檢測模型為：采用包含疲勞狀態標注和手勢標注的樣本圖像數據集對預設的神經網絡模型進行訓練得到的、用于進行手勢和疲勞狀態聯合檢測的模型；
7、所述神經網絡模型按照以下方式進行訓練：提取所述樣本圖像數據集中各樣本圖像的圖像特征，基于所述圖像特征確定所述樣本圖像中包含的疲勞狀態信息和手勢信息，并基于掩碼分支對所述樣本圖像數據集中具有手勢信息的第一樣本圖像進行處理，獲取所述第一樣本圖像的掩碼預測結果；基于所述疲勞狀態信息、手勢信息和所述掩碼預測結果生成的總損失對所述神經網絡模型進行訓練。
8、第二方面，本申請提供了一種列車司機手勢和疲勞駕駛多任務融合的檢測系統，包括：
9、獲取模塊，用于獲取目標圖像；
10、檢測模塊，用于將所述目標圖像輸入預先訓練的多任務融合檢測模型，獲得所述多任務融合檢測模型輸出的手勢檢測結果和/或疲勞狀態檢測結果；
11、其中，所述多任務融合檢測模型為：采用包含疲勞狀態標注和手勢標注的樣本圖像數據集對預設的神經網絡模型進行訓練得到的、用于進行手勢和疲勞狀態聯合檢測的模型；
12、模型構建及訓練模塊，用于提取所述樣本圖像數據集中各樣本圖像的圖像特征，基于所述圖像特征確定所述樣本圖像中包含的疲勞狀態信息和手勢信息，并基于掩碼分支對所述樣本圖像數據集中具有手勢信息的第一樣本圖像進行處理，獲取所述第一樣本圖像的掩碼預測結果；基于所述疲勞狀態信息、手勢信息和所述掩碼預測結果生成的總損失對所述神經網絡模型進行訓練。
13、第三方面，本申請提供了一種計算機設備，包括：存儲器、處理器以存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序以實現上述中任一項所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法的步驟。
14、第四方面，本申請提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述中任一項所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法的步驟。
15、根據本申請提供的具體實施例，本申請公開了以下技術效果：
16、根據本發明實施例提供的方案，通過訓練多任務融合檢測模型，令該模型基于包含疲勞狀態標注和手勢標注的樣本圖像數據學習到進行手勢檢測和疲勞狀態檢測的知識，從而能夠在輸入目標圖像的過程中，輸出符合學習過程的、可能存在的手勢檢測結果及疲勞狀態檢測結果，從而能夠實現對疲勞駕駛和手勢進行聯合檢測。
17、并且，在聯合檢測的過程中，除了訓練多任務融合檢測模型輸出疲勞狀態信息和手勢信息以外，還通過設置掩碼分支專門處理具有手勢信息的第一樣本圖像，通過進行掩碼預測，獲得更為精確的掩碼圖像區域，并且在總損失中加入掩碼預測結果對應的損失值，在模型訓練中疲勞狀態數據不會干擾掩碼分支的數據處理過程，這樣，可以提高針對手勢識別的精度，且通過掩碼預測實現實例分割的方式能夠得到更為精確的手勢分類結果，從而提高列車司機手勢和疲勞駕駛多任務檢測的魯棒性和準確性。
18、另外，在模型部署可行性方面，通過單模型多任務一體化設計，不使用雙模型分開部署，而是一套多任務融合檢測模型同時完成疲勞檢測和手勢分割，模型體積縮小，算力占用大幅降低，適配列車車載算力環境。
1.一種列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述列車司機手勢和疲勞駕駛多任務融合的檢測方法包括：
2.根據權利要求1所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述提取所述樣本圖像數據集中各樣本圖像的圖像特征，包括：
3.根據權利要求2所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述獲取該樣本圖像的幾何特征圖，包括：
4.根據權利要求2所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述采用特征金字塔網絡對所述幾何特征圖進行圖像增強，包括：
5.根據權利要求2所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述總損失按照以下方式生成：
6.根據權利要求1所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述獲取所述第一樣本圖像的掩碼預測結果，包括：
7.根據權利要求1所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法，其特征在于，所述樣本圖像數據集中包含多批次的子數據集，且每一子數據集中具有疲勞狀態信息的第二樣本圖像和具有手勢信息的第三樣本圖像的數量相等。
8.一種列車司機手勢和疲勞駕駛多任務融合的檢測系統，其特征在于，列車司機手勢和疲勞駕駛多任務融合的檢測系統包括：
9.一種計算機設備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序以實現權利要求1-7中任一項所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-7中任一項所述的列車司機手勢和疲勞駕駛多任務融合的檢測方法。