本發明涉及一種用于在醫療圖像數據中、特別是在內窺鏡實時圖像中對器械進行視覺識別和分類的方法。
背景技術：
1、用于醫療介入的光學可視化系統（如內窺鏡或顯微鏡）是已知的，并且能夠例如在微創介入期間顯示人體內的場景和/或工作區域。此類可視化系統將檢測到的圖像或視頻數據輸出到合適的屏幕上，并且通常與圖像記錄裝置或圖像記錄系統連接，以記錄所檢測的圖像或視頻數據以及可能的其他儀器和/或患者特定的數據，和/或對其進行分析以做進一步處理和/或評估。
2、此外，已知有方法和裝置，借助它們對內窺鏡檢測的圖像或視頻數據進行處理以用于分析和/或存檔目的。例如，可以對所使用的外科器械或介入期間出現的手術事件進行視覺檢測。由此產生的數據和所確定的信息隨后可以用于觀察治療過程、用于優化未來的類似性質的外科介入或者用于訓練人工智能應用。
3、文獻us?2019/0125455?a1公開了一種使用機器學習來設置外科器械的運行的方法。該方法包括在使用外科器械的外科介入期間收集數據，分析收集的數據以確定手術器械的合適的運行設置，以及設置外科器械的運行參數以改善外科器械的運行。
4、文獻us?2018/0271603?a1公開了一種用于外科工具的控制系統，其具有器械管理系統、數據庫、用于顯示至少一個外科事件以確定檢測到的對象和器械的身份和三維位置的顯示器件，以及用于基于外科事件辨別必要的醫療應用或行動的至少一個計算單元。
5、文獻ep?3?505?113?a1公開了一種用于外科儀器之間的無線通信的外科系統，包括具有控制單元的第一外科裝置，該控制單元被配置為其根據從數據庫、患者監測裝置或與其耦合的另一外科裝置接收的數據來了解在第一外科裝置附近發生的情境事件。
6、文獻us?2021/142487?a1公開了一種基于計算機輔助視覺圖像評估來評估外科場景的系統。該系統包括器械和事件的視覺識別，以及在檢測的圖像中確定和跟蹤位置。
7、文獻us?2019/0200985?a1公開了一種外科器械，其具有用于監測器械到腫瘤組織的距離的控制電路，其中，該器械具有用于抓取組織的末端執行器以及包含可插入組織的釘子和傳感器的釘子倉。該外科器械在此包括與傳感器耦合的控制電路，其中，該控制電路被配置為其接收傳感器信號并基于傳感器信號來分析傳感器到癌狀組織的接近度。
技術實現思路
1、基于已知的現有技術，本發明的目的是提供用于醫療圖像數據的視覺分析的方法和裝置，該方法或該裝置能夠實現在圖像數據中對器械的優化的識別和分類。
2、該目的通過根據獨立權利要求的用于識別的方法和用于分析的裝置來實現。從屬權利要求描述了本發明的有利的改進分案。由在權利要求、說明書和/或附圖中公開的多個特征中的至少兩個特征構成的所有組合，落在本發明的范圍內。
3、在第一方面中，本發明涉及在醫療圖像數據中識別外科器械的方法，特別是用于分析和存檔目的，該方法包括以下步驟：
4、-?檢測優選地借助內窺鏡提供的圖像數據、特別是內窺鏡實時圖像，
5、-?在所檢測的圖像數據中視覺識別手術事件，以及
6、-?在所檢測的圖像數據中視覺檢測至少一個器械，其中，該方法包括基于手術事件的識別以及在所識別的手術事件與至少一個器械的器械端部之間的距離確定，識別器械分類并且將其分配給所檢測的器械。
7、器械端部當前尤其理解為器械的遠端或遠端區域。器械端部特別地是可以由檢測圖像數據的圖像檢測儀器視覺檢測的器械的一部分。替代地或附加地，器械端部也可以被定義為感興趣區域（roi），即圖像中識別或推測有器械端部的區域。在圖像內，器械端部尤其可以通過器械端部處的標記或通過分割而被視覺識別和確定。
8、本發明實現基于對所檢測的圖像數據的評估，優選地自動確定和分配在圖像數據中檢測的外科器械的至少一個屬性以及尤其是器械分類。
9、視覺檢測和視覺識別當前理解為借助本身已知的軟件算法和/或借助訓練有素的人工智能（ki）進行的相應的基于軟件的檢測或識別，上述人工智能對所檢測的圖像數據進行視覺分析或評估。在此，例如檢測器械和/或組織的輪廓和/或結構，和/或分析另外的圖像元素和/或圖像數據，基于它們可以例如通過與先前存儲的數據進行比較來識別手術事件或器械。視覺檢測和識別特別地不同于對圖像數據或視頻圖像中的對象進行的基于傳感器或天線的檢測或識別。
10、手術事件理解為可以在圖像數據中視覺探測到的事件，尤其是器械應用的可視覺識別的效果。
11、圖像數據當前理解為圖像和/或視頻數據，以及尤其是由視頻內窺鏡、外窺鏡或醫療顯微鏡提供的圖像數據。
12、與現有技術相比，根據本發明，對于外科器械，不是基于所檢測的器械的圖像數據來視覺識別器械的屬性，而是基于相應器械端部與所識別的手術事件之間的距離確定來識別和分配外科器械的分類。由此能夠優化地并且尤其是更精確地分類相應的器械。例如，不同的外科器械雖然在圖像數據中具有相似的輪廓/表面并且因此僅通過對器械圖像數據的分析無法或難以區分，但可以借助與之相關聯的手術事件來更精確地確定或分類。
13、該方法優選地包括存儲過程和/或輸出所確定的數據的另一步驟，尤其是優選地與所檢測的圖像數據一起輸出所識別和分配的器械分類。有利地，為此可以提供輸出器件、例如顯示器，其中除了顯示所檢測的圖像數據、諸如內窺鏡實時圖像之外，還向用戶顯示所確定的器械分類和/或所檢測和/或確定的其他數據。此外，圖像數據優選地可以與所分配的數據一起存儲在預設的內部或外部數據存儲器中。該存儲器例如可以是與圖像檢測裝置連接的中間存儲器，其定期或不定期地將數據傳輸到預設的數據庫，特別是用于存檔和/或評估目的。
14、在一種優選的實施方式中，當在所檢測的圖像數據中視覺檢測到兩個或更多個器械或相關聯的器械端部時，對于器械端部與所檢測的手術事件具有最短的確定距離的器械執行識別和分配器械分類。在這種情況下，優選地在檢測和識別手術事件之后并且在圖像數據中檢測到至少兩個器械端部之后，首先確定器械端部與手術事件之間的相應距離。隨后，將檢測到的最靠近手術事件的器械端部分配為對于前述器械分類是決定性的。這也有利地在至少兩個或更多個所識別的手術事件中進行，此時針對每個手術事件，確定到圖像中視覺檢測的各個外科器械的距離。由此，當在圖像數據中檢測到兩個以上外科器械時，可以更精確地分類分配給手術事件的器械。
15、手術事件與所檢測的器械的器械端部之間的距離的確定，基于可以從圖像數據直接視覺探測的距離測量進行。有利地，這可以是兩個圖像點之間、尤其是器械端部的相應中心點和所檢測的事件之間的本身已知的基于軟件的距離測量，和/或包括基于附加的深度測量的圖像評估，其確定圖像檢測儀器與場景、特別是手術事件之間針對單個圖像點的距離。例如，可以通過傳感器、諸如渡越（time-of-flight）時間傳感器來確定深度。替代地，可以例如使用立體器械通過三角測量為場景的各個圖像點分配深度?？梢杂绕涫沁B續地確定場景的深度圖，并且使用該信息來確定場景中的真實點、特別是器械端部與手術事件之間的空間距離。然后三維地確定距離。由此，可以借助足夠的精度對圖像數據進行有效分析，而無需在相應的器械上安裝復雜的附加裝置、例如傳感器和/或天線。
16、替代地或附加地，可以為在圖像中識別的器械端部和手術事件分別定義所謂的感興趣區域（roi），例如矩形或其他形狀，其相應地框住器械端部和感興趣區域。所述距離則可以是這些矩形或形狀的特定點、例如中心點之間的距離。
17、手術事件與所檢測的器械的器械端部之間的距離的確定，在時間上優選緊接在手術事件的視覺識別和/或器械的識別之后進行。由此可以實現相應器械與手術事件之間更精確的分配。特別地，由此可以在盡可能靠近手術事件發生地點之處進行測量，并因而避免手術事件在圖像數據中的對測量產生負面影響的擴大或位置變化或移動。
18、手術事件的識別優選地包括，依據所分析的圖像數據，將事件分類為以下事件分類中的一種或多種：煙霧產生、組織顏色或結構變化、產生和/或變化的組織開口、所檢測的組織的含水量變化、組織的出血、組織中的縫合、將異物材料引入組織、特別是引入金屬（例如夾子）、和/或噴霧或氣泡。
19、在手術事件的視覺識別中，優選地借助計算機或軟件支持的圖像評估或圖像分析、尤其是使用本身已知的圖像評估算法，進行手術事件的視覺檢測和識別。有利地，在此進行rgb圖像值的評估、多光譜和/或高光譜圖像參數的評估、辨別圖像中所檢測的對象的輪廓/結構、和/或通過使用用于在圖像數據中識別對象的本身已知的算法、尤其還通過與已知且因而預定義的手術事件的先前檢測和/或存儲的圖像數據作比較而進行的評估。例如，可以借助評估高光譜或多光譜的圖像參數來確定含水量。還可以通過人工智能或在其支持下識別，例如使用神經網絡、或基于機器學習。然后根據所觀察的手術事件來訓練這些神經網絡或機器學習，以識別這些事件。
20、在視覺識別中，特別地還可以進行隨時間進程的評估、更確切地說在視頻圖像或圖像數據的多個彼此連續的幀中進行評估。例如，可以通過評估rgb值隨時間的變化、特別是通過探測顏色的變化來檢測組織變化，例如通過組織顏色從紅色變為黑色來識別組織損傷，或者通過圖像顏色信息變為白色或灰色以識別煙霧。
21、識別手術事件的步驟還可以優選地包括分配事件強度和/或另外的事件屬性。這也可以借助前述本身已知的計算機或軟件支持的圖像評估或圖像分析來進行。例如，可以進行煙霧強度、出血強度和/或組織開口尺寸的視覺識別和隨后的分配。為此，可以為事件分配相應的強度或尺寸因子。例如，根據圖像中可以視覺探測到的在組織處的煙霧產生的范圍或密度，可以確定較小或較大的強度值并將其分配給該手術事件。
22、在一種優選的實施方式中，器械分類的識別和分配包括識別和分配器械類型和/或另外的器械屬性，尤其包括以下分類：高頻器械、非高頻器械、鉗子、剪刀、縫合器械、釘子縫合儀器、活檢器械、打孔器、施夾鉗和/或超聲儀器。
23、根據本發明，所檢測的器械的器械分類的識別和分配除了基于前述的距離確定外，還基于所識別的手術事件。所識別的事件在此包括關于所識別的事件分類、所確定的事件強度和/或另外的事件屬性的信息或數據。因此，例如，通過識別在圖像數據中能夠探測的在組織處的煙霧產生（其通過距離確定被分配或者已被分配給檢測到的器械端部），可以將相應的器械分類為用于使用高頻電流的高頻（hf）器械，例如用于凝固或切割。由此，尤其可以將高頻器械、諸如高頻抓鉗（其視覺上與無高頻功能的抓鉗沒有或幾乎沒有區別）與無高頻功能的抓鉗區分開來。
24、在這種情況下，對器械分類的識別和分配，除了基于所檢測的器械的視覺圖像數據外，還可以基于對數據庫中為預定義的器械存儲的儀器/或介入數據和/或為預定義的介入或預定義的事件存儲的器械數據的評估進行。因此，器械分類的識別和分配可以包括查詢在內部或外部數據存儲器中存儲和/或可調用的數據的步驟，這些數據將手術事件分配給相應的器械或相應的器械特性。例如，存儲器中可以存儲有如下分配：組織中產生煙霧的手術事件可由具有高頻功能的外科器械觸發，或者出現的組織開口或組織分裂可由剪刀觸發。
25、該方法優選地包括另一步驟，即為所分析的圖像數據識別并分配一種醫療治療的類型以作為屬性。由此，借助識別相應的手術事件和/或所識別的器械分類，可以推斷出當前的醫療治療或治療類型，其可以作為屬性分配給所檢測的圖像數據。
26、此外，該方法可以包括讀取和/或評估儀器和/或器械數據的步驟，儀器和/或器械數據用于相應的介入并且例如耦合在用于執行該方法的裝置。由此，在此例如可以分析電子可讀的儀器數據，并將其用于器械的進一步分類、識別手術介入和/或識別醫療治療或適應癥的類型。例如，如果識別到高清鼻內窺鏡連接到相應裝置，則可以推斷出這是診斷性介入，因為該內窺鏡沒有工作通道。例如，如果識別到膀胱鏡連接到相應裝置，則可以推斷出這是泌尿外科內窺鏡介入。
27、基于此，此外可以在圖像評估之前就推斷出特定分類和/或特定手術事件是否可能出現或者不太可能。例如，泌尿外科內窺鏡介入是在水下作業的。如果在此應用高頻電流，則不會產生煙霧，而是產生氣泡。此外，例如存在純診斷性的介入，則其中不使用高頻器械進行。這具有的優點是，相應的圖像評估算法可以設計得更有效，因為對于相應介入而言只有有限數量的器械或器械分類是相關的，而無需籠統地考慮所有。
28、此外，該方法可以包括在時間上檢測已分類的外科器械和/或手術事件的各自的使用的步驟。這尤其可以包括各自的使用時間點和長度，或者所識別的事件的持續時間。相應的數據可以分配給圖像數據，并用于進一步的評估，特別是還用于器械的分類和/或用于事件的識別。
29、該方法優選地還包括針對相應的識別的外科器械計算和分配驗證值，該驗證值至少基于所識別的手術事件與器械端部之間的相應的距離確定的距離值來確定。該驗證值可以用于為相應的外科器械提供所識別的器械分類的相應合理性。優選地，當手術事件與器械端部之間確定的距離相對小時，分配比距離相對較大時更高的驗證值。這基于的是：對于直接鄰近的手術事件，該手術器械對該手術事件負責的可能性高于器械與事件之間的距離相對較大的情況。驗證值優選地分配給圖像數據，并且可以與其他數據和/或值一起存儲在相應的存儲器中。
30、該方法可以可選地包括手動驗證，例如在介入期間或之后借助用戶交互對所識別的器械分類進行驗證。這可以有利地包括借助設置的輸出器件向用戶、諸如主治醫生輸出所識別的器械分類，以及借助設置的輸入器件檢測手動反饋。除了輸出所識別的器械分類外，還可以包括輸出所分配的其他數據、特別是輸出所分配的驗證值。進一步優選地，可以僅針對分配了相對小的驗證值的分類數據或所識別的器械進行可選的手動驗證。由此，可以對不那么合理的數據進行可選的手動檢查，由此一方面總體上改善了所檢測的數據的有效性，并且另一方面僅對被識別為不那么有效的數據進行手動檢查，并且因而總體上優化了驗證數據檢測的效率。
31、在另一種優選的實施方式中，該方法還可以包括基于通過圖像評估檢測的數據，向與一個所檢測的器械或多個所檢測的器械連接的裝置發送反饋信號的步驟。由此，尤其可以基于借助圖像評估所檢測的數據對相應的器械進行操控。例如，當確定在高頻電流應用中出現過于嚴重的組織損傷時，可以進行相應的操控以降低與高頻器械連接的儀器或發生器的功率，以便避免對組織的進一步損傷。
32、在另一個方面中，本發明涉及檢測和分析醫療圖像數據的裝置，該裝置被配置用于執行如前述的方法，該裝置包括：
33、-?聯接單元，用于選擇性地連接用于醫療治療的圖像檢測儀器、特別是內窺鏡，
34、-?數據檢測單元，用于從至少與聯接單元連接的圖像檢測儀器檢測圖像數據，以及
35、-?計算單元，該計算單元被配置用于在所檢測的圖像數據中執行手術事件的視覺檢測和識別，其中，計算單元還被配置用于對所識別的手術事件與在圖像數據中視覺檢測到的至少一個器械的器械端部之間進行距離確定，以及以此為基礎識別器械分類并將其分配給所檢測的器械。
36、在一種優選的實施方式中，該裝置包括存檔單元，用于記錄由數據檢測單元提供的圖像數據以及由計算單元確定的數據，尤其包括所確定的器械分類。在此，存檔單元還被有利地配置用于根據所確定的器械分類進行記錄。由此，可以僅對對于后續存檔或分析具有更大興趣的數據進行選擇性的數據檢測和存檔，從而可以更有效地使用數據和計算能力。
37、存檔單元優選地被設計為將相應的圖像數據與由計算單元檢測和/或確定的數據進行關聯，并作為彼此相關的數據、即相應關聯的數據集進行存儲。在這種情況下，所確定和/或所分配的數據可以作為相應圖像數據的元數據進行存儲。由此，即使在以后的時間點，也可以進行圖像數據與所檢測的數據的明確分配，并且特別是可以避免在由現有技術已知的單獨的圖像數據采集期間以及在相應檢查期間附加地檢測數據集時的人為錯誤影響。存檔單元在此還可以被配置為將相應分配的數據作為圖像數據的元數據存儲在預定義的幀中，或進一步優選地存儲在圖像數據的每個單個幀中。
38、此外，計算單元可以被配置用于設置和/或調整數據檢測單元、特別是影響數據記錄的錄制參數，并根據所確定的器械分類和/或根據附加地檢測到的數據對其進行操控。在此，例如可以根據所確定和/或分配的數據來設置或調整所檢測的圖像信號的幀率、圖像部分和/或其他圖像參數。
39、計算單元有利地包括存儲單元，其被配置用于存儲和/或分配屬性、諸如器械分類、事件分類、事件強度、醫療治療的類型、為相應檢測的事件和/或相應檢測的外科器械分配的驗證值。計算單元尤其可以包括一個或多個查找表，借助這些查找表，例如可以為相應存儲的手術事件分配預定義的和/或可變的屬性，這些屬性例如可以用于器械分類。
40、在一種優選的實施方式中，數據檢測單元被配置用于從與裝置有線或無線連接的儀器檢測另外的儀器數據和/或參數數據。數據檢測單元進一步有利地被配置用于檢測所提供的患者數據和/或患者的生命參數。在這種情況下，計算設備可以有利地被配置用于從所檢測的儀器數據和/或參數數據以及所檢測的圖像數據的組合中確定相應外科器械或相應醫療介入的屬性。
41、在一種優選的實施方式中，該裝置還包括數據傳遞單元，其被配置用于與外部網絡和/或外部服務器單元進行優選雙向的數據交換。數據傳遞單元在此可以具有局域網和/或無線局域網接口，用于連接到內部或外部網絡、例如醫院局域網或因特網。在此，該裝置可以被配置用于檢測來自外部服務器單元的數據檢測命令，和/或用于將數據檢測單元的記錄自動和/或非自動地傳遞到外部服務器單元。到外部網絡和/或外部服務器單元的傳遞可以實時地和/或相對于存檔單元的記錄時間延遲地進行。特別優選地，所檢測的數據集的相應傳遞可以按照預定義的時間間隔或按照預定義的傳遞時間進行。在這種情況下，數據的相應中間存儲可以在外部或內部存儲器單元中進行。
42、前述裝置可以被配置為內窺鏡裝置或內窺鏡系統的單獨或集成的組成部分。
43、為避免重復，在此引用前述關于本發明方法的實施方式，這些實施方式應同樣被視為針對本發明裝置公開和要求保護的，反之亦然。
44、本發明的細節、有利效果和細節將在下面根據示意性的、僅作為示例的附圖進行解釋。