本發明涉及一種圖像處理系統、圖像處理方法、計算機可讀介質和計算機程序元件。
背景技術：
肺部手術正變得越來越微創。對于不同類型的介入，不再需要開胸手術。這大大減少了患者的不適，因為開胸手術需要相當大的切口。相反，在“視頻輔助胸腔鏡手術(vats)”(一種微創手術)中，通過小切口將內窺鏡引入胸腔。然后外科醫生被提供具有從內窺鏡傳輸到監視器的視頻圖像，同時操作儀器，可以通過附加的小切口將所述儀器引入。
vats可以用于腫瘤手術，例如用于惡性腫瘤的去除(肺葉切除術、節段切除術、楔形切除術等)，但也能夠出于其他原因使用，例如用于處置嚴重copd或其他病癥的減容手術。
肺部手術，開胸手術和微創vats二者的一個問題都是肺部放氣(deflation)。通常，肺部充滿胸腔。它們僅在胸腔容積增加時才能夠自我膨脹和擴張。在正常情況下，肺部內的壓力始終高于胸腔與肺部之間的胸膜空間內部的壓力。當通過施加所述切口打開胸部時，胸腔內部的壓力變得與氣道內部的壓力相同，并且彈性肺部組織塌陷。因此，在手術期間，肺部比手術前要小得多。
在許多其他外科學科(神經外科、骨科、脊柱外科、ent外科等)以及介入放射學中，已經開發了用于引導外科醫生或介入放射科醫師達到目標的技術方法。這些導航方法可能依賴于術前成像(例如ct、mri、3dx射線、pet等)或術中成像(超聲、x射線等)。在這些方法中，當使用術前成像時，感興趣解剖結構通常在成像和介入之間不會明顯地改變，從而損害導航的準確性。
由于放氣，肺部在術前成像和介入過程之間經歷大規模變形。這使得基于例如術前ct的導航變得困難。
至少在開放式手術中，外科醫生能夠觸診肺部以發現病變。在vats中，這是不可能的。
技術實現要素：
因此，可能需要替代的系統或方法來支持肺部成像或肺部介入。
本發明的目的通過獨立權利要求的主題解決，其中在從屬權利要求中并入了其他實施例。應當注意，以下描述的本發明的方面等同地適用于圖像處理方法、圖像處理系統、計算機程序元件和計算機可讀介質。
根據本發明的第一方面，提供一種用于圖像處理的系統，包括：
輸入接口，其被配置為接收：i)基于由第一成像模態采集的受試者的肺部的圖像數據的3d圖像體積的至少部分，以及ii)在肺部介入期間由第二成像模態采集的肺部的第二圖像；
層定義器，其被配置為在3d圖像體積中定義層對象，所述層對象包括表示肺部脈管和/或隔膜的圖案，作為肺部的表面的表示；
呈現器，其被配置為以3d方式呈現在呈現視圖處的層對象的至少部分以在顯示設備上進行可視化，以及
匹配器，其被配置為指示呈現器呈現層對象的視圖，以便基于表示性圖案來匹配第二圖像。
根據一個實施例，呈現限于層對象的至少部分，或者其中，呈現器被配置為以比體積的非層元素更高的貢獻來呈現層對象。
已經發現，肺部表面上的某些圖案(諸如源自外表面下方的隔膜的脈管或結構)是肺部上的某些空間視圖的特征。在下文中，這種圖案也被稱為“表示性圖案”。而且，已經發現所述圖案在由肺部的放氣導致的變形下在拓撲學上很大程度上是不變的。通過限制或至少強調層對象，能夠更好地集中對比度，而不是拉伸對比度以覆蓋處于太深而無法產生顯著視覺貢獻的組織。另外，通過使用穿透深度，能夠進一步利用確實對肺部的視覺外觀有貢獻的結構?？傊?，獲得了更可靠的基于圖像的導航，這對于肺部介入是特別有益的。處于充氣和放氣狀態的肺部的圖像能夠可靠且穩健地匹配，從而促進基于肺部圖像的導航的可靠性。
根據一個實施例，層定義器被配置為基于第二成像模態的詢問信號的穿透深度來定義所述層的厚度。該第二詢問信號被用于通過暴露于第二詢問信號來采集肺部的或其他相似的肺部的第二圖像。
第二詢問信號暴露可以從外部發生，第二詢問信號通過患者皮膚中的開口傳播到肺部。備選地，在已經通過開口將成像裝置的探頭引入患者體內并且相對于肺部適當定位之后，暴露可以從患者內部發生。
優選地，第一和第二成像模態或裝置均可操作為采集同一患者的肺部的圖像，但是在一些備選實施例中，第一成像模態或裝置用于從一個患者的肺部采集術前圖像，而術中第二圖像由另一位患者的肺部的第二成像模態或裝置來采集。
根據一個實施例，層定義器被配置為至少基于組織分割子體積來定義層對象。
根據一個實施例，層定義器被配置為基于到肺部分割子體積的預定義點的切面和切面沿著切面的局部法線方向的延伸來定義層對象。
層對象包括表示肺部脈管和/或隔膜的圖案。然后，根據實施例，呈現器被配置為以不同于其周圍的顏色或灰度值編碼來呈現圖案，其中，至少部分嵌入了圖案。
根據一個實施例，呈現器被配置為設置所呈現的層對象的透明度，以便在給定呈現位置的情況下遮擋層對象的相對的遠端部分，或者其中，層對象被修剪以從被呈現排除遠端部分。呈現位置具體地描述概念上的相機的位置，通過將幾何射線投射通過體積并投射到圖像平面上從所述概念上的相機執行呈現，在所述圖像平面上所呈現的視圖被投影為(2d)圖像。
根據一個實施例，系統包括顯示設備接口，所述顯示設備接口被配置為在顯示設備dd或兩個顯示設備上實現所呈現的視圖和第二圖像的可視化的顯示。
根據一個實施例，第二成像裝置能夠基于存在于肺部中的至少一種預定物質在第二圖像中賦予對比度，呈現器被配置為對對應于物質的視圖中的一部分進行顏色或灰度值編碼。
根據一個實施例，系統包括第一或第二成像模態或裝置和/或至少一個顯示設備中的至少一個。
根據第二方面，提供一種圖像處理方法，包括以下步驟：
接收i)基于由第一成像模態采集的圖像數據的受試者的肺部的3d圖像體積的至少部分，以及ii)由第二成像模態采集的肺部的第二圖像；
在3d圖像體積中定義層對象，所述層對象包括表示肺部脈管和/或隔膜的圖案，作為肺部的表面的表示；
基于表示性圖案，以3d方式呈現在呈現視圖處的層對象的至少部分，以在顯示設備上進行可視化，以便匹配第二圖像。
根據一個實施例，呈現限于層對象的至少部分，或者以比體積的非層元素更高的貢獻來完成層對象的呈現。
根據第三方面，提供一種計算機程序元件，當由至少一個處理單元運行時，所述計算機程序元件適于使處理單元執行根據前述實施例中的任何一個的方法。
根據第四方面，提供一種計算機可讀介質，在其上已經存儲有程序元件。
所提出的系統提供肺部介入中的導航和取向支持。盡管肺部在術前和在術中大范圍變形，但是所提出的系統仍允許可靠地將術前圖像信息(例如病變的位置和程度)與術中情況關聯。
所提出的系統和方法可以用于不同類型的肺部介入，如通過開胸術以及胸骨切開術或微創手術(例如vats)進行的開放式手術，對于肺部腫瘤成像或肺部介入是特別有利的。
定義
在下文中，將區分物理對象及其在相應圖像中的表示。例如，作為物理實體的肺部可以由總體積中的體素子集(例如子體積)表示。子體積可以表示肺部。這樣的表示性體素子集或子體積在本文中可以稱為“對象”，例如，“肺部對象”是對體素子集或子體積而言的肺部的圖像表示。因此，脈管對象是脈管的體積v的表示，依此類推。類似的約定可以用于2d圖像中的像素對象。
“詢問信號”是由第一和第二成像模態或裝置發出的那些信號，以采集關于特定解剖結構的知識。信號由合適的發射器或源發出，然后與組織相互作用。在這種交互之后或在其期間，信號由檢測器設備檢測并被處理成圖像。圖像可以揭示有關解剖結構的細節。詢問信號可以是諸如電磁的輻射形式，但是也可以設想諸如超聲的其他信號類型。用于成像目的的范例性的基于輻射的詢問信號包括x射線、射頻脈沖、伽馬輻射、可見光或紅外光或其他。
“3d”、“2d”分別是空間三維和二維的簡寫。
附圖說明
現在將參考以下附圖描述本發明的范例性實施例，其中：
圖1示出了成像布置的示意性框圖。
圖2示出了包括肺部的人類或哺乳動物呼吸系統各部分的矢狀視圖。
圖3圖示了圖像體積的一部分的呈現操作。
圖4示出了圖像處理的流程圖。
圖5示出了圖像處理方法的中間結果和最終結果；
圖6示出了人類肺部的范例性呈現；以及
圖7圖示了針對不同物質的光譜吸收曲線。
具體實施方式
參考圖1，示出了在實施例中本文所設想的成像布置ia的示意性框圖。
成像裝置ia具體地被配置用于對肺部lg介入的基于成像的支持。為此，成像布置ia包括優選地不同的兩個成像模態ia1和ia2。
成像模態中的一個ia1，在本文中也稱為術前成像模態ia1，其被配置為采集人類或動物患者pat的優選體積vl圖像集。體積圖像vl具體地包括感興趣區域roi的表示，所述感興趣區域roi具體地包括肺部lg。當在本文中提及肺部lg時，應當解釋為是指左肺部或右肺部或兩者?？梢栽诶眯g前成像器ia1成像之前或期間將造影劑施用于患者。
第二成像模態ia2，稱為術中成像模態ia2，其被配置為在肺部lg介入期間采集圖像im2。
廣義上，成像布置被配置為支持vats或類似的肺部介入。更具體地，成像布置ia支持操作者(即，實施介入的人)在介入期間導航肺部，以具體地找到特定的肺部部分，如病變或其他部分。布置ia可以具體地基于介入期間獲得的術前圖像vl和/或術中圖像來支持所述導航。
在一個實施例中，術前成像器ia1被配置用于具有電離輻射的透射成像。這樣的一個具體實施例是計算機斷層攝影成像(ct)，包括錐形射束ct、扇形射束或任何其他變體。不同于透射成像，在備選實施例中還設想發射成像，如pet(正電子發射斷層攝影)或spect(單光子發射計算機斷層攝影)。然而，還設想采用非電離輻射的成像模態，如mri(磁共振成像)或其他方式。
在實施例中的在本文主要設想的ct中，根據采集的患者pat的圖像數據(具體是投影圖像)來重建體積圖像數據vl。通過使x射線源和/或x射線檢測器至少圍繞感興趣區域(在這種情況下為肺部lg)旋轉來以旋轉方式采集投影圖像。在旋轉期間，從多個方向采集roi的投影圖像。為此，x射線源在lg位于的患者上軀干區域周圍繪制出不一定完整的弧線?；【€小于或等于180°通常就足夠了。然后使用數學重建算法(如濾波后的反投影或其他算法)將投影圖像處理為位于檢查區域中的切片圖像。檢查區域是在成像期間感興趣區域位于的空間的部分。通過沿著縱軸(成像軸z)橫向推進患者或x射線源以采集不同的投影圖像集，能夠從這樣的不同平面中的多個切片圖像中重建不同的投影圖像集合，從而形成體積圖像數據vl?；颊叩目v軸總體上與所述成像軸z對齊。體積圖像數據vl，在本文中也稱為圖像體積，包括肺部lg的3d圖像表示。
成像體積vl的圖像值以體素組織。每個體素由圖像值和空間中的3d位置定義，其對應于檢查區域中的點，因此對應于患者pat中的點。每個圖像值編碼與成像模態中使用的詢問信號的交互方式。對于ct或類似設備，詢問信號是x射線信號，所述x射線信號穿過患者并與其中的物質相互作用，隨后由投影圖像中的檢測器檢測，然后按所述方法處理為體素值。在這種情況下，給定體素處的圖像值可以與詢問x射線信號所經歷的衰減量有關。在其他成像模態下，詢問信號是不同的，并且圖像值表示其他相互作用原理。例如，在mri中，詢問信號由射頻脈沖形成，在發射成像中，詢問信號由患者體內示蹤物質的衰變事件產生的伽馬射線形成。
現在簡要地轉到術中成像模態ia2，這具體設想為內窺鏡成像單元。這包括可引入患者內的探頭pr。內窺鏡成像單元ia2還可以包括以有線或無線連接方式與探頭pr通信上耦合的操作單元ou。探頭pr通過患者胸部內的優選的小的切口被引入患者內，以進入肺部lg。更具體地，探頭pr被推進到肺部所處的胸腔內(更多信息在下面的圖2中示出)。內窺鏡成像單元隨后可以操作為采集患者內部(具體為肺部lg)的圖像。優選地，使用非電離輻射，如可見光、紅外(ir)光或近紅外(nir)光或其他。例如，諸如可見光的光信號被用作針對第二成像模態ia2的詢問信號。光信號由探頭發射并與肺部組織相互作用。然后，光被至少部分反射回來并在探頭處由探頭中的合適的光檢測器設備配準。一些光線可能會被組織吸收。光檢測器設備也可以獨立布置并遠離探頭pr。
然后，在檢測器設備處檢測到的反射出來的光信號可以被轉發到操作單元ou中的處理單元，以將其處理為能夠優選實時顯示在顯示設備dd上的圖像。以這種方式，生成以合適的采樣頻率采集的幀流。與通過ct或術前成像設備獲得的體積圖像相反，術中圖像通常不是3d的，因此被布置為像素值的二維陣列。同樣，每個像素值被布置在成像平面中的相應位置處(可通過行和列x，y尋址)，而圖像值描述與詢問信號(如可見光、ir、nir等)交互的方式。具體地，將反射回的光的量被配準并量化為相應的圖像值。
應當理解，根據由內窺鏡ia2使用的光的特征(如頻率)，詢問光具有一定的穿透深度d，以穿透到肺部組織中。因此，檢測到的光還可以提供位于在肺部lg的最外表面s下方d個單元深度的結構信息。應當理解，不同于內窺鏡設備，第二成像模態ia2可以被布置為超聲(us)成像器或其他成像模態。
成像布置ia包括能夠以硬件或軟件實現的圖像處理系統ips。例如，圖像處理系統可以在一個或多個處理器pu，如通用計算機、服務器或微控制器上運行。一個或多個處理器pu可以與術中ia2和/或術前成像模態ia1通信地耦合。圖像處理系統ips被配置為處理術前圖像vl和術中圖像im2。廣義地，并且如本文所提出的，在某些情況下由內窺鏡ia2采集的術中圖像im2對應于肺部組織lg上的給定視圖。然后通過匹配器m將該視圖與在成像體積vl上并因此在如由體積vl所表示的肺部上的對應視圖相匹配。
相應視圖由呈現器ren計算。具體地，由呈現器ren呈現的視圖在3d空間中對應于由術中成像器ia2提供的視圖。這樣計算出的視圖vp是隨后優選與術中圖像im2一起顯示在相同顯示單元dd上的不同窗格中或顯示在優選布置在手術室中的兩個或多個獨立顯示設備dd上的圖像。
在更詳細地解釋成像布置ia的操作(具體地成像處理系統ips的操作)之前，首先參考圖2a、b，其涉及在本文中利用的肺部lg解剖學的一些方面。圖2a是通過人類或動物肺部lg的矢狀平面的截面圖。
肺部lg包括左肺部ll和右肺部rl。肺部是呼吸系統的一部分。肺部在氣體交換中起著重要作用，其中，由新陳代謝生成的二氧化碳被排出，同時血液被補充氧氣，然后被供應到全身的各個部位。
呼吸系統具體地包括通過其吸入空氣的氣管tr。氣管tr分支成右主支氣管rpb和左主支氣管lpb。每個主支氣管分支都終止于在其中發生氣體交換的空氣袋或肺泡al的精細網絡。人類肺部lg由裂痕線fl構造成。人的左肺部ll由單個裂痕線fl構造成兩個葉，而人的右肺部rl由兩個裂痕線fl構造成三個葉。肺部lr、ll被布置在胸腔中。胸腔是由胸膜、胸腔上部襯里的薄膜和其下部的隔膜所界定的空間。通常，相對于胸腔中的周圍壓力，肺部處于充氣狀態，因為它們受到肺部內部空氣的輕微加壓。
主分支rpb、lpb各自終止的左肺部或右肺部中的肺泡al賦予肺部組織的特征性海綿狀質地。每個肺部rl、ll包括最外表面s。當在實施例中也設想執行開放氣管切開術時，該最外表面s原則上可以由操作者觸摸。肺泡al被包括動脈和靜脈的(血液)脈管的精細網絡所包裹。動脈可操作為將富含氧氣的血液從肺泡引導開進入系統中到其他器官，而靜脈向肺泡提供氧氣耗盡并富含二氧化碳的血液以影響氣體交換。通過氣管tr吸入的空氣最終進入由肺泡形成的小氣密室中。氣體交換通過擴散穿過肺泡的薄皮膚并進入脈管，具體地進入肺部動脈和肺部靜脈的毛細脈管而發生。
肺泡的結構使得出現被稱為第二肺部小葉的群。每個這樣的小葉由被稱為腺泡的多個肺泡亞群組成。腺泡中的每一個可以包含約5-12個肺泡。這樣的第二肺部小葉spl的示意性橫截面以放大方式在插圖特寫圖2b中示出。每個spl由肺部靜脈pv和肺部動脈pa饋送。每個腺泡中的肺泡是末端細支氣管tb的末端分支。spl的整體形狀是由被稱為小葉隔膜sp的連接組織的壁所描繪的不規則多面體的形狀。這些包含肺部靜脈以及淋巴成分。spl形成最大的肺部單元，所有氣道都在其中參與氣體交換。spl的整體大小約為1-2.5厘米。
隔膜sp的結締組織在肺部組織s的外表面上部分形成(不一定是六邊形)蜂窩結構。當人在開放式氣管切開術中看到肺部lg時或者當從體內摘除肺部時，肉眼可以看到這種不規則形狀的多邊形網絡。然而，隔膜實際上沒有升高表面s，而是位于下方較深的位置，但仍然可以看到，以賦予上述提到的不規則形狀的多邊形(蜂窩)網絡結構。
陷入肺泡的脈管網絡形成十字形圖案，尤其是那些位于肺部外表面s上的脈管。有助于表達這種圖案的一些脈管被放置成使得它們稍微升高外表面s，以給予其部分緩解的結構。
發明人已經觀察到，由隔膜spl或由脈管網絡圖案賦予的圖案，具體地兩個圖案一起，對于給定視圖是特征性的。因此，對于來自給定空間方向的肺部lg上的給定視圖，能夠將這些圖案中的任何一個或兩個都視為視覺簽名(signature)?？梢酝ㄟ^術中和術前圖像中的適當圖像結構來表達圖案。在本文中提出利用這些簽名圖案找到在圖像體積vl上的對應視圖vp。由呈現器ren找到并呈現體積vl上的視圖vp。視圖vp對應于由術中成像模態ia2提供的給定光學圖像ia2。視圖vp在下文中將被簡稱為“圖像vp”，其中p是呈現參數，如將在下面更詳細解釋的。圖案可以具體地由淺表脈管形成，即，那些位于足夠靠近肺部外表面s以在其上壓印緩解結構的脈管。
已經觀察到，不僅能夠通過由內窺鏡提供的光學圖像來捕獲圖案，而且能夠通過以約100μm的適當尺寸的切片厚度采集的ct切片圖像來捕獲圖案。具體地，在肺部的高分辨率圖像中能夠清楚地檢測靠近肺部表面s的脈管。小葉間隔膜本身相對較薄(約100μm厚度)，因此在高分辨率ct中更難以直接看到。在錐形射束ct中，分辨率得到了改善，并且可以更好地定義結構。
具體地，觀察到的脈管和/或小葉隔膜的圖案適合于在圖像結構匹配中的導航目的，因為已經發現它們在肺部變形下在拓撲上基本不變。更具體地，在介入期間，肺部在其在介入期間放氣時(具體地當在胸腔中施加切口以允許探頭pr的通道時)實質上是變形的。
通過識別術中圖像模態的詢問信號具有一定的穿透深度，所提出的術中圖像與術前圖像之間的基于圖像的匹配的魯棒性在本文中被增強。在范例性實施例中，可見光、ir或nir光穿透肺部組織直到一定深度d，該深度d取決于光的頻率。本文中提出，圖像處理系統ips在將視圖呈現在圖像體積上以與術中圖像匹配時考慮到該穿透深度d。
已經發現，受限于對應于體積vl中的這種穿透深度的層對象lo的這種呈現增加了匹配的魯棒性，并且因此出于至少兩個原因而提供了更好的導航：首先，呈現中的圖像對比度集中于重要區域上，即具有穿透深度的厚度的肺部的層。否則，圖像對比度可能被無用地浪費在優選地基于非電離輻射的術中成像器ia2中無論如何都不可見的圖像結構上。第二，能夠提高圖像匹配操作的魯棒性，因為通過識別組織穿透深度，由術中成像模態提供的圖像可以更充分地用作結構，所述結構遠離最外層s但仍在與外表面s的距離為d處的穿透深度層內，其仍然對由術中成像模態提供的圖像有貢獻。匹配能夠擴展為不僅考慮對應于表面的圖像結構，而且還考慮表示從表面s向下d單位深度處的肺部組織的結構。
此外，能夠加快呈現過程，因為需要處理的體素(即，層對象lo中的體素)更少(詳情參見圖3)，并且能夠更早結束呈現。無需處理超出層l的體積中的更深的體素。
繼續參考圖1的框圖，圖像處理系統ips包括層定義器ld，其優選通過圖像處理來定義或識別總體積vl中的層對象lo。層對象lo或子體積具有厚度為d的層l或“殼”的幾何結構。從拓撲上來說，粗略近似地，可以將已定義的厚度為d的層對象lo看作嵌入3d體積vl中的空心橢圓體。
層對象lo表示肺部組織lg，具體包括其外表面s，但也表示距表面s更深的肺部結構信息，直到由術中成像模態ia2的穿透深度給定的距離d。以這種方式，形成一個掏空的體積vl作為肺部層對象lo。
然后，廣義上，在ips的操作期間，在接口in處接收術中圖像im2和術前圖像體積vl的至少部分，但不必同時。層識別器ld隨后通過分割或以其他方式識別體積vl中對應于外表面s的以及對應于從肺部lg的外層s直到d個單位深度的組織的層對象lo。給定術中圖像im2，匹配器m找到對應于當前術中圖像im2中的圖像結構的層對象lo上的視圖vp?？梢酝ㄟ^如下更改呈現參數p直到找到這種匹配來完成該匹配。這將在下面更詳細地解釋。由匹配器m嘗試并評估匹配，并且一旦找到匹配項，對應的視圖vp優選作為圖像與當前術中圖像im2一起輸出。然后將兩個圖像vp，im2的圖像值轉發到圖形驅動器dv，所述圖形驅動器dv適當地實現兩個圖像vp，im2在一個或多個顯示設備dd上的顯示。
應當理解，層定義器ld的操作可以出現在比呈現器ren的呈現更早的階段。圖像處理系統ips可以被布置在分布式環境中，具體地，由一個計算單元pu運行層定義器ld，而呈現發生在另一個計算單元pu’處。如果部件(具體為呈現器ren和層定義器ld)例如在云架構中的不同計算單元(如不同的服務器或其他計算單元)上運行，則在實施例中可以設想，這些部件仍然能夠在合適的無線或有線網絡上通過適當的通信接口進行通信。
備選地，ips的所有的或實質上所有的部件都集成在同一計算單元上并在同一計算單元上運行。具體地，可以將層定義器ld和呈現器ren的功能融合到單個計算實體中。在這種集成實施例中，層定義器ld的層定義操作可以在呈現操作ren期間進行或與其同時進行。層定義可以被集成或構成呈現操作的一部分。
但是同樣，備選地，這兩種功能可以在時間上分離開，使得層定義器ld的層定義操作早于呈現出現。可以將層對象lo的定義作為適當的數據結構(如二進制掩碼)提供給呈現器rn?？梢栽诔尸F階段之前的準備階段中，由呈現器ren運行層定義器ld的功能，并且可以將所定義的層對象lo的規范存儲在合適的數據庫中。當在介入期間匹配和呈現操作開始時，即在輸入in處接收術中圖像時，根據需求檢索所存儲的對象層lo。
呈現操作可以作為在線操作實時完成，當在接口in處的圖像處理器ips接收術中圖像im2的流的同時出現所述呈現操作。利用在術中圖像im2的流中捕獲的每個新的幀來動態更新呈現器ren的呈現。網守單元(未示出)可以檢查每個幀與先前的幀是否存在超過用戶可定義的閾值的差異?？梢愿鶕蓚€連續的幀形成差分圖像以量化所述差異。如果沒有這種差異，則將當前呈現保持為安全的cpu時間。僅當網守判斷差異超過閾值時，才可以觸發呈現的重新計算。
現在參考圖3，其圖示了呈現器ren的操作。呈現總體上是這樣一種操作，其中處理體積化體積vl中的體素以產生優選的平面圖像，所述平面圖像對應于體積的視圖vp，具體對應于層對象lo的視圖，所述視圖來自vp已嵌入其中的虛擬空間中的概念上的相機cm的空間位置p。相機位置和空間二者都能夠表示為存儲在計算單元pu的存儲器中的數據。呈現操作優選地由諸如gpu(圖形處理單元)或tpu(張量處理單元)之類的多核處理器執行。相機cm的位置p由在體積v位于其中的公共坐標系cs中定義的位置矢量p示意性指示。
視圖vp是圖像平面中的2d圖像。通過從在p處的概念上的相機位置投射通過體積vl的幾何射線gr(在圖3中僅以虛線示出)來計算視圖vp。然后，根據轉換函數t對與給定幾何射線gr相交的體素值進行采樣和處理，以產生針對像素位置px處的視圖vp的相應圖像值。根據圖像vp的期望大小以及圖像平面與相機位置p之間的距離，能夠定義涵蓋所有幾何射線的圖像錐ic。錐體示意性地指示為一對或集中于一點的虛線。在計算視圖vp中的像素px時，僅考慮體積中與圖像錐ic相交的體素。然后，針對錐體ic中的所有射線gr的圖像值形成視圖vp。
如上所述，轉換函數t處理在呈現中與給定幾何射線gr相交的體素。在一個實施例中，轉換函數將顏色或灰度值和透明度分配給給定的體素值。這能夠通過沿給定射線gr形成所有體素值的加權和來實現，可以將其在形式上寫為：
其中，i是掩碼(mask)的指示函數，
λ是透明度權重，以及
m(.)是顏色或灰度值映射。
即，每個體素值vxi乘以表示體素值的透明度的權重λ。換言之，透明度λ定義相應體素值對視圖vp處的最終圖像點px的貢獻的程度。本文中設想了實現不同呈現方案的寬范圍的不同的轉換函數t，如mip、表面呈現、行進立方體算法等。肺部lg以矢狀面橫截面示出體積中。
如前所述，本文提出將呈現操作限制在位于上述引入的具有厚度d的層lo中的體素上。層對象lo中的體素表示位于外表面上并且從表面s直到深度d的肺部組織。層對象lo的厚度d對應于所使用的術中成像裝置ai2的穿透深度。在實施例中，該成像裝置是內窺鏡，其穿透深度由用于產生圖像的詢問光的頻率和強度定義。
位于層對象lo的內部區域ir中的體素在呈現中本質上會被忽略，因此，在給定的相機位置p的情況下，位于層對象lo的遠端的遠端體素vxd也被忽略。只有其值對呈現有貢獻的近端體素vxp。應當理解，遠端和近端體素的概念隨著相機位置p而改變。換句話說，相對于給定相機位置是近端的相機位置可以是相對于另一相機位置p’的遠端體素。如果在給定相機位置的情況下，所述部分將需要幾何射線兩次與層對象lo相交，以便穿過所述部分，則該部分可以被稱為“遠端”。
在給定相機位置p的呈現中，位于層對象lo外部和層對象lo的遠端部分的體素都被忽略。層對象外部的體素稱為非層體素。這些體素具體地包括在由對象層lo圍繞的內部區域ir中的體素。確保層對象lo的遠端部分中的遠端體素和內部區域ir中的體素被忽略的一種方式是通過將其透明度設置為不透明。例如，這能夠通過將相應體素乘以透明度系數λ＝0來完成，以在本質上消除其對視圖vp的平面中的像素px的貢獻。
然而，這是一種常規問題，可以使用其他數值方案來消除遠端體素和內部區域體素。能夠通過可由上述層定義器ld實現的層定義操作來預定義層對象lo內部的體素的識別。完成該操作的一種方式是定義二進制掩碼。二進制掩碼是一種包括0和1數據結構，其將零和一分配給相應體素位置。因此，二進制掩碼是二進制標量字段。在一個掩碼實施例中，呈現器將掩碼的條目作為因子包括在轉換函數t中，從而自動消除近端層對象lo外部的不想要的體素。這些條目被表示為集成在轉換函數表達式eq(1)中的指示函數i(.)的值。
在另一個實施例中，在呈現來自給定相機位置p的層對象lo之前對其進行修剪。在該實施例中，簡單地丟棄層對象的內部區域ir和遠端部分，僅留下對象層lo的部分，即近端的一個，其位于要呈現的圖像錐ic內。
在又一實施例中，由于穿透深度是已知的，因此在沿著每個幾何射線給定多個體素(定義呈現長度)之后，呈現終止?？梢愿鶕阎拇┩干疃?以適當的長度尺寸指明的，例如mm，cm等)和圖像的分辨率、對應于穿透深度d的體素的數量來計算呈現長度。對于不垂直于對象層的外表面的射線gr，可能需要通過諸如cos(α)之類的因子來調整呈現長度，其中α是測量與法線入射的偏差的角度。
不同于如上所述的完全忽略非層體素，還設想該實施例的模糊版本。在該模糊化的實施例中，由呈現器ren給予非層體素和/或遠端部分體素vxd除“0”以外的至少一些貢獻，但是其中，至少給予層對象lo的近端體素比非層體素和/或遠端部分vxd體素更高的貢獻。
下面將具體地參考圖4，在步驟s420中更詳細地討論用于定義對象層l0的許多不同的實施例。
具體地，圖4示出了上述成像處理系統ips的基礎操作的圖像處理方法的流程圖。然而，應當理解，以下方法步驟也可以理解為單獨的教導，而不必與上述圖1中所述的圖像處理系統ips的結構聯系在一起。
在步驟s410處，與由內窺鏡、超聲或其他基于非電離輻射的成像模態采集的術中圖像im2一起接收患者的術前體積圖像vl，具體地患者pat的肺部lg的術前體積圖像vl。術中圖像和術前圖像不必同時接收和處理。
首先，參考下一步驟s420，如下對術前圖像v進行處理，在步驟s420中，在體積中定義層對象lo，其具體地表示肺部lg的外表面以及位于離開外表面s并在外表面s下方直至d個長度單位的其他肺部組織的外表面。因此，層對象lo具有對應于d的皮膚厚度。厚度d對應于，即基本上等于，由諸如內窺鏡的術中成像模態所使用的輻射的穿透深度d。備選地，層對象lo的厚度可以小于穿透深度。對象層外部的體素，即不位于厚度d內的體素，不構成對象層的部分。從這個意義上說，層對象(layerobjection)可以被概念化為具有挖空的殼體結構的體素子體積。
在步驟s420的一個實施例中，執行將肺部組織分割成子體積的各個階段，從中導出掩碼圖像，其識別具有所請求的厚度d的期望肺部對象lo。由于術前成像器ia1的分辨率是已知的，并且在合適的長度尺寸(即mm或cm)中的理論穿透深度也是已知的，因此所需的厚度可以容易地轉換為對應的體素序列。因此，所述穿透深度能夠由多個體素而不是物理長度尺寸來表達。
結合參考圖5，能夠更容易地理解這些步驟，圖5中示出了范例性中間圖像a)—f)，所述中間圖像作為某些子步驟中的中間和最終結果而出現。更詳細地，在實施例中，步驟s420包括以下子步驟1-5：
在子步驟1中，在ct圖像中執行肺部l的分割以輸出肺部對象。這可以通過創建肺部掩碼來完成，其將“1”或“0”分配給體素位置。根據一種常規，“1”指示相應的體素確實表示肺部，而“0”指示其不表示肺部?？梢允褂闷渌Ｒ幋妗Ｎ覀兛梢詫⑦@種掩碼稱為“肺部掩碼”。
在子步驟2中，執行對肺部掩碼的圖像形態腐蝕，以移除表示非肺部組織(諸如不需要的胸部壁)的可能痕跡。
在子步驟3中，基于由術中模態ia2使用的術中詢問信號(例如(可見)光、ir、nir等)的穿透深度d，執行第二形態腐蝕，以創建第二個肺部掩碼，其小于子步驟2中獲得的肺部掩碼。
在子步驟4中，從第一掩碼減去第二掩碼以獲得表面層掩碼(用于層對象的掩碼)。這種差異掩碼包括體素，當暴露于術中成像信號時，其有助于肺部的視覺外觀。
子步驟5，然后將針對層對象lo的表面層掩碼用于掩碼原始ct圖像的那些體素，其有助于視覺外觀。
圖5a示出了子步驟1的分割。該分割仍然可以包括胸部壁的殘留物，然后通過如圖5b所示的子步驟2的可選的后續分割來移除所述殘留物。在子步驟3的腐蝕或“挖空”操作之后，殼體結構(局部視圖)結果如圖5c所示。子步驟4的結果示出在圖5d中，其中層對象lo現在以所采集的穿透深度d出現，并且最終在最后的子步驟5之后，圖5e和5f中示出了層對象lo的部分。圖5e中的白色部分以及圖5f中的黑色部分和白色部分表示不形成層對象lo的部分的非層體素。
除了基于子步驟1-5的用于肺部層對象定義的第一實施例之外或代替第一實施例，本文中還設想了使用體積重新格式化技術的其他實施例。更具體地，在標準格式化中，體積vl中的切片圖像的平面垂直于成像軸z。通過重新格式化算法，能夠以將其重新格式化以生成新的切片圖像，每個切片圖像都位于與不同于軸線z的任何期望方向z’垂直的不同圖像平面中。此外，切片圖像可以不是必須位于平面中，而是可以位于相應的曲面中。因此，獲得一系列彎曲的表面，這些彎曲表面能夠被認為是沿著任何用戶定義的法線方向(可能與z不同)通過體積vl傳播。
在第二實施例中設想了在初始體積vl內的彎曲表面上的這種重新格式化。更詳細地，步驟s420的第二實施例具體包括以下一些或全部子步驟，這些子步驟可由諸如肺部定義器ld的硬件或軟件部件來實施。
同樣，如前所述，在第一子步驟1中，執行肺部分割以獲得作為子體積的肺部對象。
在子步驟2中，識別在感興趣位置(病變，例如腫瘤等)的某個鄰域內的肺部對象的表面上的點。通過調整球體的直徑或半徑，由所述球體或類似形狀定義的鄰域可以是用戶可定義的。在實施例中，表面上的點可以最接近感興趣位置。
在子步驟3中，在圍繞如在子步驟2中所識別的表面中心點的某個鄰域(例如，球體)中創建曲線化的重新格式化的圖像體積。這能夠通過采用在中心點處的肺部壁的法線向量n，然后沿著垂直于法線向量n的正交方向u和v以彎曲方式跟隨肺部表面來實現。然后，u、v跨過曲線化的重新格式化表面，使得二維重新格式化的每個點都是肺部對象表面的一部分。因此，能夠將重新格式化平面中的每個點(u，v)映射到圖像體積中的笛卡爾點(x，y，z)。
現在，已經定義了曲線化的平面，在子步驟4中，人們可以沿著圖像體積中法線方向n的采樣射線在重新格式化的平面中針對每個位置(u，v)對體素值采樣幾毫米，直到達到視覺穿透深度d。如本文所用，“采樣”是指在(x，y，z)圖像體積網格中查找最接近的體素的值，或者從最接近的體素的鄰域內插入點值(例如三線或三次樣條插值)的過程。沿著每個采樣射線的所有值被組合(見下文)為單一的亮度和顏色，然后在曲線化的重新格式化中的位置(u，v)(采樣射線的起點)處呈現所述亮度或顏色。
現在轉到層對象lo呈現的步驟s430和所呈現的視圖與術中圖像匹配s440，所述呈現和匹配被一致地執行：換言之，以與在步驟s410處接收到的當前術中圖像相匹配s440的方式，在步驟s430處呈現所定義的肺部對象lo上的視圖或術中圖像vp。呈現操作s430的結果是肺部表面s的虛擬呈現，在實施例中包括淺脈管和小葉間隔膜的圖案。以這種方式，賦予諸如脈管和/或隔膜結構之類的特征的圖案可以以明顯抵消可以以優選均質的周圍顏色(諸如紅色或其他顏色)呈現的其余肺部組織的顏色編碼的顏色編碼來呈現。因此，賦予結構(例如脈管和隔膜結構)的圖案可以表現為至少部分嵌入背景中的分立元素，其對除隔膜結構和/或脈管以外的其余組織進行顏色編碼。
在層對象lo的體積呈現中，優選地使用在視覺上匹配肺部lg的透明度和顏色。例如，對于可見光，體積中的深色體素可以被呈現為略帶紅色的肉色，而通常對應于脈管的體積中的明亮體素可以呈現為深色，例如黑色等。如以上在圖3處所描述的那樣執行呈現步驟s430。非層體素被忽略，因此呈現步驟能夠區分層體素∈lo和非層體素
呈現步驟s430可以包括呈現曲線化的重新格式化。能夠在重新使用重新格式化體積的同時，在交互時間內調整呈現參數p。在以上任一實施例中，可以在適當的(u，v)位置處以不同的顏色執行諸如所討論的腫瘤之類的感興趣位置的疊加呈現，以便指示相對于表面圖案的位置。
在呈現期間能夠考慮到，不同的組織在所選光譜范圍內具有不同的可見性。
在實施例中，能夠將附加信息添加到該呈現。這種附加信息可以包括計劃數據，諸如計劃切割的平面、病變位置和病變程度等。由于手術計劃以及腫瘤分割都是在原始ct圖像上完成，因此可以不必進行這種呈現的配準。
可以通過沿著圍繞層對象lo的概念圓形改變相機位置p，同時沿著該圓形以適當的增量行進來完成匹配操作s440。然后將這樣采集的每個視圖vp與術中圖像im2進行比較。比較可以基于適當的相似性度量。相似性度量的實施例可以是基于歐幾里得的范數，如平方和求和并且可能根據需要加權和/或歸一化的單像素(pixel-wise)的差異。其他相似性度量，諸如基于概率的、像互信息的(具體基于熵的)信息論度量、交叉熵或離散kullback-leibler散度等也包括在本文內。
如果發現視圖vp與當前提供的術中圖像偏離小于用戶可定義的或固定的閾值，則在步驟s450處輸出該視圖并優選與術中圖像im2一起進行顯示。視圖vp和圖像im2可以顯示在單個顯示單元上，或者分別顯示在兩個顯示單元上。不同于如上所述的通過步進通過一組離散的相機圖像位置pj逐步行進以找到最佳視圖，還可以在基于參數p的目標函數方面將以上內容重新構造為優化問題。然后可以通過任何合適的優化算法來優化目標函數，以便優化(如最小化或最大化)目標函數。視圖參數具體地定義相機cm在空間中的位置和/或圖像錐ic的寬度。
目標函數f(·)具體可以像之前一樣包括距離度量，所述距離度量測量當前術中圖像im2與參數化視圖之間的差異或偏差。優化問題可以在形式上寫為：
argminpf(p)＝d(im2,vp)+reg(2)
參數p是要針對距離度量d(·,·)和可選的正則項reg(·)進行優化的變量，reg(·)可能取決于p或im2。
可以通過基于特征描述符(fd)的表面特征檢測算法來執行匹配。在實施例中，本文中設想的基于fd的算法包括sift(尺度不變特征變換)或surf或其基于hough轉換的其他變體。其他實施例包括gloh或hog。這些基于fd的算法的一個優點是無需指定特定的對應對，因為在當前情況下，由于充氣/放氣引起肺部在術前和術中階段之間嚴重變形，這種特征對方法很可能會失敗。
fd類型算法的操作能夠大致描述為兩步方法：首先是檢測步驟，其次是特征描述符提取步驟。在第一個步驟中，使用檢測技術(例如，斑點檢測器)來檢測潛在感興趣位置(本文中稱為“候選位置”或“候選點”)的集合。然后在第二個步驟(特征提取)中，分析圖像中這樣收集的候選位置的圖像鄰域(例如，n維矩形或n維球體，n≥2)。在這種分析中，構造特征描述符，其捕獲感興趣的圖像結構，如具體的圖像值分布。特征描述符優選能夠以合適的大小(或“強度”)量化，所述合適的大小優選在旋轉和/或縮放下不變。然后將來自所呈現的視圖vp的特征描述符和當前術中圖像im2進行比較，以找到優選地最佳可能的匹配。即使所有各個候選位置的最佳可能匹配也具有某些殘差(差異)。所有匹配的這些殘差之和隨后給出單個測試視圖vp的目標函數f(·)的值。對所有測試視圖vp重復匹配過程，以找到最佳視圖vp。
在所提出的方法的匹配中，肺部表面呈現vp可以實質上被彎曲，以匹配當前術中圖像，如2d內窺鏡圖像。如上所述，確定最佳彎曲的一個可能的實施例是匹配特征點對。但是，另一實施例工作能夠完全在沒有基于fd的點對，而是具有所謂的非參數2d圖像配準的情況下工作。2d圖像配準確定平滑的位移矢量場，使得能夠將兩個圖像(vp和im2)覆蓋到盡可能高的位置，例如相互信息或交叉熵。然后將其用作用于目標函數f(.)的值。最佳彎曲矢量場是在某些規則化邊界條件下確定的，如平滑度和最小折彎能量(例如，所謂的薄板樣條)。因此，在所提出的匹配中，可以不需要像在某些當前的基于圖像配準的方法中那樣提取特征點對。
然而，還設想其他實施例，不是必須如上所述是自動的，而是手動或半手動的。例如，用戶簡單地滾動不同的視圖位置來調整最佳適合當前顯示的術中圖像的視圖。在該實施例中，例如，觀看者例如通過在顯示當前呈現的觸摸屏上執行諸如旋轉或其他手勢的觸摸屏動作來改變相機位置并實現相應的呈現。可以使用諸如計算機鼠標之類的指針工具來觸發各種呈現，直到根據操作者的臨時判斷找到最佳匹配為止。這些手動或半自動的實施例可以隨后包括匹配器m或者匹配器可以仍然存在，并且操作用戶找到要呈現的最佳匹配視圖。可以發出視覺或聽覺指示以指示已經找到匹配。例如，如在設備dd上顯示的呈現vp的邊界部分可以閃爍或改變顏色以指示最佳匹配。可選擇地或附加地，一旦已經找到匹配，就可以顯示諸如“match”等的文本。
在上述任一實施例中，可以例如在vats期間將計劃數據自動覆蓋到術中圖像和/或所呈現的視圖vp上。在介入期間，用戶(例如，外科醫生)可以訪問呈現vp，并且優選地可以訪問來自術前計劃階段的附加信息。然后，用戶可以在心理上將他或她能夠直接在真實肺部上看到的表面結構與呈現進行匹配(“心理配準”)。因此，他能夠根據計劃執行介入，例如沿計劃的切割線進行切割。手術計劃數據，例如切割線可以覆蓋在術中圖像上。通常，這種2d表面信息就足夠了，例如對于楔形切除術。如果需要3d計劃信息，則能夠基于空間中的表面特征的測量位置，將肺部通氣的生物力學模型用于肺部的3d匹配。
圖6示出了由步驟s420的第一實施例獲得的范例性呈現vp。能夠看出，在肺部對象lo的呈現中，表面脈管結構清晰可見。
在所有實施例中，盡管非層狀體素被忽略，但是在實施例中，用戶仍然可以有請求更深的肺部結構的選擇。然后可以與層對象的呈現交替顯示或附加顯示這些內容。除了諸如圖6中所示的范例的層對象lo呈現之外，還可以示出其他解剖結構。
在內窺鏡實施例中，不同于使用對可見光譜敏感的檢測器設備，可以替代使用光譜的其他部分中的光線。例如，在實施例中，使用近紅外(nir)光，因為其具有在組織中的穿透深度d高于在可見光中的穿透深度的優點。所以，nir圖像因此能夠捕獲附加特征，從而導致以后更好的特征匹配。
為了增加對比度，人們能夠例如通過使用用于照射的窄帶irled來使用窄帶ir光(代替白光)。
理想地，所使用的波長與重要結構的吸收最大值匹配。圖7描繪了可見光和近紅外區域中水和血紅蛋白的吸收曲線。存在能夠用于檢測具有高對比度的脈管的清晰的吸收峰。由于氧合和脫氧血紅蛋白的吸收曲線不同，因此還可能將靜脈與動脈區分開。這種光譜成像能力可以用于在呈現vp中或在內窺鏡圖像im2的可視化中分別賦予靜脈和動脈不同的對比度或顏色。因此，基于在成像期間存在的主要物質，如氧合和脫氧形式的血紅蛋白，在視圖vp中和/或在術中圖像im2中分別將脈管區分為動脈和靜脈。
在實施例中還設想各種其他細化和附加特征。外科醫生/放射科醫生可以使用術前圖像體積im1來識別或定位該圖像中的病變或其他感興趣的特征。
除了脈管和/或隔膜對象(如淋巴結)之外，還可以通過包括其他解剖特征來增強呈現vp。
外科醫生/放射科醫生能夠對介入進行計劃，例如通過定義用于楔形切除術的病變邊緣或切割線。重要標記(病變、邊緣、切割線等)的位置可以基于所識別的表面特征來估計(“心理配準”)。對于外科醫生的取向的提示，例如病變或計劃的切割線的位置可以作為圖形部件覆蓋在術中圖像im2上，然后這些部件可以包括在呈現中。
圖像處理系統ips的部件可以實現為單個軟件套裝中的軟件模塊或例程，并且可以在通用計算單元pu上運行，如與成像器ia1或ia2相關聯的工作站或與一組成像器ia1、ia2相關聯的服務器計算機?？蛇x擇地，圖像處理系統ips的部件可以布置在分布式架構中并且被連接在合適的通信網絡中。
備選地，一些或所有部件可以布置在硬件中，如適當編程的fpga(現場可編程門陣列)或硬連線ic芯片。
本文所公開的ips的一個或多個特征可以被配置或實施為在計算機可讀介質內編碼的電路/以在計算機可讀介質內編碼的電路來配置或實施，和/或它們的組合來配置和實施。電路可以包括分立和/或集成電路、專用集成電路(asic)、芯片上系統(soc)、及其組合、機器、計算機系統、處理器和存儲器、計算機程序。
在本發明的另一范例性實施例中，提供一種計算機程序或計算機程序元件，其特征在于適于在適當的系統上執行根據前述實施例之一的方法的方法步驟。
因此，計算機程序元件可以存儲在計算機單元上，所述計算機單元也可能是本發明的實施例的一部分。該計算單元可以適于執行或促使執行上述方法的步驟。而且，它可以適于操作上述裝置的部件。計算單元能夠適于自動操作和/或執行用戶的命令。可以將計算機程序加載到數據處理器的工作存儲器中。數據處理器因此可以配備為執行本發明的方法。
本發明的該示例性實施例涵蓋了從一開始就使用本發明的計算機程序和通過更新將現有程序轉變為使用本發明的程序的計算機程序。
此外，計算機程序元件可能能夠提供所有必要的步驟，以實現如上所述的方法的范例性實施例的過程。
根據本發明的另一范例性實施例，提出一種計算機可讀介質，如cd-rom，其中，計算機可讀介質具有存儲在其上的計算機程序元件，所述計算機程序元件由前面的部分描述。
計算機程序可以存儲和/或分布在合適的介質(具體地但并非必須是非暫時性介質)上，如與其他硬件一起提供或作為其他硬件的一部分提供的光學存儲介質或固態介質，但是也可以其他形式分布，如經由互聯網或其他有線或無線電信系統。
然而，計算機程序也可以存在于類似萬維網的網絡上，并且能夠從這樣的網絡下載到數據處理器的工作存儲器中。根據本發明的另一范例性實施例，提供一種用于使計算機程序元件可供下載的介質，所述計算機程序元件被布置為執行根據本發明的前述實施例之一的方法。
必須注意，參考不同的主題描述了本發明的實施例。具體地，參考方法類型權利要求描述了一些實施例，參考設備類型權利要求描述了其他實施例。然而，本領域普通技術人員將從以上和以下描述中得出，除非另有說明，否則除了屬于一種類型的主題的特征的任何組合之外，與不同主題有關的特征之間的任何組合也被認為在本申請被公開。但是，能夠組合所有特征以提供協同效果，所述協同效果不僅僅是這些特征的簡單求和。
盡管已經在附圖和前面的描述中詳細圖示和描述了本發明，但是這樣的圖示和描述應當被認為是示意性或范例性的而不是限制性的。本發明不限于所公開的實施例。通過研究附圖、公開內容和從屬權利要求，本領域技術人員在實踐所要求保護的發明時可以理解和實現所公開的實施例的其他變型。
在權利要求中，詞語“包括”不排除其他元件或步驟，不定冠詞“一”或“一個”不排除多個。單個處理器或其他單元可以實現權利要求中列舉的若干項的功能。在互不相同的從屬權利要求中記載某些措施這一事實，并不表示不能有利地利用這些措施的組合。權利要求中的任何附圖標記都不應被解釋為限制范圍。