圖像處理設備和圖像處理方法

圖像處理設備和圖像處理方法
【專利摘要】公開了圖像處理設備和方法。圖像處理設備包括：第一檢測單元，從圖像檢測邊界；提取單元，從邊界提取直線段；第二檢測單元，檢測跨越提取的直線段定位的附近像素的像素值之間的差大于預定第一值、或大于等于預定第一值的區域；分類單元，將檢測到的區域中的直線段分類成四邊形的四個邊；第三檢測單元，檢測四個邊的外部區域中的顏色或密度；選擇單元，從可能形成四邊形的四個邊的組合中選擇這樣的組合：對應于組合中的直線段且檢測到的顏色或密度之間的差小于等于預定第二值、或小于預定第二值；第四檢測單元，檢測組合中的直線段延伸時獲得的四個頂點的坐標，從所選組合中檢測滿足條件的組合；校正單元，將檢測到的組合形成的四邊形校正為矩形。
【專利說明】圖像處理設備和圖像處理方法
【技術領域】
[0001]本發明涉及一種圖像處理設備和一種圖像處理方法。
【背景技術】
[0002]日本未審查專利申請公布N0.2006-048626公開了一種圖像處理設備。該圖像處理設備的目的是不將臺板圖像的輪廓錯誤地判定為文檔圖像的輪廓，而是正確地獲得文檔圖像的輪廓。圖像處理設備預先捕獲處于文檔未置于臺板上的狀態中的圖像并獲得比較圖像，該圖像處理設備將處于文檔置于臺板上的狀態中的尺寸縮小圖像與比較圖像進行比較并獲得差分圖像(differential image)，并且該圖像處理設備通過使用差分圖像來消除臺板圖像的輪廓并獲得文檔圖像的輪廓。
[0003]日本未審查專利申請公布N0.2012-014430描述了這樣的問題:當諸如照相機的圖像捕獲裝置捕獲文檔圖像時，由于傾斜而在文檔處出現梯形失真，不得不檢測文檔框以校正失真；然而，如果多個直線成分出現在文檔區域的外部，則難以估計文檔框。因此，該公布公開了:當從直線成分的組合來估計文檔框候選時，通過考慮在正交于直線的方向上的顏色梯度，能夠減小文檔框候選的數量。

【發明內容】

[0004]本發明的目的是提供一種圖像處理設備和一種圖像處理方法。當從圖像提取四邊形區域并將四邊形校正至矩形時，如果四邊形中的一個邊區域相對于另一邊區域的顏色或密度(density，濃度)具有不同顏色或不同密度，則該圖像處理設備和該圖像處理方法均防止錯誤提取四邊形。
[0005]為實現該目的，通過本發明的以下方面來刻畫本發明的特征。根據本發明的第一方面，一種圖像處理設備包括:第一檢測單元，其從圖像檢測邊界；提取單元，其從由第一檢測單元檢測到的邊界提取直線段；第二檢測單元，其檢測這樣的區域:在該區域中，跨越由提取單元提取的直線段而定位的附近像素的像素值之間的差大于預定第一值、或者等于或大于預定第一值；分類單元，其將由第二檢測單元檢測到的區域中的直線段分類成四邊形的四個邊；第三檢測單元，其檢測由分類單元分類的四個邊的外部區域中的顏色或密度；選擇單元，其從可能形成四邊形的四個邊的組合中選擇這樣的組合:對應于組合中的直線段的且由第三檢測單元檢測到的顏色或密度之間的差等于或小于預定第二值、或者小于預定第二值；第四檢測單元，其檢測當組合中的直線段延伸時所獲得的四個頂點的坐標，并且從由選擇單元所選擇的組合中檢測由相應四個坐標形成的四邊形的面積滿足預定條件的組合；以及校正單元，其將通過由第四檢測單元檢測到的組合形成的四邊形校正為矩形。
[0006]根據本發明的第二方面，圖像處理設備還可以包括消除單元，如果一個邊的直線段的端點和可能與這一個邊的直線段相交的兩個邊的直線段的端點之間的距離大于預定第三值、或者等于或大于預定第三值，則消除單元從由分類單元分類成四個邊的直線段中消除一個邊的直線段。第三檢測單元和選擇單元可能不會將由消除單元消除的直線段作為目標。
[0007]根據本發明的第三方面，圖像處理設備還可以包括設置單元，設置單元根據選擇背景區域的顏色的變化的操作者的操作來設定由選擇單元所使用的預定第二值。
[0008]本發明的第四方面可以是這樣的圖像處理設備:其中，如果所選擇的組合形成的四邊形的面積占圖像的比率等于或小于預定第四值、或者小于預定第四值，則選擇單元改變預定第二值并且再次執行選擇處理。
[0009]本發明的第五方面可以是這樣的圖像處理設備:其中，第三檢測單元檢測四個邊的端點附近的外部區域中的顏色或密度，并且其中，選擇單元將由兩個相鄰邊形成的頂點附近的外部區域中的通過第三檢測單元檢測到的顏色或密度作為目標。
[0010]本發明的第六方面可以是這樣的圖像處理設備:其中，第三檢測單元檢測三個頂點附近或兩個對角頂點附近的外部區域中的顏色或密度。
[0011]根據本發明的第七方面，一種圖像處理方法包括:從圖像檢測邊界；從邊界提取直線段；檢測這樣的區域:在該區域中，跨越直線段而定位的附近像素的像素值之間的差大于預定第一值、或者等于或大于預定第一值；將區域中的直線段分類成四邊形的四個邊；檢測四個邊的外部區域中的顏色或密度；從可能形成四邊形的四個邊的組合中選擇這樣的組合:對應于組合中的直線段的且在顏色或密度之間的差等于或小于預定第二值、或者小于預定第二值；從所說多個組合中檢測這樣的組合:當該組合中的直線段延伸時所獲得的四個頂點的坐標、以及由該相應四個坐標形成的四邊形的面積滿足預定條件；以及將通過組合形成的四邊形校正為矩形。
[0012]利用根據第一方面的圖像處理設備，當從圖像提取四邊形的區域并且將四邊形校正為矩形時，如果四邊形中的邊區域相對于另一個邊區域的顏色或密度具有不同顏色或不同密度，則可以防止四邊形的錯誤提取。
[0013]利用根據第二方面的圖像處理設備，不形成矩形的直線段可被消除，并且之后可以執行處理。
[0014]利用根據第三方面的圖像處理設備，可以根據由選擇背景區域的顏色變化的操作者的操作設定預定第二值。
[0015]利用根據第四方面的圖像處理設備，如果所選擇的四邊形的面積與圖像的比率不合適，則可以再次選擇四邊形。
[0016]利用根據第五方面的圖像處理設備，可以通過使用各邊端點附近的外部區域中的顏色或密度來選擇四邊形。
[0017]利用根據第六方面的圖像處理設備，可以執行選擇處理，而無需檢測四個頂點的外部區域中的顏色或密度。
[0018]利用根據第七方面的圖像處理方法，當從圖像提取四邊形的區域并且將四邊形校正為矩形時，如果四邊形中的邊區域相對于另一個邊區域的顏色或密度具有不同顏色或不同密度，則可以防止四邊形的錯誤提取。
【專利附圖】

【附圖說明】
[0019]將基于以下附圖對本發明的示例性實施例進行詳細說明，其中:
[0020]圖1是根據第一示例性實施例的配置示例的概念模塊配置圖。[0021]圖2是示出實施示例性實施例的圖像處理設備的硬件配置示例的框圖。
[0022]圖3是示出根據第一示例性實施例的處理示例的流程圖。
[0023]圖4是示出根據第一示例性實施例的處理示例的解釋性視圖。
[0024]圖5是示出根據第一示例性實施例的處理示例的解釋性視圖。
[0025]圖6是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段提取模塊)。
[0026]圖7是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段提取模塊)。
[0027]圖8是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段提取模塊)。
[0028]圖9A至圖9D是示出根據第一示例性實施例的處理示例的解釋性視圖(階梯邊緣檢測模塊)。
[0029]圖10是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段分類模塊)。
[0030]圖11是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段分類模塊)。
[0031]圖12是示出根據第一示例性實施例的處理示例的解釋性視圖(直線段分類模塊)。
[0032]圖13是示出根據第一示例性實施例的處理示例的解釋性視圖(附近顏色檢測模塊)。
[0033]圖14是示出根據第一示例性實施例的處理示例的解釋性視圖(附近顏色檢測模塊)。
[0034]圖15是示出線段信息表的數據結構示例的解釋性視圖。
[0035]圖16是示出根據第一示例性實施例的處理示例的解釋性視圖(四邊形候選選擇模塊)。
[0036]圖17是示出根據第一示例性實施例的處理示例的解釋性視圖(形狀校正模塊)。
[0037]圖18是示出根據第一示例性實施例的處理示例的解釋性視圖(形狀校正模塊)。
[0038]圖19是示出根據第二示例性實施例的處理示例的解釋性視圖。
[0039]圖20是根據第二示例性實施例的配置示例的概念模塊配置圖。
[0040]圖21是示出根據第二示例性實施例的流程圖的處理示例。
[0041]圖22是示出根據第二示例性實施例的處理示例的解釋性視圖(孤立直線消除模塊)。
[0042]圖23是根據第三示例性實施例的配置示例的概念模塊配置圖。
[0043]圖24是示出根據第三示例性實施例的處理示例的流程圖。
[0044]圖25是根據第四示例性實施例的配置示例的概念模塊配置圖。
[0045]圖26是示出根據第四示例性實施例的處理示例的流程圖。
[0046]圖27是示出根據第四示例性實施例的處理示例的流程圖。
[0047]圖28是示出實施示例性實施例的計算機的硬件配置示例的框圖。
[0048]圖29A和圖29B是示出當捕獲文檔圖像等時出現的投影失真的示例的解釋性視圖。
【具體實施方式】
[0049]在解釋示例性實施例之前，參考圖29A和圖29B描述基礎技術。提供該解釋說明以便更容易理解示例性實施例。
[0050]當通過照相機捕獲諸如文檔或白板等矩形對象的圖像時，會發生投影失真。圖像捕獲裝置通過照相機可以捕獲由用戶置于文檔臺上的文檔的圖像，存儲由照相機捕獲的文檔的圖像數據且執行圖像處理，并且通過投影儀將文檔的圖像放大且投影在屏幕上。圖像處理可以將投影失真校正至原始矩形。用于提取具有投影失真的四邊形的處理例如可以是從圖像數據檢測直線成分的技術，并且當該技術從直線成分提取形成矩形的四條線時，該技術選擇這樣的四條線，這四條線的梯度方向在朝向內側和外側的方向之一上不是相同的。此外，存在這樣的技術:在文檔等被置于臺板上的同時對其圖像進行捕獲，并且通過使用先前已捕獲的僅臺板的圖像與帶有文檔的圖像之間的差異來獲得該文檔的四條邊。
[0051]這些技術基本上可以適用于具有簡單布局的白板或文檔。然而，例如，如圖29A所示的文檔圖像2910，具有在其周邊整個區域中帶有顏色的標題2912的文檔圖像2910可以成為該技術的對象。在這種情況下，可能沒有從圖像2900檢測到包括標題2912的文檔圖像2910。如圖29B所示，可能從圖像2900檢測到的是文檔圖像(部分)2914。文檔圖像(部分)2914可以被無意地校正。
[0052]下面參考附圖對期望用于實施本發明的各種示例性實施例進行描述。
[0053]第一示例性實施例
[0054]圖1是根據第一示例性實施例的配置示例的概念模塊配置圖。
[0055]模塊表示諸如軟件(計算機程序)、硬件等的部件，其在理論上通常可以是獨立的。因此，任一示例性實施例中的模塊不局限于計算機程序中的模塊，并且還表示硬件配置中的模塊。因此，示例性實施例還描述了計算機程序(使計算機執行進程的程序、使計算機作為單元運行的程序、使計算機提供功能的程序)、系統和方法。在該解釋說明中，使用了措詞“存儲”、“使存儲”以及等同用語。當示例性實施例是針對計算機程序時，這些措詞表示“使存儲裝置進行存儲”或“控制存儲裝置以進行存儲”。此外，模塊可以一對一地對應于功能。然而，當安裝時，一個模塊可以由一個程序形成，多個模塊可以由一個程序形成，或者一個模塊可以由多個程序形成。此外，多個模塊可以由一個計算機執行，或者一個模塊可以在分布式環境或并行環境下由多個計算機執行。一個模塊可以包括另一個模塊。此外，在下面的解釋說明中，措詞“連接”可以用于物理連接和邏輯連接(對數據、指令、數據中的引用關系等進行傳輸和接收)。措詞“預定”表示值是在對象處理之前預先確定的。除了根據示例性實施例的處理開始之前的情況，即使在根據示例性實施例的處理開始之后，只要是在對象處理之前的情況，就可以根據當前時刻的狀態和條件或者截止到當前時刻的狀態和條件來確定值。如果存在多個“預定值”，這些值可以彼此不同，或者兩個或更多個值(當然，甚至所有值)可以是相等的。此外，表達式“如果為A，則執行B”表示“判定是否為A，并且在為A的情況下，執行B”，除非另外地無需判定是否為A。
[0056]此外，系統或設備可以通過經由諸如網絡的通信措施(包括一對一的通信連接)來連接多個計算機、硬件、裝置等形成，或者可以形成為具有一個計算機、硬件、裝置等。“設備”和“系統”作為等同詞語使用。當然，“系統”不包括作為人為規則的純粹的“社會方案”(社會系統)。
[0057]此外，每當由每個模塊進行每次處理時，或者當在模塊中執行多步驟處理的情況下進行每次處理時，從存儲裝置讀取對象信息，并且在處理之后，將處理結果寫入存儲裝置中。因此，對于處理之前從存儲裝置進行讀取和處理之后寫入存儲裝置的解釋說明有時可以省去。此處提及的存儲裝置可以包括硬盤、隨機存取存儲器(RAM)、外部存儲介質、通過通信線路的存儲裝置和中央處理單元(CPU)中的寄存器。
[0058]根據第一示例性實施例的圖像處理設備對具有投影失真的圖像進行校正。如圖1的示例中所示，圖像處理模塊100包括邊緣檢測模塊110、直線段提取模塊120、階梯邊緣檢測模塊130、直線段分類模塊140、附近顏色檢測模塊150、四邊形候選選擇模塊160、最大四邊形檢測模塊170、形狀校正模塊180和輸出模塊190。
[0059]邊緣檢測模塊110連接至直線段提取模塊120。邊緣檢測模塊110從圖像檢測邊界(其稱為邊緣或輪廓，并且下文也稱為邊緣)。在圖像中，捕獲矩形(四邊形(包括方形))文檔、白板等，并且投影失真出現在矩形處。文檔、白板等在此處作為例子；然而，只要對象的外部形狀是矩形的，則可以應用任一這樣的對象。此外，對象圖像的接收例如包括:通過使用掃描儀或照相機(包括其位置相對于對象固定的照相機、由用戶操作的數字照相機、和配備有照相機的移動電話)讀取圖像，經由通信線路通過使用傳真等從外部裝置接收圖像，以及讀取存儲在硬盤(包括安裝在計算機中的配置、或經由網絡連接的配置)中的圖像。圖像可以是二值圖像或多值圖像(包括彩色圖像)。將要接收的圖像可以是一個圖像或多個圖像。此外，圖像的內容可以是商業上使用的文檔、用于廣告的冊子、或用于會議的白板等。
[0060]檢測邊界的方法可以使用被稱為邊緣檢測的現有技術。例如，通過使用作為差分濾波器的索貝爾濾波器(Sobel filter)來檢測具有預定強度或更高強度的邊緣部分。
[0061]直線段提取模塊120連接至邊緣檢測模塊110和階梯邊緣檢測模塊130。直線段提取模塊120從由邊緣檢測模塊110檢測的邊界提取直線段。例如，直線段提取模塊120檢測形狀上近似直線的邊緣，并且獲取每個邊緣的傾斜度以及起始點和終點的位置信息。直線段提取模塊120可以消除具有預定長度或更小長度的直線段。后面將參考圖6至圖8進行細節描述。
[0062]階梯邊緣檢測模塊130連接至直線段提取模塊120和直線段分類模塊140。階梯邊緣檢測模塊130檢測這樣的區域(下文也稱為階梯邊緣區域):在該區域中，跨越由直線段提取模塊120提取的直線段而定位的附近像素的像素值之間的差大于預定第一值、或者等于或大于預定第一值。“跨越直線段而定位的附近像素的像素值之間的差”均為位于平面(其被直線段分成一個平面和另一個平面)中與直線段相距預定距離內的、位于該一個平面中的像素與位于該另一個平面中的像素的像素值之間的差。例如，從由直線段提取模塊120提取的直線段中僅提取其相應邊緣為階梯類型的直線段。后面參考圖9A至圖9D將進行細節描述。
[0063]直線段分類模塊140連接至階梯邊緣檢測模塊130和附近顏色檢測模塊150。直線段分類模塊140將由階梯邊緣檢測模塊130檢測的區域中的直線段分類成四邊形的四個邊。例如，直線段被分類成上邊候選、下邊候選、左邊候選和右邊候選。后面將參考圖10至圖12進行細節描述。
[0064]附近顏色檢測模塊150連接至直線段分類模塊140和四邊形候選選擇模塊160。附近顏色檢測模塊150檢測由直線段分類模塊140分類的四個邊的外部區域中的顏色或密度。例如，附近顏色檢測模塊150測量并保持處于上邊、下邊、左邊和右邊候選的外部區域中、或者處于圖像端部附近區域中的顏色或密度。后面將參考圖13和圖14進行細節描述。
[0065]四邊形候選選擇模塊160連接至附近顏色檢測模塊150和最大四邊形檢測模塊170。四邊形候選選擇模塊160從可能形成四邊形的四個邊的組合(四邊形)中選擇這樣的組合:與這些組合中的直線段對應的由附近顏色檢測模塊150檢測的顏色或密度之間的差等于或小于預定第二值、或者小于預定第二值。“顏色或密度之間的差”均表示組合中的顏色或密度之間的差。例如，四邊形候選選擇模塊160從所有上邊、下邊、左邊和右邊候選的組合中僅選擇附近顏色接近的組合。附近顏色接近的狀態表示在某個顏色空間中計算出的附近顏色之間的距離為預定值或更小值。后面將參考圖15和圖16進行細節描述。
[0066]最大四邊形檢測模塊170連接至四邊形候選選擇模塊160和形狀校正模塊180。最大四邊形檢測模塊170檢測當組合中的直線段延伸時所獲得的四個頂點的坐標，并且從由四邊形候選選擇模塊160所選擇的各組合中檢測由相應四個坐標形成的四邊形的面積滿足預定條件的組合。例如，最大四邊形檢測模塊170獲得當四個線段延伸時獲得的四個頂點的坐標，并且從由四邊形候選選擇模塊160輸出的多個四條線段組合中獲得由相應四個坐標形成的四邊形的面積是最大面積的組合。“面積滿足預定條件”的狀態包括具有最大面積的四邊形、以及其面積與圖像具有預定比和更大比的四邊形。下文對面積為最大的示例進行描述。
[0067]形狀校正模塊180連接至最大四邊形檢測模塊170和輸出模塊190。形狀校正模塊180對由最大四邊形檢測模塊170檢測到的組合所形成的四邊形進行校正。例如，執行投影變換，使得具有最大面積的四邊形的四個頂點的坐標與校正后的矩形的四個頂點一致。后面將參考圖17和圖18進行細節描述。
[0068]輸出模塊190連接至形狀校正模塊180。輸出模塊190輸出由形狀校正模塊180校正至矩形的圖像。輸出圖像包括:由諸如打印機的打印裝置打印圖像，在諸如顯示器的顯示裝置上顯示圖像，通過諸如傳真機的圖像傳輸裝置傳輸圖像，將圖像寫入諸如圖像數據庫的圖像存儲裝置，將圖像存儲在諸如存儲卡的存儲介質中，以及將圖像傳輸至其它信息
處理裝置。
[0069]圖2是示出實施示例性實施例(包括第一示例性實施例和后面將描述的第二至第四示例性實施例)的圖像處理設備的硬件配置示例的框圖。
[0070]硬件配置包括圖像處理模塊100、圖像接收模塊210、控制模塊220、存儲器230、通信模塊240、顯示模塊250和操作模塊260。
[0071]圖像處理模塊100連接至圖像接收模塊210、控制模塊220、存儲器230、通信模塊240和顯示模塊250。圖1中作為例子示出的模塊由圖像處理模塊100形成。
[0072]圖像接收模塊210連接至圖像處理模塊100。邊緣檢測模塊110接收對象圖像。例如，邊緣檢測模塊110是上述照相機。
[0073]存儲器230連接至圖像處理模塊100。存儲器230存儲對象圖像、處理結果等。圖像處理模塊100通過使用存儲器230執行處理。
[0074]通信模塊240連接至圖像處理模塊100。圖像處理模塊100經由通信模塊240將處理結果等輸出至外部裝置。
[0075]顯示模塊250連接至圖像處理模塊100。顯示模塊250是諸如液晶顯示器的顯示裝置。圖像處理模塊100將處理結果等輸出至顯示模塊250。
[0076]操作模塊260連接至控制模塊220。操作模塊260是接收用戶操作的鍵盤、鼠標、觸控面板等，并且接收用于圖像處理模塊100的指令。例如，操作模塊260接收開始由圖像處理模塊100進行處理的指令。圖像處理模塊100 (特別地，附近顏色閾值設置模塊2355)響應于接收到的指令執行處理。
[0077]控制模塊220連接至圖像處理模塊100和操作模塊260。控制模塊220響應于由操作模塊260接收到的指令使圖像處理模塊100執行處理。
[0078]圖3是示出根據第一示例性實施例的處理示例的流程圖。
[0079]在步驟S302中，邊緣檢測模塊110使用索貝爾濾波器等，并且從由圖像接收模塊210接收到的圖像檢測出具有預定強度或更高強度的邊緣部分。
[0080]在步驟S304中，直線段提取模塊120檢測形狀上接近直線的邊緣，并且獲得每個邊緣的傾斜度以及起始點和終點的位置信息。
[0081]在步驟S306中，階梯邊緣檢測模塊130從由直線段提取模塊120提取的線中僅提取其相應邊緣為階梯類型的線。
[0082]在步驟S308中，直線段分類模塊140根據每個直線的傾斜度和位置將直線分類成上邊、下邊、左邊和右邊候選。
[0083]在步驟S310中，附近顏色檢測模塊150測量并保持處于上邊、下邊、左邊和右邊候選的外部區域中或者圖像端部附近的區域中的顏色或密度。
[0084]參考圖4和圖5中的示例給出解釋說明。
[0085]在圖4的示例中，測量并保持處于上邊候選的上部區域(測量區域(上部區域)420)、下邊候選的下部區域(測量區域(下部區域)424)、左邊候選的左側區域(測量區域(左側區域)426)和右邊候選的右側區域(測量區域(右側區域)422)中的顏色或密度。
[0086]在圖5的示例中，測量和保持處于四個邊端點附近的外部區域中的顏色或密度，更具體地為處于上邊候選的上部區域(背景(右上區域A) 520，背景(左上區域B) 534)、下邊候選的下部區域(背景(右下區域B) 526，背景(左下區域A) 528)、左邊候選的左側區域(背景(左下區域B)530，背景(左上區域A)532)和右邊候選的右側區域(背景(右上區域B)522，背景(右下區域A) 524)中的顏色或密度。
[0087]替代地，附近顏色檢測模塊150可以檢測處于三個頂點附近或兩個對角頂點附近的外部區域中的顏色或密度。更具體地，三個頂點附近的外部區域表示四個組合(背景(右上區域A)520，背景(右上區域B)522)、(背景(右下區域A)524，背景(右下區域B)526)、(背景(左下區域A) 528，背景(左下區域B) 530)和(背景(左上區域A) 532，背景(左上區域B)534)當中的三個組合。兩個對角頂點附近的外部區域表示(背景(右上區域A)520，背景(右上區域B) 522)和(背景(左下區域A) 528，背景(左下區域B) 530)、或者(背景(右下區域A)524，背景(右下區域B) 526)和(背景(左上區域A) 532，背景(左上區域B) 534)。
[0088]在步驟S312中，四邊形候選選擇模塊160從上邊、下邊、左邊和右邊候選的所有組合中僅選擇附近顏色或附近密度相近的組合。
[0089]在圖4的示例中，選擇這樣的組合作為四邊形的候選:其中，上邊候選的上部區域(測量區域(上部區域)420)、下邊候選的下部區域(測量區域(下部區域)424)、左邊候選的左側區域(測量區域(左側區域)426)和右邊候選的右側區域(測量區域(右側區域)422)的四個區域中的顏色或密度基本相等(顏色或密度的差在預定值的范圍內)。
[0090]在圖5的示例中，由兩個相鄰邊形成的頂點附近的外部區域中由附近顏色檢測模塊150檢測到的顏色或密度被作為目標。即，從上邊候選的上部區域(背景(右上區域A)520，背景(左上區域B) 534)、下邊候選的下部區域(背景(右下區域B) 526，背景(左下區域A) 528)、左邊候選的左側區域(背景(左下區域B) 530，背景(左上區域A) 532)和右邊候選的右側區域(背景(右上區域B) 522，背景(右下區域A) 524)中，處于相鄰邊的端點附近的外部區域中的顏色或密度接近的線被選擇并用作矩形的候選。更具體地，在背景(右上區域A) 520與背景(右上區域B) 522之間、在背景(右下區域A) 524與背景(右下區域B) 526之間、在背景(左下區域A) 528與背景(左下區域B) 530之間和在背景(左上區域A) 532與背景(左上區域B) 534之間比較顏色或密度。此外，如上所述，如果附近顏色檢測模塊150檢測三個頂點附近的外部區域中的顏色或密度，則在三個組合之間比較顏色或密度。如果附近顏色檢測模塊150檢測兩個對角頂點附近的外部區域中的顏色或密度，則在兩個組合之間比較顏色或密度。該配置可以應用于復雜背景，例如，至少非單色的背景。存在下面的情況:背景(右上區域A) 520和背景(右上區域B) 522的顏色或密度基本相等并且背景(左下區域A) 528和背景(左下區域B) 530的顏色或密度基本相等；或者背景(右下區域A) 524和背景(右下區域B) 526的顏色或密度基本相等并且背景(左上區域A) 532和背景(左上區域B) 534的顏色或密度基本相等。因此，例如，背景(右上區域A) 520和背景(左下區域A)528中的顏色或密度可以不同。
[0091]在步驟S314中，最大四邊形檢測模塊170獲得當四條線段延伸時得到的四個頂點的坐標，并且從由四邊形候選選擇模塊160輸出的多個四條線段組合中獲得形成具有最大面積的四邊形的組合。
[0092]在步驟S316中，形狀校正模塊180執行投影變換，使得具有最大面積的四邊形的四個頂點的坐標與在預定校正之后的矩形的四個頂點一致。
[0093]在步驟S318中，輸出模塊190輸出在投影變換之后的圖像。
[0094]參考圖6至圖8描述由直線段提取模塊120執行的處理的細節。
[0095]通過對由邊緣檢測模塊110提取的邊緣圖像執行霍夫變換(Hough transform),直線段提取模塊120可以獲得傾斜度和與圖像中直線邊緣成分的原點的距離。例如，如果由邊緣檢測模塊110提取的邊緣圖像是圖6中作為例子示出的圖像，則將要通過霍夫變換提取的直線段是如圖7中作為例子示出的。
[0096]因為通過霍夫變換獲得的線僅具有有關傾斜度和與實際直線邊緣圖像的原點的距離的信息，所以將通過霍夫變換獲得的線和實際邊緣圖像彼此比較，并且獲得出現在預定距離內的區域中的邊緣圖像的范圍。這樣，獲得線段的兩端(起始點和終點)的坐標。此時，起始點可以是兩端中的任一個。對如上所述獲得的直線成分進行編號、列出并存儲。例如，如圖8的示例中所示，將通過霍夫變換獲得的單一直線820的位置與實際邊緣810的位置進行比較。如果實際邊緣810處于與由霍夫變換獲得的單一直線820之間具有預定寬度的附近區域830中，則確定由霍夫變換獲得的單一直線820對應于實際邊緣810。實際邊緣810的起始點和終點的坐標被用作由霍夫變換獲得的單一直線820的起始點和終點。
[0097]參考圖9A至圖9D描述由階梯邊緣檢測模塊130執行的處理的細節。
[0098]如果跨越由直線段提取模塊120提取的線段而定位的附近像素的像素值之間的差為預定值或更大值，則階梯邊緣檢測模塊130判斷線段作為階梯邊緣，并且從列表中消除被判斷為不是階梯邊緣的線段的信息。更具體地，邊緣具有如圖9A至圖9D所示的四種類型。圖9A所示的示例是階梯邊緣類型。圖9B所示的示例是斜坡邊緣類型。圖9C所示的示例是脊狀類型。圖9D所示的示例是屋頂類型。在該示例性實施例中，斜坡邊緣類型的邊緣被判斷為階梯邊緣。圖像中畫出的線等被檢測為脊狀類型或屋頂類型的邊緣。取決于像素值的分布是否具有圖9A至圖9D的下部所示的圖的形狀中的任一個，來進行類型確定。
[0099]此外，對于階梯邊緣的判斷可以使用跨越線段而定位的附近多個點或附近區域中的平均值。
[0100]參考圖10至圖12描述由直線段分類模塊140執行的處理的細節。
[0101]直線段分類模塊140將列表上剩余的線段分類成上邊候選、下邊候選、左邊候選和右邊候選的四個候選。首先，根據每個直線段的方向(傾斜度)將線段分類成縱向候選和橫向候選。
[0102]在圖10的示例中，如果直線段1010的傾斜度(角Θ 1020)處于從45至135度的范圍內，則該直線段被認為是縱向候選，并且其它直線段被認為是橫向候選。
[0103]接下來，縱向候選中的線段被分類成左邊候選和右邊候選。更具體地，如圖11的示例所示，分類可以取決于直線段1110的中點是位于圖像1100中的左半區域(左側區域1120)還是位于右半區域(右側區域1130)中而做出。替代地，除了使用中點以外，還可以取決于端點位于左端還是右端附近而進行分類。另外可替代地，如圖12的示例中所示，圖像1200可以被豎直線劃分成三個部分(左側區域1220、中間區域1230和右側區域1240)。直線段1210在直線段1210的中點位于左側區域中的情況下可以確定為左邊候選，在中點位于右側區域中的情況下可以確定為右邊候選，或者在中點位于中間區域中的情況下既可以確定為左邊候選又可以確定為右邊候選。
[0104]這還可以應用于橫向線段。分類可以取決于線段的中點是位于圖像的上半區域還是位于圖像的下半區域而做出。即，線段在線段的中點位于上半范圍的區域中的情況下可以確定為上邊候選，或者在中點位于下半范圍的區域中的情況下可以確定為下邊候選。
[0105]此時，假設左端點被認為是上邊和下邊候選的起始點并且上端點被認為是左邊和右邊候選的起始點，并且起始點存儲在線信息的數據結構中，這將在后面參考圖15的示例進行描述。這便于一致地記錄起始點。
[0106]參考圖13和圖14描述由附近顏色檢測模塊150執行的處理的細節。
[0107]附近顏色檢測模塊150測量并保持處于上邊、下邊、左邊和右邊候選的外部區域中的附近顏色或密度。
[0108]對于測量區域，如圖13的示例所示，可以在沿著作為上邊候選的直線段1310的外部區域中的整個附近區域(測量區域(上部區域)1320)中進行測量。替代地，如圖14的示例所示，可以僅僅測量直線段1410的中點附近區域(測量區域(中上區域)1430)和終點附近區域(測量區域(左上區域)1420，測量區域(右上區域)1440)。當然，測量區域在直線段為下邊候選的情況下是直線段的下部區域，在直線段為左邊候選的情況下是直線段的左側區域，或者在直線段為右邊候選的情況下是直線段的右側區域。
[0109]如果對象線是文檔圖像中的真實邊界，則測量區域的顏色或密度可以被認為是背景的顏色或密度。
[0110]參考圖15和圖16描述由四邊形候選選擇模塊160執行的處理的細節。
[0111]線段信息表1500是保持每個直線段的信息的數據結構的示例。線段信息表1500包括線ID部分1502、相距原點的距離部分1504、傾斜度部分1506、起始點坐標部分1508、終點坐標部分1510、位置分類部分1512、附近顏色(整個區域)部分1514、附近顏色(中點)部分1516、附近顏色(起始點)部分1518和附近顏色(終點)部分1520。線ID部分1502存儲了在該示例性實施例中允許對直線段進行唯一識別的信息(線識別(ID))。相距原點的距離部分1504存儲用于霍夫變換的參數P。傾斜度部分1506存儲用于霍夫變換的參數Θ。起始點坐標部分1508存儲直線段的起始點的坐標。終點坐標部分1510存儲直線段的終點的坐標。位置分類部分1512存儲表示上邊、下邊、左邊和右邊候選中哪一個與該直線段相對應的信息。附近顏色(整個區域)部分1514至附近顏色(終點)部分1520存儲位于直線段的外部區域中的區域的顏色或密度。例如，更具體地，附近顏色(整個區域)部分1514至附近顏色(終點)部分1520存儲RGB值。附近顏色(整個區域)部分1514存儲整個區域(圖13的示例中所示的測量區域(上部區域)1320)中的測量結果。附近顏色(中點)部分1516存儲中點(圖14的示例中所示的測量區域(中上區域)1430)處的測量結果。附近顏色(起始點)部分1518存儲起始點(圖14的示例所示的測量區域(左上區域)1420)處的測量結果。附近顏色(終點)部分1520存儲終點(圖14的示例所示的測量區域(右上區域)1440)處的測量結果。
[0112]線段信息表1500通過線的數量來列出。關于附近顏色(整個區域)部分1514至附近顏色(終點)部分1520，可以僅使用附近顏色(整個)部分1514和附近顏色(中點)部分1516中的一個；可以僅使用附近顏色(起始點)部分1518和附近顏色(終點)部分1520中的一個；或者可以僅使用附近顏色(中點)部分1516、附近顏色(起始點)部分1518和附近顏色(終點)部分1520中的一個。
[0113]圖16示出由四邊形候選選擇模塊160進行的處理示例的細節的流程圖。本文中，N是直線段的總數，并且1、j、k和m是用于指定線ID的變量。在該流程圖示例中，針對直線段的所有組合執行步驟S1620的判定處理。
[0114]在步驟S1602中， 設定i=0。
[0115]在步驟S1604中，判定是否i〈N。如果i〈N，則處理進行至步驟S1606。否則，結束處理(步驟S1699)。
[0116]在步驟S1606中，設定j=j+l。
[0117]在步驟S1608中，判定是否j〈N。如果j〈N，則處理進行至步驟S1610。否則，處理進行至步驟S1630。
[0118]在步驟S1610中，設定k=j+l。
[0119]在步驟S1612中，判定是否k〈N。如果k〈N，則處理進行至步驟S1614。否則，處理進行至步驟S1628。
[0120]在步驟S1614中，設定m=k+l。
[0121]在步驟S1616中，判定是否m〈N。如果m〈N，則處理進行至步驟S1618。否則，處理進行至步驟S1626。
[0122]在步驟S1618中，判定所有分類(i)、分類(j)、分類(k)和分類(m)是否不同。如果所有分類不同，則處理進行至S1620。否則，處理進行至步驟S1624。分類(i)表示在上邊、下邊、左邊和右邊候選中線ID i的種類。
[0123]在步驟S1620中，判定四個角的附近顏色中的差是否是預定值或更小。如果差是預定值或更小，則處理進行至步驟S1622。否則，處理進行至步驟S1624。
[0124]在步驟S1622中，選擇四邊形(線ID丨、」、1^和111)的組合。[0125]在步驟S1624中，將m加1，并且處理返回至步驟S1616。
[0126]在步驟S1626中，將k加1，并且處理返回至步驟S1612。
[0127]在步驟S1628中，將j加1，并且處理返回至步驟S1608。
[0128]在步驟S1630中，將i加1，并且處理返回至步驟S1604。
[0129]替代地，在步驟S1620中的判定處理可以判定三個角處的附近顏色之間的差是否是預定值或更小，或者可以判定對角線的兩個角處的附近顏色之間的差是否是預定值或更小,如上所述。
[0130]參考圖17和圖18描述由形狀校正模塊180執行的處理的細節。
[0131]如果假設圖18的示例所示的預定矩形的四個頂點的坐標為(xl，yl)、(x2，y2)、(x3, y3)和(x4，y4)，并且圖17的示例所示的由最大四邊形檢測模塊170獲得的四邊形的四個頂點的坐標為(xl’，yl’)、(x2’，y2’)、(x3’，y3’ )和(x4’，y4’)，則通過投影變換的表達式I計算出表達式2。
[0132]表達式I
【權利要求】
1.一種圖像處理設備，包括:第一檢測單元，其從圖像檢測邊界；提取單元，其從由所述第一檢測單元檢測到的邊界提取直線段；第二檢測單元，其檢測這樣的區域:在所述區域中，跨越由所述提取單元提取的所述直線段而定位的附近像素的像素值之間的差大于預定第一值、或者等于或大于所述預定第一值；分類單元，其將由所述第二檢測單元檢測到的所述區域中的直線段分類成四邊形的四個邊；第三檢測單元，其檢測由所述分類單元分類的所述四個邊的外部區域中的顏色或密度；選擇單元，其從可能形成四邊形的四個邊的組合中選擇這樣的多個組合:對應于所述組合中的直線段的且由所述第三檢測單元檢測到的所述顏色或所述密度之間的差等于或小于預定第二值、或者小于所述預定第二值；第四檢測單元，其檢測當所述組合中的直線段延伸時所獲得的四個頂點的坐標，并且從由所述選擇單元所選擇的多個組合中檢測由相應四個坐標形成的四邊形的面積滿足預定條件的組合；以及校正單元，其將通過由所述第四檢測單元檢測到的組合形成的四邊形校正為矩形。
2.根據權利要求1所述的圖像處理設備，還包括:消除單元，如果一個 邊的直線段的端點和與所述一個邊相交的兩個邊的直線段的端點之間的距離大于預定第三值、或者等于或大于所述預定第三值，則所述消除單元從由所述分類單元分類成四個邊的直線段中消除所述一個邊的直線段，其中所述第三檢測單元和所述選擇單元不將由所述消除單元消除的直線段作為目標。
3.根據權利要求1所述的圖像處理設備，還包括設置單元，所述設置單元根據選擇背景區域的顏色的變化的操作者的操作設定由所述選擇單元所使用的所述預定第二值。
4.根據權利要求1所述的圖像處理設備，其中，如果所選擇的組合形成的四邊形的面積占所述圖像的比率等于或小于預定第四值、或者小于所述預定第四值，則所述選擇單元改變所述預定第二值并且再次執行選擇處理。
5.根據權利要求1至4中任一項所述的圖像處理設備，其中所述第三檢測單元檢測所述四個邊的端點附近的外部區域中的顏色或密度，以及其中所述選擇單元將由兩個相鄰邊形成的頂點附近的外部區域中的通過所述第三檢測單元檢測到的顏色或密度作為目標。
6.根據權利要求5所述的圖像處理設備，其中所述第三檢測單元檢測三個頂點附近或兩個對角頂點附近的外部區域中的顏色或密度。
7.一種圖像處理方法，包括:從圖像檢測邊界；從所述邊界提取直線段；檢測這樣的區域:在所述區域中，跨越所述直線段而定位的附近像素的像素值之間的差大于預定第一值、或者等于或大于所述預定第一值；將所述區域中的直線段分類成四邊形的四個邊；檢測所述四個邊的外部區域中的顏色或密度； 從可能形成四邊形的四個邊的組合中選擇這樣的多個組合:對應于所述組合中的直線段的且在所述顏色或所述密度之間的差等于或小于預定第二值、或者小于所述預定第二值；從所述多個組合中檢測這樣的組合:當該組合中的直線段延伸時所獲得的四個頂點的坐標、并且由 該相應的四個坐標形成的四邊形的面積滿足預定條件；以及將通過所述組合形成的四邊形校正成矩形。
【文檔編號】H04N1/04GK103813050SQ201310286455
【公開日】2014年5月21日 申請日期:2013年7月9日 優先權日:2012年11月2日
【發明者】井原富士夫 申請人:富士施樂株式會社