本發明涉及全景視頻拼接，特別涉及一種基于異構相機組合的針孔圖像拼接真值采集及拼接方法。
背景技術：
1、視頻拼接技術的核心目的，是將多路獨立視頻流進行無縫融合處理，生成一段完整的全景視頻。相較于針孔相機拍攝的單路視頻，拼接后的全景視頻具有更大的視場范圍，能夠以更全面的方式呈現場景信息。具體而言，在許多應用都對場景捕捉完整性有較高需求，例如視頻監控、虛擬現實以及車輛領域。
2、在視頻監控中，需要大視場、全范圍的畫面來滿足體育場、十字路口等廣闊場景的監控需求。在虛擬現實領域，需要精準捕捉并重建用戶周圍的環境，再與虛擬現實應用程序生成的計算機圖形進行融合，這一過程對視頻拼接的完整性和精準度具有極高要求，而全景視頻恰好能為該融合過程提供基礎支撐。在車輛領域，無論是輔助駕駛員和自動駕駛系統均需要更好地觀察車輛周圍的鳥瞰圖和環視影像，其核心均需將來自車輛不同方向的多路視頻視圖進行拼接。
3、近年來，國內外已有大量相關研究，提出了許多用于圖像或視頻拼接的方法，包括基于關鍵點的網格對齊方法、基于深度單應性的對齊方法以及基于深度像素級對齊的方法。然而，現有的拼接方法在實際應用中仍無法完全避免重影、缺失區域、畸變或明顯拉伸等問題。尤其是當多路視圖之間的重疊區域較小時，拉伸畸變問題更易凸顯且難以有效解決。具體而言，較小的重疊區域意味著同一物體的像素點可能位于重疊區域內部或外部，而位于外部的像素在參考視圖中不存在對應匹配的像素。在此情況下，如果圖像或視頻拼接方法僅考慮重疊區域內的對齊精度，則跨越重疊與非重疊區域的物體可能無法被準確處理，最終導致物體的形變、錯位等視覺問題，嚴重影響拼接質量。因此，優化拼接算法的一大關鍵是需要真實、無拼縫、全場景覆蓋的拼接圖像真值，作為拼接算法優化的參考或拼接效果評價的依據，以優化重疊區的對齊精度以及非重疊區的過渡處理效果。目前，生成整個場景真值的一種直接方法是手動將各組成圖像無縫拼接：該方法雖能獲得真實紋理的拼接真值圖像，但即使不考慮所需的大量人力成本，逐幀手動拼接視頻并同時保持幀間時間一致性仍然極具挑戰性。另一種直接方法是利用帶有虛擬相機的環境模擬器來渲染各組成視圖和真值拼接圖像。然而，此類合成數據通常無法捕捉真實世界紋理的豐富細節，而這些細節對于在拼接模型中學習準確的跨視圖對應關系至關重要。因此，現有真值獲取方式存在明顯的局限性，迫切需要一種能夠支持視頻拼接中全監督模型訓練和全參考質量評估的高質量真實場景數據集。
技術實現思路
1、鑒于上述狀況，本發明的主要目的是為了提出一種基于異構相機組合的針孔圖像拼接真值采集及拼接方法，以解決上述技術問題。
2、本發明提出了一種基于異構相機組合的針孔圖像拼接真值采集方法，所述方法包括如下步驟：
3、步驟1、將兩個針孔相機對稱安裝在支座上，并在兩個針孔相機之間安裝一個魚眼相機；
4、步驟2、基于雙球面相機模型，對三臺相機進行標定，得到三臺相機的內參和外參；
5、步驟3、利用三臺相機同時采集目標場景的左目針孔視圖、右目針孔視圖及中目魚眼視圖；
6、步驟4、對中目魚眼視圖進行等距長方投影，根據三臺相機的內參和外參，再將左目針孔視圖以及右目針孔視圖分別投影至等距長方投影的視平面，得到投影后的左目針孔視圖、右目針孔視圖及中目魚眼視圖，并以投影后的中目魚眼視圖作為拼接真值。
7、本發明提出了一種圖像拼接方法，利用上述基于異構相機組合的針孔圖像拼接真值采集方法所采集的拼接真值，所述圖像拼接方法具體包括如下步驟：
8、選取圖像拼接模型，并以投影后的左目針孔視圖以及投影后的右目針孔視圖作為拼接輸入；
9、以拼接真值作為監督標簽對圖像拼接模型進行全監督訓練，訓練完成后，輸出拼接圖像。
10、相較于現有技術，本發明的有益效果如下：
11、1、本發明憑借硬件結構設計、異構相機圖像配準算法形成核心優勢，可穩定獲取無拼縫、時序一致的圖像。其通過定制的四棱柱結構與指定的異構相機布局，配合內外參標定、重投影對齊、裁切處理，使得中目魚眼相機可作為左右目針孔相機的無拼縫、時序一致的拼接真值圖像。
12、2、本發明基于雙球面相機模型，精準完成內參、外參標定，為后續坐標系統一校準、視圖投影和數據融合提供了精準的幾何基礎。
13、3、本發明憑借魚眼相機天然具備的大視場優勢，能夠提供無拼縫、時間一致的全場景真實標注數據，突破了現有方法依賴人工拼接、虛擬仿真生成真值拼接圖像的局限。所得到的數據可支持視頻拼接模型的全監督訓練與全參考質量評估，解決了現有視頻拼接技術中缺乏全場景真實標注數據的痛點問題，具備極強的實用價值。
14、4、本發明先對魚眼相機視頻幀進行等距長方投影，再將左右目針孔相機視頻幀精準投影至該等距長方投影視平面，使得魚眼相機的有效成像視場能夠完全覆蓋兩臺針孔相機的聯合拍攝范圍，以作為針孔相機圖像的拼接真值。不僅實現了多相機視圖在同一平面的空間對齊與時間同步，更依托魚眼相機的大視場優勢實現了對左右兩臺針孔相機視場的全覆蓋，為后續全景視頻拼接的精度驗證和模型訓練的真值參考提供了有力支撐。
15、本發明的附加方面與優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實施例了解到。
1.一種基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，所述方法包括如下步驟：
2.根據權利要求1所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，在所述步驟1中，兩個針孔相機的安裝角度為，且兩臺針孔相機主光軸夾角穩定保持為，兩個針孔相機的視角為x；
3.根據權利要求2所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，支座采用四棱柱結構，四棱柱結構的底角為，四棱柱結構的腰邊為針孔相機的安裝部位，魚眼相機采用居中的方式設置于兩個針孔相機之間。
4.根據權利要求2所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，在所述步驟3中，左目針孔視圖、右目針孔視圖及中目魚眼視圖的視頻幀間的時間同步性一致。
5.根據權利要求2所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，在所述步驟4中，對中目魚眼視圖進行等距長方投影，根據三臺相機的內參和外參，再將左目針孔視圖以及右目針孔視圖分別投影至等距長方投影的視平面，得到投影后的左目針孔視圖、右目針孔視圖及中目魚眼視圖，并以投影后的中目魚眼視圖作為拼接真值，具體包括如下步驟：
6.根據權利要求5所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，將等距長方投影的像素坐標映射為球面坐標，對應的過程存在如下關系式：
7.根據權利要求6所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，設球面深度為d，將球面坐標轉換為歐幾里得坐標，得到魚眼相機坐標系下的三維點坐標，對應的過程存在如下關系式：
8.根據權利要求7所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，根據相機外參數，將魚眼相機坐標系下的三維點坐標，分別轉換到左目針孔相機和右目針孔相機的坐標系中，得到同一個三維點在三個相機坐標系下的齊次坐標，對應的過程存在如下關系式：
9.根據權利要求8所述的基于異構相機組合的針孔圖像拼接真值采集方法，其特征在于，基于雙球面相機模型，利用三個相機的源相機內參將同一個三維點在三個相機坐標系下的齊次坐標轉換至三個相機的源相機圖像上對應的像素坐標點上，對應的過程存在如下關系式：
10.一種圖像拼接方法，利用權利要求1至9任意任意一項所述基于異構相機組合的針孔圖像拼接真值采集方法所采集的投影后的左目針孔視圖、右目針孔視圖及中目魚眼視圖，其特征在于，所述圖像拼接方法具體包括如下步驟：