本發明涉及點云幾何壓縮領域,具體涉及一種基于深度學習的點云幾何壓縮方法。
背景技術:
1、隨著虛擬現實(vr)和增強現實(ar)在自動駕駛、游戲、建筑設計和醫療等領域的廣泛應用,三維(3d)數據的高效傳輸和處理需求正不斷增加。點云(point?cloud)作為一種三維數據的常見表示形式,具有空間坐標點的集合,能精確捕捉物體的幾何形狀和屬性信息。點云的幾何信息主要通過三維坐標(x,y,z)來表示,它能夠提供比其他三維表示方法(如網格、體素)更高效、精簡且接近現實的表示。
2、盡管點云在三維數據表示方面具有很大的優勢,但由于其數據量龐大,如何對其進行有效的壓縮以實現高效的存儲和傳輸,成為了一個重要的技術挑戰。以自動駕駛為例,每秒30幀的點云視頻中,單幀點云數據可能包含數百萬個點,導致每秒所需帶寬高達數百兆字節。因此,如何對點云數據進行高效壓縮,以減少帶寬和存儲的占用,成為亟待解決的關鍵問題。
3、傳統的點云幾何壓縮算法通常使用各種數學和編碼技術來壓縮點云數據,例如運用哈夫曼編碼、熵編碼、波形編碼、八叉樹(octree)等,難以處理大規模點云數據,基于深度學習的點云幾何壓縮方法可以捕獲點云中的復雜特征和結構,從而具有適應性更強的優點。典型的深度學習點云幾何壓縮算法包括基于自編碼器、卷積神經網絡(cnn)、pointnet、pointnet++等的方法。charles?r.qi等人在2017年提出pointnet++,該網絡能夠在不斷增加的上下文尺度下學習局部特征。在點云分類和分割任務上取得了先進的表現。以pointnet++為基礎,端到端的點云幾何壓縮網絡架構ipdae,將其應用在點云幾何壓縮過程中,帶來了顯著的壓縮性能改善。然而,在分塊策略的處理上,現有方法仍存在一些不足,特別是分塊策略往往簡單粗糙,影響了壓縮的整體效果。
4、傳統的分塊方法在點云幾何壓縮中存在一些明顯的不足。固定網格劃分(voxelization)是最常見的分塊方式之一,它將點云數據劃分成均勻的立方體網格,每個網格單元作為一個分塊。然而,這種方法在處理不規則分布的點云時表現不佳,尤其在某些區域點云較為密集或稀疏時,可能會導致塊內點數不均衡。一些網格中的點數過多,而另一些網格則可能點數過少,從而影響壓縮效果。此外,八叉樹(octree)劃分方法通過遞歸地將空間劃分為八個子區域,進一步細化空間劃分,以捕捉點云的局部特征。盡管這種方法能有效處理復雜的幾何結構,但同樣沒有考慮到分塊后點數的均衡性,導致某些區域的點云分布過于稀疏,而另一些區域則過于密集。這種點數的不均衡不僅影響到特征提取的效率和準確性,還可能導致壓縮效果的下降,尤其是在點云數據規模較大或分布復雜的情況下。為了解決這些問題,k近鄰(knn)方法在點云分塊中被廣泛使用。knn方法通過選擇每個點的k個最近鄰點來形成局部聚類,從而自適應地分割點云數據。這種方法相較于傳統的網格劃分更加靈活,它能夠確保在每個分塊內的點都是彼此接近的,進而增強塊內幾何特征的相關性。盡管knn方法在分塊上的表現優于固定網格和八叉樹等方法,但它仍然存在一些不足。首先,knn在計算每個點的最近鄰時,復雜度較高,特別是在處理大規模點云數據時,計算開銷巨大,導致分塊過程的效率下降。其次,在knn分塊過程中,由于每個點都在其鄰域內進行k近鄰搜索,knn可能會導致塊之間的重疊問題。這是因為不同分塊的邊界點可能被多個鄰居分塊共享,從而導致塊間重疊的情況。塊間的重疊會導致點的冗余表示,從而影響壓縮的效率,并且可能導致在特征提取過程中信息重復。
5、綜上所述,傳統的點云幾何壓縮分塊方法在處理不規則分布、點數不均衡以及塊間重疊等問題上存在顯著不足,特別是在大規模點云數據處理中,計算復雜度和局部幾何信息的丟失顯著影響了壓縮效果。因此,對分塊方法的深入研究是非常必要的。通過改進knn方法,結合部件標簽信息分割、k-means聚類、圖注意力機制以及插值重建的多步優化策略,我們能夠有效解決這些問題,顯著提升點云幾何壓縮的效率和精度,進一步推動點云幾何壓縮技術在實際應用中的發展。
技術實現思路
1、發明目的:針對點云幾何壓縮過程中分塊不均衡、不規則分布以及塊間重疊的問題,本發明基于深度學習優化點云幾何壓縮方法。通過對初始點云進行部件標簽分割、使用k-means聚類算法進一步細分分塊并結合圖注意力機制,改進了壓縮性能和重建效果。此外,通過插值方法解決點云重建中的點數不足問題,最終實現高效的點云幾何壓縮與重建。
2、技術方案:為了實現以上發明目的,優化基于深度學習的點云幾何壓縮方法,減少過程中由于局部信息丟失和分塊不均衡導致的壓縮性能下降,本發明的技術方案如下:
3、(1)分割初始點云數據:通過應用部件標簽信息對初始點云數據進行分割,確保每個分塊對應物體的不同部分,減少后續計算的復雜性。
4、(2)使用k-means聚類細分大塊:在分割后的大塊基礎上,使用k-means聚類算法進一步細分,以保持各個分塊之間點數的相對均衡。聚類過程中,目標是將塊內點數保持在相似水平,以提升特征提取和壓縮效率。
5、(3)特征提取與融合:將細分后的每個分塊依次輸入pointnet++網絡,提取出分塊的局部幾何特征。為了增強分塊間的信息交互,進一步構建塊間的圖結構,使用圖注意力機制對分塊特征進行融合。通過計算相鄰分塊的特征相似性,并根據注意力權重更新特征。
6、(4)特征傳輸與重建:在特征中增加每個塊的點數信息,使用算術編碼對已提取的特征進行壓縮編碼,進行傳輸。在重建端,根據傳輸的特征,逐步重建點云塊。
7、(5)插值恢復點云:最后,根據點數信息對點云塊進行插值,生成完整的重建點云。通過插值方法來恢復點數不足的點云塊,確保最終的重建點云與原始點云在結構上保持一致。
8、優選的,步驟(1)中,對原始點云進行分塊處理,具體包括以下步驟:
9、(1)對于初始點云數據應用部件標簽信息進行分割,如果沒有標簽信息則使用區域生長算法來分割,確保各個分塊對應物體的不同部件,減輕后續處理的計算復雜性。
10、(2)在分割后的大塊部件中,使用k-means聚類算法進一步劃分,以盡量保持塊之間的點數相似,提升特征提取與壓縮的效率。
11、優選的,步驟(2)中,k-means聚類算法的目標是保持塊內點數均衡,并減少塊內點數差異,具體包括以下步驟:
12、(a)針對點數較多的塊,如果點數大于目標點數的1.5倍,使用k-means聚類算法細化分塊,聚類數取“總點數/目標點數”,遞歸操作直到塊內點數接近目標點數。
13、(b)對于點數較少的塊(小于目標點數的0.5倍),與相鄰塊合并,確保每個分塊中點數均衡,利于后續特征提取。
14、優選的,步驟(4)中,圖注意力機制通過特征相似性計算相鄰分塊的權重,實現特征的融合。具體包括以下步驟:
15、(a)在相鄰的塊之間構建邊,以捕捉局部幾何結構的相似性。
16、(b)計算相鄰塊的特征相似性,通過歸一化計算得到注意力權重,權重反映了分塊特征之間的相關性。
17、(c)基于圖結構,利用注意力機制更新每個分塊的特征,融合鄰居塊的幾何信息,提升壓縮效果。
18、優選的,步驟(5)中,通過插值方法恢復點數不足的塊,確保重建的點云與原始點云保持結構一致。具體包括以下步驟:
19、(a)從傳輸的特征信息中分離出點數信息,確保每個分塊能夠恢復正確的點數。
20、(b)對于點數不足的塊,使用線性插值方法恢復其原始點數,以確保重建后的點云完整性。
21、(c)最終,將所有分塊的點云拼接在一起,生成完整的重建點云。