本發(fā)明涉及同步定位與地圖構(gòu)建（slam），尤其涉及一種基于自適應(yīng)核平滑的魯棒3d高斯濺射slam方法。
背景技術(shù)：
1、在slam（同步定位與地圖構(gòu)建：simultaneous?localization?and?mapping）領(lǐng)域，3d高斯濺射（3dgs）技術(shù)因能實現(xiàn)毫秒級高保真輻射場渲染，成為近年來實時稠密重建的核心技術(shù)之一。現(xiàn)有基于3dgs的slam系統(tǒng)通過快速渲染彩色圖和深度圖，實現(xiàn)光度與幾何對齊以估計相機位姿，但其存在以下關(guān)鍵缺陷：首先，高斯參數(shù)誤差導致渲染偽影，3dgs的核心參數(shù)（位置、朝向、尺度、顏色）由含噪聲的相機觀測優(yōu)化得到，高斯核邊緣常存在顯著誤差；在光柵化過程中，這些誤差會產(chǎn)生錯誤像素顏色、場景不連續(xù)孔洞等偽影，為位姿跟蹤的光度對齊引入大量噪聲。其次，位姿跟蹤魯棒性不足，在快速相機運動、劇烈視角變化等復雜場景下，上述渲染偽影會導致光度對齊失敗，引發(fā)位姿漂移甚至跟蹤丟失，無法滿足實時移動場景（如機器人導航）的可靠性需求。再次，傳統(tǒng)設(shè)計理念的局限性，現(xiàn)有技術(shù)普遍遵循“高保真視覺渲染是位姿估計準確性的核心”這一傳統(tǒng)認知，過度追求渲染清晰度，卻忽略了高斯參數(shù)噪聲對跟蹤魯棒性的影響；且未建立“場景保真”與“跟蹤魯棒性”的解耦機制，無法在參數(shù)誤差下保障位姿跟蹤穩(wěn)定性。最后，現(xiàn)有魯棒性方法不適用，傳統(tǒng)slam的魯棒性策略（如orb-slam3的特征點動態(tài)加權(quán)、魯棒損失函數(shù)）僅針對觀測噪聲，無法解決3dgs特有的“地圖表示誤差（高斯參數(shù)誤差）→渲染偽影→對齊噪聲”問題；現(xiàn)有核平滑技術(shù)僅應(yīng)用于2d像素或3d點云，未涉及3dgs渲染過程的正則化優(yōu)化。上述問題嚴重制約了3dgs-slam在實時、復雜場景中的應(yīng)用，亟需一種能緩解高斯參數(shù)誤差影響、提升位姿跟蹤魯棒性的新方法。
技術(shù)實現(xiàn)思路
1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于自適應(yīng)核平滑的魯棒3d高斯濺射slam方法。
2、為了解決上述技術(shù)問題，本發(fā)明公開了一種基于自適應(yīng)核平滑的魯棒3d高斯濺射slam方法，包括如下步驟：
3、步驟1，對所需構(gòu)建的目標區(qū)域拍攝圖片，基于前t幀rgb-d圖像完成原始3d高斯地圖的構(gòu)建；
4、步驟2，對原始3d高斯地圖進行cb-knn增強的可微渲染；
5、步驟3，對原始3d高斯地圖進行基于cb-knn的slam系統(tǒng)迭代優(yōu)化，完成地圖更新。
6、步驟1具體包括：基于前t幀rgb-d圖像完成初始3d高斯地圖的構(gòu)建，將首幀圖像像素反向投影為初始高斯集合，定義每個高斯的核心參數(shù)（包括中心位置、不透明度、半徑及視角無關(guān)顏色），并通過可微渲染最小化rgb與深度誤差，迭代優(yōu)化初始高斯參數(shù)，形成用于后續(xù)slam流程的原始3d高斯地圖（后續(xù)所有臨時參數(shù)修改均不改變該原始地圖）。
7、步驟2具體包括：針對輸入的第t+1幀圖像，根據(jù)“是否為關(guān)鍵幀”采用差異化渲染策略：對于非關(guān)鍵幀，直接使用原始3d高斯地圖渲染?rgb?圖與深度圖，滿足快速位姿跟蹤的實時性需求；對于關(guān)鍵幀，先篩選當前幀可見高斯并按相機距離排序，再為每個像素選擇貢獻最大的k個鄰近高斯，通過cb-knn策略對這些鄰近高斯進行臨時校正（包括向2d投影質(zhì)心偏移的位置校正、基于貢獻權(quán)重的顏色平滑），生成臨時高斯集合，最終基于該臨時集合渲染得到平滑的rgb圖、深度圖與輪廓圖，為高精度位姿優(yōu)化提供可靠輸入。
8、步驟3具體包括：以原始3d高斯地圖為基礎(chǔ)、關(guān)鍵幀cb-knn校正為核心、非關(guān)鍵幀快速跟蹤為補充，完成slam系統(tǒng)的迭代優(yōu)化：包括分幀進行相機位姿優(yōu)化，關(guān)鍵幀基于平滑渲染圖優(yōu)化，非關(guān)鍵幀基于原始渲染圖快速優(yōu)化；通過致密化掩碼識別低密度或新幾何結(jié)構(gòu)區(qū)域，補充新高斯以完善地圖；結(jié)合局部高斯密度與場景復雜度自適應(yīng)確定cb-knn的k值，篩選關(guān)鍵幀并僅對其應(yīng)用cb-knn；選擇重疊度最高的關(guān)鍵幀組，通過可微渲染優(yōu)化原始地圖參數(shù)并剪枝無效高斯，完成地圖更新，形成完整slam循環(huán)。
9、基于前t幀rgb-d圖像構(gòu)建初始地圖，具體步驟如下：
10、步驟1-1.?初始高斯（文中“高斯”即指代高斯基元）生成：將第1幀rgb-d圖像的所有像素通過相機內(nèi)參反向投影為3d點，每個3d點對應(yīng)初始化一個高斯，形成高斯集合?；單個高斯的參數(shù)定義為，其中：：高斯的3d中心位置，即反向投影得到的3d點坐標；：高斯的不透明度，初始值設(shè)為?0.5；：高斯的半徑，根據(jù)像素對應(yīng)的深度值自適應(yīng)設(shè)置（深度越大，半徑初始值越大，范圍為?0.1~0.5）；：高斯的視角無關(guān)rgb顏色，直接取自第1幀對應(yīng)像素的rgb值；
11、步驟1-2.?高斯參數(shù)優(yōu)化：通過可微渲染將初始高斯集合渲染為rgb圖與深度圖，計算渲染結(jié)果與第1幀真值圖像的rgb誤差和深度誤差，采用adam優(yōu)化器迭代優(yōu)化高斯集合的參數(shù)，學習率為1e-4，直至誤差收斂，得到原始3d高斯地圖。
12、針對非關(guān)鍵幀，以“實時性”為核心目標，直接使用原始?3d?高斯地圖渲染?rgb?圖與深度圖，具體步驟為：
13、2-1-1.?可見高斯篩選：通過視錐體裁剪剔除當前相機視域外的高斯，僅保留可見高斯；
14、2-1-2.?直接渲染：使用原始高斯集合g，基于3dgs的標準可微渲染流程（無cb-knn校正）生成rgb圖與深度圖；
15、2-1-3.?快速位姿初始化：基于恒速模型（?+?(-)，為第t?幀相機位姿）初始化第t+1幀位姿，通過最小化“渲染圖與輸入幀真值圖的顏色以及深度l1損失”優(yōu)化位姿，單幀處理時間控制在23ms以內(nèi)（rtx?a40顯卡）。
16、針對關(guān)鍵幀，以“魯棒性”為核心目標，引入cb-knn校正，具體步驟為：
17、2-2-1.?可見高斯篩選與排序：同非關(guān)鍵幀步驟?2-1-1?篩選可見高斯，再按“高斯中心到相機光心的歐氏距離”對可見高斯升序排序，確保近場高斯優(yōu)先參與后續(xù)計算；
18、2-2-2.?k近鄰高斯選擇：對當前關(guān)鍵幀的每個像素（表示像素在圖像坐標系下的水平軸坐標，即橫向像素位置；表示像素在圖像坐標系下的垂直軸坐標，即縱向像素位置）,?計算所有可見高斯對該像素的貢獻值，通過高斯衰減函數(shù)計算：
19、
20、其中，為像素對應(yīng)的3d坐標；進而選擇貢獻值最大的個高斯組成集合；
21、2-2-3.?對高斯集合進行cb-knn（校正模糊k近鄰）校正；
22、2-2-4.?渲染圖平滑處理：基于校正后的臨時高斯集合，分別渲染生成平滑的rgb圖、深度圖與輪廓圖：
23、步驟2-2-3具體包括：
24、位置校正：先將高斯集合中的每個高斯的3d中心通過投影函數(shù)轉(zhuǎn)換為2d像素坐標，投影函數(shù)（·）為：
25、（）=?
26、其中，單個鄰近高斯的3d中心位置，相機外參，為相機內(nèi)參；
27、再計算高斯集合的2d投影質(zhì)心：
28、
29、最后將每個高斯的2d投影向2d投影質(zhì)心偏移，得到校正后的2d坐標：
30、
31、[0.1，0.3]為偏移系數(shù)，=避免分母為零，為臨時校正后的3d位置，僅用于當前幀渲染，不更新原始地圖；
32、顏色校正：基于高斯衰減函數(shù)計算高斯集合中每個高斯對像素的貢獻權(quán)重：
33、
34、其中，：是指是第個像素對應(yīng)的第個鄰近高斯對該像素的貢獻強度函數(shù)值。
35、再通過加權(quán)平均計算校正后的顏色：
36、
37、該權(quán)重確保貢獻大的高斯主導顏色，同時抑制異常高斯的顏色噪聲。
38、所述進行相機位姿優(yōu)化按“關(guān)鍵幀高精度優(yōu)化、非關(guān)鍵幀快速優(yōu)化”的原則執(zhí)行：
39、3-1-1.?非關(guān)鍵幀位姿優(yōu)化：以步驟2-1-2生成的原始渲染圖為輸入，最小化“顏色損失以及深度損失”，迭代優(yōu)化位姿，確保實時性；
40、3-1-2.?關(guān)鍵幀位姿優(yōu)化：以步驟2-2-4生成的平滑圖為輸入，僅使用輪廓圖覆蓋率（在步驟2-2-4計算得出）閾值?的像素，最小化加權(quán)損失函數(shù)：
41、
42、其中，、分別為渲染深度與顏色，、為輸入幀的真值深度與顏色，為輪廓圖像素覆蓋率，為深度渲染和顏色渲染的損失。
43、通過致密化掩碼識別低密度或新幾何結(jié)構(gòu)區(qū)域，補充新高斯以完善地圖用于補充地圖中低密度或新幾何結(jié)構(gòu)區(qū)域的高斯，具體步驟包括：
44、3-2-1.?致密化掩碼生成：基于跟蹤得到的相機位姿，計算致密化掩碼，公式為：
45、
46、為誤差閾值，mde為中位深度誤差;?時，標記該像素對應(yīng)的3d區(qū)域為“待致密化區(qū)域”；在掩碼標記的“低密度區(qū)域”()或“新幾何結(jié)構(gòu)區(qū)域”（深度誤差超閾值）；
47、3-2-2.?新高斯添加：將“待致密化區(qū)域”的像素反向投影為3d點，按步驟1-1的初始高斯參數(shù)規(guī)則，初始化新高斯，添加到原始地圖中。
48、“是否為關(guān)鍵幀”?具體判斷方式為自適應(yīng)k值關(guān)鍵幀選擇：
49、3-3-1.?關(guān)鍵幀篩選頻率：從連續(xù)輸入的rgb-d序列中，按“每?n?幀選擇?1?幀”的固定頻率篩選候選關(guān)鍵幀；
50、3-3-2.?k?值自適應(yīng)計算：k值為cb-knn（校正模糊k近鄰）的鄰近高斯數(shù)量，由局部高斯密度和場景復雜度共同決定：
51、所述局部高斯密度：將候選關(guān)鍵幀圖像劃分為?8×8?像素網(wǎng)格，統(tǒng)計每個網(wǎng)格內(nèi)投影的高斯數(shù)量，則?（n?=?64為網(wǎng)格像素數(shù)）；
52、所述場景復雜度：計算候選關(guān)鍵幀與前一關(guān)鍵幀的位姿差異（平移距離與旋轉(zhuǎn)角度歸一化至?[0,1]?區(qū)間），作為；
53、所述k值計算為：
54、
55、為基準值，為調(diào)整系數(shù)，避免除零；
56、3-3-3.?關(guān)鍵幀確認：通過cb-knn平滑候選關(guān)鍵幀的深度反投影點云，計算候選關(guān)鍵幀與當前幀的重疊度（統(tǒng)計當前幀點云中落在候選關(guān)鍵幀視錐內(nèi)的點數(shù)量占比），選擇重疊度最高的候選關(guān)鍵幀作為最終關(guān)鍵幀，僅對其應(yīng)用cb-knn校正。
57、步驟3中所述地圖更新具體包括
58、選擇“當前幀?+?最新關(guān)鍵幀?+?與當前幀重疊度最高的k-2個關(guān)鍵幀”，對這些關(guān)鍵幀應(yīng)用cb-knn校正；通過可微渲染最小化rgb誤差（含ssim損失）和深度誤差，迭代更新原始高斯地圖參；剪枝無效高斯（不透明度趨近0或尺寸過大），完成地圖更新。
59、有益效果：
60、1.設(shè)計理念創(chuàng)新：首次提出“位姿跟蹤魯棒性優(yōu)先于視覺保真”的3dgs-slam設(shè)計視角，建立“場景重建質(zhì)量”與“位姿跟蹤魯棒性”的解耦機制；通過可控渲染正則化，在不降低地圖保真度的前提下，顯著提升復雜場景下的位姿跟蹤穩(wěn)定性。
61、2.cb-knn?方法的自適應(yīng)優(yōu)勢：
62、動態(tài)校正：在渲染過程中對高斯的位置和顏色進行臨時校正，直接從源頭緩解參數(shù)噪聲導致的渲染偽影；
63、兼容性強：無需重構(gòu)現(xiàn)有3dgs渲染管線，可無縫集成到splatam等現(xiàn)有框架中；
64、計算高效：僅對關(guān)鍵幀應(yīng)用cb-knn，非關(guān)鍵幀保持快速渲染，單幀跟蹤時間比現(xiàn)有splatam縮短約?21%（從?29ms?降至?23ms，rtx?a40?顯卡）。
65、3.位姿跟蹤精度顯著提升：
66、在replica數(shù)據(jù)集上，平均絕對軌跡誤差（ate?rmse）從現(xiàn)有splatam的0.39cm降至0.32cm，相對位姿誤差（rpe）從0.10cm降至0.08cm；
67、在tum-rgbd數(shù)據(jù)集上，ate?rmse?從3.31cm降至3.18cm，fr1/desk?場景的軌跡漂移減少?15%；
68、在scannet數(shù)據(jù)集上，0181?場景的ate?rmse從12.08cm降至11.91cm，跟蹤丟失次數(shù)減少60%。
69、4.地圖重建質(zhì)量保持：
70、渲染指標與現(xiàn)有方法相當：在replica數(shù)據(jù)集上，峰值信噪比（psnr）達34.17db（splatam為34.11db），學習感知圖像塊相似度（lpips）達?0.09（splatam為0.10）；
71、新穎視角渲染無模糊：對比實驗表明，本發(fā)明在新穎視角與訓練視角下的彩色圖、深度圖保真度，均與真值偏差更小，無過度平滑導致的細節(jié)丟失。
72、5.工程應(yīng)用價值高：適用于自動駕駛、機器人導航等實時移動場景，能在快速運動、劇烈視角變化等復雜條件下穩(wěn)定工作；且計算成本低，可在消費級gpu上實現(xiàn)實時運行，具有廣闊的產(chǎn)業(yè)化前景。