一種基于IMU多傳感器融合的室內行人定位融合方法與流程

一種基于imu多傳感器融合的室內行人定位融合方法
技術領域
1.本發明涉及室內行人定位技術領域，具體而言，涉及一種基于imu多傳感器融合的室內行人定位融合方法。


背景技術：

2.當建筑物阻擋或在室內導致不能衛星定位時，面向自主導航需求，目前解決問題的主要技術有wifi室內定位、藍牙室內定位、uwb高精度定位系統、aoa高精度定位、藍牙+lora室內定位等，但是都需要提前部署電子設備。而慣性導航系統單獨工作其誤差易隨時間累積，難以糾偏，仿生偏振光羅盤在遮擋/多云等復雜環境條件下不可用這一問題，提出了仿生多通道偏振光傳感器融合imu慣導組合定向誤差處理方法。
3.目前，國內存在以下技術：1.仿生偏振光羅盤/慣導組合導航方法作為一種新型高自主導航方法已成為導航技術發展的重要方向。2021年，美國加州理工學院利用偏振光譜和0-2近紅外波段輻射測量對氣溶膠剖面信息含量進行測量并評估了不確定度，結果表明高光譜分辨率輻射測量和偏振測量的加入不僅可減少所需視角數量，還可有效提高偏振和輻射信噪比以及檢測靈敏度。
4.2.2013年，清華大學設計了天空偏振光模式自動探測裝置。大連理工大學對太陽光與月光對曙暮光偏振模式的影響進行了研究，證明了太陽光偏振模式在曙暮光時分對天空偏振模式的形成起主要作用。在論文一種超寬帶與慣導融合的lstm室內定位算法[j].電訊技術，2021，61(02):172-178.提出了一種超寬帶和慣導融合定位方案。中國科學技術大學在論文基于偏振光的仿生自主定位方法的研究[d]，提出了一種基于偏振光的仿生定位方法。并且還提出了一種大面陣三維球形微透鏡陣列及其制備方法（cn114296161a），壓印、紫外光固化制備得到三維球形微透鏡陣列。
[0005]
但是以上技術都表明該定位系統的定位精度不高。基于仿生復眼的偏振光裝置體積大、工藝復雜，大多數仿生復眼為仿昆蟲復眼圓形基底球面型微透鏡，復眼基底微透鏡存在占空比較低，復眼數量少，光信息接收效率低等問題，造成部分視場損失，導致精確定位差距較大等問題。


技術實現要素：

[0006]
本發明的目的在于提供一種基于imu多傳感器融合的室內行人定位融合方法，用以改善現有技術中由于復眼基底微透鏡存在占空比較低、復眼數量少、光信息接收效率低，造成部分視場損失，導致精確定位差距較大的問題。
[0007]
本發明的實施例是這樣實現的：第一方面，本技術實施例提供一種基于imu多傳感器融合的室內行人定位融合方法，其包括如下步驟：將uv透明樹脂倒入半球面模具，形成預設厚度的半球面基底；
基于半球面基底，制造具有昆蟲復眼特征的復眼式透鏡，其中，復眼式透鏡包括多個微透鏡；將復眼式透鏡的上半部分用掩膜遮蓋后，用等離子沉積法將金屬沉積到微透鏡晶體上直接形成條形光柵，同時沉積多層金屬形成的光柵偏振器，基于條形光柵，通過位于復眼式透鏡上半部分的微透鏡晶體采集偏振光數據；通過復眼式透鏡下半部分的微透鏡晶體捕捉圖像，并通過bp網絡將捕捉到的圖像數據進行結合，以快速疊加組合成像；將光電探測器、fpga和mems慣導集成后，通過集成后的傳感器采集慣導數據；將偏振光數據、慣導數據和圖像數據分別進行預處理后輸入神經網絡，得到偏振光數據、慣導數據和圖像數據分別對應的權值，根據權值進行概率分配調整，得到最終輸出數據。
[0008]
在本發明的一些實施例中，上述基于半球面基底，制造具有昆蟲復眼特征的復眼式透鏡的步驟包括：采用3d打印技術微流控裝置產生多個微透鏡；將多個微透鏡圍繞半球面基底進行密集排列，以形成仿復眼結構的復眼式透鏡。
[0009]
在本發明的一些實施例中，上述將偏振光數據進行預處理的步驟包括：采用小波閾值收縮與子帶增強的去噪算法對偏振光數據進行預處理。
[0010]
在本發明的一些實施例中，上述將慣導數據進行預處理的步驟包括：采用卡爾曼濾波方法對慣導數據進行預處理。
[0011]
在本發明的一些實施例中，上述將圖像數據進行預處理的步驟包括：采用雙光譜圖像的自適應融合策略和基于權值的決策級數據融合方法對圖像數據進行預處理。
[0012]
在本發明的一些實施例中，上述光電探測器由兩部分組成，其中一部分采用2d雜化鈣鈦礦納米晶摻雜作為偏振光檢測器，另一部分采用cmos圖像傳感器。
[0013]
在本發明的一些實施例中，上述將偏振光數據、慣導數據和圖像數據分別進行預處理的步驟之后，該方法還包括：將通過預處理的偏振光數據、慣導數據和圖像數據進行歸一化處理。
[0014]
第二方面，本技術實施例提供一種電子設備，其包括存儲器，用于存儲一個或多個程序；處理器。當一個或多個程序被處理器執行時，實現如上述第一方面中任一項的方法。
[0015]
第三方面，本技術實施例提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述第一方面中任一項的方法。
[0016]
相對于現有技術，本發明的實施例至少具有如下優點或有益效果：本發明提出了一種基于imu多傳感器融合的室內行人定位融合方法，其包括如下步驟：將uv透明樹脂倒入半球面模具，形成預設厚度的半球面基底。基于半球面基底，制造具有昆蟲復眼特征的復眼式透鏡，其中，復眼式透鏡包括多個微透鏡。將復眼式透鏡的上半部分用掩膜遮蓋后，用等離子沉積法將金屬沉積到微透鏡晶體上直接形成條形光柵，由于掩膜刻有不同方向的條紋，則利用等離子沉積法沉積金屬到微透鏡晶體上形成的條形光柵方向也不同。由于光柵方向不同小眼可以檢測出不同方向的偏振光，則可以更精確探測的外界偏振光方位角，從而計算出精確方向信息。并且在等離子沉積時，沉積兩層或多層金屬
形成的光柵偏振器，其透射率、消光比會發生變化，偏振性能將會得到提升。而且該仿復眼金屬光柵偏振器具有體積小、重量輕、易與其他器件集成等優點。基于條形光柵，通過位于復眼式透鏡上半部分的微透鏡晶體采集偏振光數據。通過復眼式透鏡下半部分的微透鏡晶體捕捉圖像，并通過bp網絡將捕捉到的圖像數據進行結合，以快速疊加組合成像。將光電探測器、fpga和mems慣導集成后，通過集成后的傳感器采集慣導數據，將光電探測器-fpga-mems（imu）慣導集成在一起，可以加速計算、縮小傳感器體積、減輕重量。將偏振光數據、慣導數據和圖像數據分別進行預處理后輸入神經網絡，得到偏振光數據、慣導數據和圖像數據分別對應的權值，根據權值進行概率分配調整，得到最終輸出數據。實現了將偏振光數據、慣導數據和圖像數據經過神經網絡權值融合后無縫組合的目的，有效提升了整個導航系統的魯棒性和導航精度，對慣導的角度糾偏，極大消除了慣導累計誤差。該方法采用慣導和多通道偏振光傳感器融合技術解決了室內行人定位的問題，不依賴外部信號，用imu慣導行人航跡推算定位，多通道偏振光傳感器糾正累計誤差，可以適用復雜的環境，能在較長的運動時間內保持較高的定位精度。
附圖說明
[0017]
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。
[0018]
圖1為本發明實施例提供的一種基于imu多傳感器融合的室內行人定位融合方法的流程圖；圖2為本發明實施例提供的一種仿復眼結構圖；圖3為本發明實施例提供的一種小眼的結構示意圖；圖4為本發明實施例提供的一種光電探測器的結構示意圖；圖5為本發明實施例提供的一種電子設備的示意性結構框圖。
[0019]
圖標：1-微透鏡；2-導光柱；3-光電探測器；31-偏振光檢測器；32-cmos圖像傳感器；101-存儲器；102-處理器；103-通信接口。
實施方式
[0020]
為使本技術實施例的目的、技術方案和優點更加清楚，下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本技術一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本技術實施例的組件可以以各種不同的配置來布置和設計。
[0021]
請參照圖1，圖1所示為本發明實施例提供的一種基于imu多傳感器融合的室內行人定位融合方法的流程圖。本技術實施例提供一種基于imu多傳感器融合的室內行人定位融合方法，其包括如下步驟：s110：將uv透明樹脂倒入半球面模具，形成預設厚度的半球面基底；具體的，將uv透明樹脂倒入直徑為5-8mm的半球面模具，形成厚度1mm左右的半球面基底。
[0022]
s120：基于半球面基底，制造具有昆蟲復眼特征的復眼式透鏡，其中，復眼式透鏡包括多個微透鏡1；請參照圖2，圖2所示為本發明實施例提供的一種仿復眼結構圖。具體的，整個復眼由數千個小眼組成，每個小眼通過微透鏡1都能作為獨立單個的微透鏡1成像，采用3d打印技術微流控裝置來產生各個微透鏡1，將許多這樣的微透鏡1圍繞著半球面基底密集地排列起來，形成一個仿復眼結構的復眼式透鏡。
[0023]
請參照圖3，圖3所示為本發明實施例提供的一種小眼的結構示意圖。首先通過微透鏡1采集偏振光，然后通過導光柱2將采集到的偏振光傳輸至光電探測器3上。
[0024]
s130：將復眼式透鏡的上半部分用掩膜遮蓋后，用等離子沉積法將金屬沉積到微透鏡1晶體上直接形成條形光柵，同時沉積多層金屬形成的光柵偏振器，基于條形光柵，通過位于復眼式透鏡上半部分的微透鏡1晶體采集偏振光數據；具體的，由于掩膜刻有不同方向的條紋，則利用等離子沉積法沉積金屬到微透鏡1晶體上形成的條形光柵方向也不同。由于光柵方向不同小眼可以檢測出不同方向的偏振光，則可以更精確探測的外界偏振光方位角，從而計算出精確方向信息。并且在等離子沉積時，沉積兩層或多層金屬形成的光柵偏振器，其透射率、消光比會發生變化，選擇合適的金屬和沉積厚度，偏振性能將會得到提升。而且該仿復眼金屬光柵偏振器具有體積小、重量輕、易與其他器件集成等優點。
[0025]
s140：通過復眼式透鏡下半部分的微透鏡1晶體捕捉圖像，并通過bp網絡將捕捉到的圖像數據進行結合，以快速疊加組合成像；s150：將光電探測器3、fpga和mems慣導集成后，通過集成后的傳感器采集慣導數據；具體的，將光電探測器3-fpga-mems（imu）慣導集成在一起，則可以加速計算、縮小傳感器體積、減輕重量，對新型偏振光導航傳感器的研制有積極的作用。
[0026]
請參照圖4，圖4所示為本發明實施例提供的一種光電探測器3的結構示意圖。在本實施例的一些實施方式中，上述光電探測器3由兩部分組成，其中一部分采用2d雜化鈣鈦礦納米晶摻雜作為偏振光檢測器31，利用鈣鈦礦結構產生較強的光學各向異性，可以極大提高偏振光探測靈敏度。另一部分采用cmos電路，將fpga信號處理單元、imu與cmos圖像傳感器32集成在一個芯片上，fpga里集成神經網絡ip核可以快速部署cnn神經網絡，加速圖像處理。其中，imu單元可以包含mems三軸加速計、三軸陀螺儀、三軸磁力計。
[0027]
s160：將偏振光數據、慣導數據和圖像數據分別進行預處理后輸入神經網絡，得到偏振光數據、慣導數據和圖像數據分別對應的權值，根據權值進行概率分配調整，得到最終輸出數據。
[0028]
其中，上述神經網絡可以為lstm或gru神經網絡。
[0029]
具體的，將偏振光數據、慣導數據和圖像數據分別進行預處理后輸入lstm或gru神經網絡進行訓練，以此得到三類數據的各自權值。最后通過對三類數據賦予不同的權值進行概率分配調整，獲取得到最終輸出數據，從而提高了整個方法的魯棒性。也就實現了將偏振光數據、慣導數據和圖像數據經過神經網絡權值融合后無縫組合的目的，有效提升了整個導航系統的魯棒性和導航精度，對慣導的角度糾偏，極大消除了慣導累計誤差。該方法采用慣導和多通道偏振光傳感器融合技術解決了室內行人定位的問題，不依賴外部信號，用
imu慣導行人航跡推算定位，多通道偏振光傳感器糾正累計誤差，可以適用復雜的環境，能在較長的運動時間內保持較高的定位精度。
[0030]
在本實施例的一些實施方式中，上述基于半球面基底，制造具有昆蟲復眼特征的復眼式透鏡的步驟包括：采用3d打印技術微流控裝置產生多個微透鏡1；將多個微透鏡1圍繞半球面基底進行密集排列，以形成仿復眼結構的復眼式透鏡。從而得到了具有昆蟲復眼特征的復眼式透鏡。
[0031]
在本實施例的一些實施方式中，上述將偏振光數據進行預處理的步驟包括：采用小波閾值收縮與子帶增強的去噪算法對偏振光數據進行預處理。
[0032]
在本實施例的一些實施方式中，上述將慣導數據進行預處理的步驟包括：采用卡爾曼濾波方法對慣導數據進行預處理。
[0033]
在本實施例的一些實施方式中，上述將圖像數據進行預處理的步驟包括：采用雙光譜圖像的自適應融合策略和基于權值的決策級數據融合方法對圖像數據進行預處理。
[0034]
在本實施例的一些實施方式中，上述將偏振光數據、慣導數據和圖像數據分別進行預處理的步驟之后，該方法還包括：將通過預處理的偏振光數據、慣導數據和圖像數據進行歸一化處理。
[0035]
請參照圖5，圖5為本技術實施例提供的電子設備的一種示意性結構框圖。電子設備包括存儲器101、處理器102和通信接口103，該存儲器101、處理器102和通信接口103相互之間直接或間接地電性連接，以實現數據的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現電性連接。存儲器101可用于存儲軟件程序及模塊，處理器102通過執行存儲在存儲器101內的軟件程序及模塊，從而執行各種功能應用以及數據處理。該通信接口103可用于與其他節點設備進行信令或數據的通信。
[0036]
其中，存儲器101可以是但不限于，隨機存取存儲器（random access memory，ram），只讀存儲器（read only memory，rom），可編程只讀存儲器（programmable read-only memory，prom），可擦除只讀存儲器（erasable programmable read-only memory，eprom），電可擦除只讀存儲器（electric erasable programmable read-only memory，eeprom）等。
[0037]
處理器102可以是一種集成電路芯片，具有信號處理能力。該處理器102可以是通用處理器，包括中央處理器（central processing unit，cpu）、網絡處理器（network processor，np）等；還可以是數字信號處理器（digital signal processing，dsp）、專用集成電路（application specific integrated circuit，asic）、現場可編程門陣列（field－programmable gate array，fpga）或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。
[0038]
可以理解，圖5所示的結構僅為示意，電子設備還可包括比圖5中所示更多或者更少的組件，或者具有與圖5所示不同的配置。圖5中所示的各組件可以采用硬件、軟件或其組合實現。
[0039]
在本技術所提供的實施例中，應該理解到，所揭露的裝置和方法，也可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據本技術的多個實施例的裝置、方法和計算機程序產品的可能實現的體系架構、功能
和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本并行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基于硬件的系統來實現，或者可以用專用硬件與計算機指令的組合來實現。
[0040]
另外，在本技術各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。
[0041]
所述功能如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本技術的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備（可以是個人計算機，服務器，或者網絡設備等）執行本技術各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬盤、只讀存儲器（rom，read-only memory）、隨機存取存儲器（ram，random access memory）、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0042]
對于本領域技術人員而言，顯然本技術不限于上述示范性實施例的細節，而且在不背離本技術的精神或基本特征的情況下，能夠以其它的具體形式實現本技術。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本技術的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有變化囊括在本技術內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。