本發(fā)明屬于計(jì)算機(jī)視覺，具體涉及一種實(shí)時(shí)三維重建系統(tǒng)、設(shè)計(jì)方法及邊緣計(jì)算硬件。
背景技術(shù)：
1、目前，高精度三維重建技術(shù)普遍依賴cpu/gpu等通用計(jì)算平臺(tái)，因此存在功耗高、體積大、延遲高等問題，難以適應(yīng)移動(dòng)機(jī)器人、可穿戴設(shè)備等邊緣端對(duì)續(xù)航和實(shí)時(shí)響應(yīng)的需求；若將計(jì)算任務(wù)卸載至云端，又受限于帶寬和通信的延遲。
2、因此，現(xiàn)有的高能耗、大體積的硬件架構(gòu)無法作為嵌入式模塊集成于邊緣計(jì)算硬件等電子設(shè)備中，這嚴(yán)重限制了高精度三維重建技術(shù)在便攜式、低功耗場(chǎng)景的落地應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明是為了解決上述問題而進(jìn)行的，目的在于提供一種實(shí)時(shí)三維重建系統(tǒng)、設(shè)計(jì)方法及邊緣計(jì)算硬件，采用實(shí)時(shí)流式硬件加速架構(gòu)，具備低功耗、低延遲和可硬件化部署的優(yōu)勢(shì)。
2、本發(fā)明提供了一種實(shí)時(shí)三維重建系統(tǒng)，具有這樣的特征，采用實(shí)時(shí)流式硬件加速架構(gòu)，包括：梯度生成模塊，用于接收原始圖像數(shù)據(jù)流，通過預(yù)構(gòu)建的光照-法線映射模型生成表面法向量，并將表面法向量轉(zhuǎn)換為梯度場(chǎng)數(shù)據(jù)流；二維前向變換模塊，與梯度生成模塊相連接，用于對(duì)梯度場(chǎng)數(shù)據(jù)流執(zhí)行離散正交變換，將梯度場(chǎng)數(shù)據(jù)流轉(zhuǎn)換為頻域數(shù)據(jù)；頻域求解模塊，與二維前向變換模塊相連接，用于對(duì)頻域數(shù)據(jù)進(jìn)行代數(shù)運(yùn)算，求解得到頻域深度數(shù)據(jù)；反變換與重建模塊，與頻域求解模塊相連接，用于對(duì)頻域深度數(shù)據(jù)執(zhí)行離散正交逆變換，生成空間域的三維表面形貌數(shù)據(jù)流。
3、在本發(fā)明一實(shí)施例中，二維前向變換模塊包括：行變換單元，對(duì)梯度場(chǎng)數(shù)據(jù)流的每一行執(zhí)行一維離散正交變換，得到行變換后的中間數(shù)據(jù)流；轉(zhuǎn)置緩沖單元，存儲(chǔ)中間數(shù)據(jù)流；列變換單元，對(duì)中間數(shù)據(jù)流的每一列執(zhí)行一維離散正交變換。
4、在本發(fā)明一實(shí)施例中，頻域求解模塊包括并行的點(diǎn)乘運(yùn)算單元以及頻域?yàn)V波器，點(diǎn)乘運(yùn)算單元通過硬件乘法器將頻域數(shù)據(jù)與基于拉普拉斯算子在變換域下的譜特征參數(shù)進(jìn)行代數(shù)運(yùn)算，從而得到頻域深度數(shù)據(jù)。
5、在本發(fā)明一實(shí)施例中，反變換與重建模塊包括：行逆變換單元，對(duì)頻域深度數(shù)據(jù)的每一行執(zhí)行一維離散正交逆變換，得到行逆變換數(shù)據(jù)流；列逆變換單元，對(duì)行逆變換數(shù)據(jù)流的每一列執(zhí)行一維離散正交逆變換。
6、在本發(fā)明一實(shí)施例中，光照-法線映射模型為理論數(shù)學(xué)模型、高維查找表或神經(jīng)網(wǎng)絡(luò)中的任一項(xiàng)，其中，理論數(shù)學(xué)模型通過電路直接構(gòu)造數(shù)學(xué)公式，逐像素進(jìn)行映射得到表面法向量。
7、在本發(fā)明一實(shí)施例中，高維查找表的實(shí)現(xiàn)步驟包括：原始圖像數(shù)據(jù)流包含按序輸入的多個(gè)輸入像素，當(dāng)光照-法線映射模型為高維查找表時(shí)，高維查找表以輸入像素的多通道光強(qiáng)值組合作為尋址地址，輸出輸入像素對(duì)應(yīng)的表面法向量。
8、在本發(fā)明一實(shí)施例中，神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟包括：將所述光照-法線映射模型進(jìn)行擬合近似后，采用運(yùn)算邏輯的方式直接推斷表面法向量，將表面法向量轉(zhuǎn)換為梯度場(chǎng)，輸出梯度場(chǎng)數(shù)據(jù)流，其中，運(yùn)算邏輯的方式為公式推斷、數(shù)值查找或神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)。
9、在本發(fā)明一實(shí)施例中，梯度生成模塊、二維前向變換模塊、頻域求解模塊和反變換與重建模塊之間分別通過片上流式接口連接。
10、本發(fā)明還提供了一種實(shí)時(shí)三維重建系統(tǒng)的設(shè)計(jì)方法，具有這樣的特征，實(shí)時(shí)三維重建系統(tǒng)的設(shè)計(jì)方法用于實(shí)現(xiàn)知識(shí)產(chǎn)權(quán)核的硬件加速，包括如下步驟：接收原始圖像數(shù)據(jù)流，通過預(yù)構(gòu)建的光照-法線映射模型生成表面法向量，并將表面法向量轉(zhuǎn)換為梯度場(chǎng)數(shù)據(jù)流；通過對(duì)梯度場(chǎng)數(shù)據(jù)流執(zhí)行離散正交變換，將其轉(zhuǎn)換為頻域數(shù)據(jù)；對(duì)頻域數(shù)據(jù)進(jìn)行代數(shù)運(yùn)算，求解得到頻域深度數(shù)據(jù)；通過對(duì)頻域深度數(shù)據(jù)執(zhí)行離散正交逆變換，生成空間域的三維表面形貌數(shù)據(jù)流。
11、本發(fā)明還提供了一種邊緣計(jì)算硬件，具有這樣的特征，包括：上述的實(shí)時(shí)三維重建系統(tǒng)，其中，邊緣計(jì)算硬件為專用集成電路、現(xiàn)場(chǎng)可編程門陣列或圖像信號(hào)處理器。
12、發(fā)明的作用與效果
13、根據(jù)本發(fā)明所涉及的實(shí)時(shí)三維重建系統(tǒng)、設(shè)計(jì)方法及邊緣計(jì)算硬件，本發(fā)明具備極低延遲和功耗的有益效果。由于采用流式數(shù)據(jù)處理結(jié)構(gòu)，減少了中間結(jié)果的存儲(chǔ)與訪問次數(shù)，從而降低了系統(tǒng)延遲和功耗，可以實(shí)現(xiàn)毫秒級(jí)的端到端重建，能夠滿足機(jī)器人邊緣端的功耗需求、以及觸覺反饋等高動(dòng)態(tài)閉環(huán)控制系統(tǒng)的需求。本發(fā)明的硬件邏輯設(shè)計(jì)通用性強(qiáng)，不僅適用于現(xiàn)場(chǎng)可編程門陣列原型驗(yàn)證，也易于移植到專用集成電路、圖像信號(hào)處理器等專用芯片中，可廣泛應(yīng)用于工業(yè)檢測(cè)、醫(yī)療觸覺感知、機(jī)器人靈巧操作等多種三維重建場(chǎng)景。
1.一種實(shí)時(shí)三維重建系統(tǒng)，其特征在于，采用實(shí)時(shí)流式硬件加速架構(gòu)，包括：
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于，所述二維前向變換模塊包括：
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于：
4.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于，所述反變換與重建模塊，包括：
5.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于：
6.根據(jù)權(quán)利要求5所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于，所述高維查找表的實(shí)現(xiàn)步驟包括：
7.根據(jù)權(quán)利要求5所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟包括：
8.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維重建系統(tǒng)，其特征在于：
9.一種實(shí)時(shí)三維重建系統(tǒng)的設(shè)計(jì)方法，其特征在于，實(shí)時(shí)三維重建系統(tǒng)的設(shè)計(jì)方法用于實(shí)現(xiàn)知識(shí)產(chǎn)權(quán)核的硬件加速，包括如下步驟：
10.一種邊緣計(jì)算硬件，其特征在于，包括：