本發(fā)明涉及車(chē)輛安全駕駛，特別是涉及一種低可視條件下的增強(qiáng)現(xiàn)實(shí)駕駛輔助系統(tǒng)及方法。
背景技術(shù)：
1、隨著汽車(chē)保有量的不斷增加，道路交通安全問(wèn)題日益突出。統(tǒng)計(jì)數(shù)據(jù)顯示，夜間、霧天、雨天等低可視條件下的交通事故發(fā)生率是白天的數(shù)倍。
2、目前市場(chǎng)上的車(chē)載夜視系統(tǒng)主要采用熱成像技術(shù)，只能顯示黑白圖像，無(wú)法區(qū)分交通信號(hào)燈、車(chē)輛尾燈、交通標(biāo)志等彩色關(guān)鍵信息，駕駛員仍然需要依靠肉眼判斷這些重要信號(hào)。而現(xiàn)有的ar?hud系統(tǒng)主要用于顯示導(dǎo)航、車(chē)速等虛擬信息，不能實(shí)時(shí)投射前方道路實(shí)景，無(wú)法從根本上解決低可視條件下駕駛員視線受阻的問(wèn)題。
3、此外，傳統(tǒng)的夜視系統(tǒng)通常將圖像顯示在中控屏或儀表盤(pán)上，駕駛員需要頻繁轉(zhuǎn)移視線，這本身就存在嚴(yán)重的安全隱患。即使有少數(shù)系統(tǒng)嘗試將夜視圖像投射到前擋風(fēng)玻璃上，也普遍存在圖像與真實(shí)場(chǎng)景錯(cuò)位、比例失調(diào)的問(wèn)題，容易導(dǎo)致駕駛員判斷失誤。
4、專(zhuān)利cn109987025b公開(kāi)了一種用于夜晚環(huán)境的車(chē)輛駕駛輔助系統(tǒng)及方法，該系統(tǒng)通過(guò)紅外攝像頭采集圖像，識(shí)別出前方的行人、車(chē)輛等物體，然后僅對(duì)駕駛員不可見(jiàn)的物體進(jìn)行增強(qiáng)現(xiàn)實(shí)顯示。但是，該系統(tǒng)存在以下固有缺陷：
5、1.只能顯示識(shí)別到的單個(gè)物體，無(wú)法顯示道路的整體情況，駕駛員無(wú)法獲知路面坑洼、道路邊緣、障礙物等全面環(huán)境信息；
6、2.使用普通紅外攝像頭，只能生成黑白圖像，無(wú)法區(qū)分交通信號(hào)燈、車(chē)輛尾燈、交通標(biāo)志等彩色關(guān)鍵信息；
7、3.高度依賴(lài)于物體識(shí)別算法和可見(jiàn)性判斷算法，存在漏檢或誤檢的安全隱患，一旦算法失效將導(dǎo)致嚴(yán)重事故。
8、因此，迫切需要一種能夠在低可視條件下為駕駛員提供實(shí)時(shí)、清晰、彩色、與真實(shí)場(chǎng)景1:1精準(zhǔn)疊加的完整前方道路實(shí)景的駕駛輔助系統(tǒng)及方法。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于彩色紅外成像和ar?hud的1:1?實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)顯示駕駛輔助系統(tǒng)及方法，能夠在夜間、霧天、雨天等低可視條件下為駕駛員提供實(shí)時(shí)、清晰的彩色道路圖像，并與真實(shí)場(chǎng)景精準(zhǔn)疊加，顯著提高駕駛安全性。
2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
3、第一方面，本發(fā)明提供一種基于彩色紅外成像的?1:1?ar?hud?低可視駕駛輔助系統(tǒng)，包括：
4、彩色熱成像攝像頭或多光譜紅外攝像機(jī)，安裝在車(chē)輛前部，用于采集車(chē)輛前進(jìn)方向的完整紅外實(shí)景圖像以及彩色信息；
5、圖像處理單元，與所述彩色熱成像攝像頭電連接，用于接收并處理，將紅外灰度圖像轉(zhuǎn)換為高保真可見(jiàn)光彩色圖像；
6、ar?hud顯示單元，與所述圖像處理單元電連接，用于將處理后的完整彩色紅外實(shí)景圖像以1:1?的比例投射到車(chē)輛前擋風(fēng)玻璃上，與真實(shí)道路場(chǎng)景疊加顯示。
7、所述系統(tǒng)不包括物體識(shí)別單元和可見(jiàn)性判斷單元，直接投射采集到的完整道路圖像。
8、進(jìn)一步地，所述熱成像攝像頭可同時(shí)覆蓋可見(jiàn)光和紅外波段，能夠采集并保留交通信號(hào)燈、車(chē)輛尾燈和交通標(biāo)志的彩色信息。
9、進(jìn)一步地，所述ar?hud顯示單元的投射視場(chǎng)角與所述熱成像攝像頭的拍攝視場(chǎng)角相同。
10、進(jìn)一步地，所述圖像處理單元包括圖像預(yù)處理模塊、幾何校準(zhǔn)模塊、彩色增強(qiáng)模塊和投射控制模塊。
11、進(jìn)一步地，還包括光照傳感器，與所述圖像處理單元電連接，用于檢測(cè)環(huán)境光照強(qiáng)度。
12、進(jìn)一步地，所述投射控制模塊能夠根據(jù)所述光照傳感器檢測(cè)的環(huán)境光照強(qiáng)度自動(dòng)調(diào)節(jié)ar?hud?顯示單元的投射亮度。
13、第二方面，本發(fā)明提供一種基于彩色紅外成像的1:1?ar?hud?實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)顯示駕駛輔助方法，包括以下步驟：
14、通過(guò)彩色熱成像攝像頭或多光譜紅外攝像機(jī)采集車(chē)輛前進(jìn)方向的實(shí)時(shí)完整紅外實(shí)景圖像以及彩色信息；
15、對(duì)采集的完整紅外實(shí)景圖像進(jìn)行去噪和畸變校正處理；
16、根據(jù)攝像頭的安裝參數(shù)和車(chē)輛的運(yùn)動(dòng)狀態(tài)，對(duì)圖像進(jìn)行幾何校準(zhǔn)，使圖像中的物體與真實(shí)場(chǎng)景中的物體在位置和比例上一一對(duì)應(yīng)；
17、對(duì)校準(zhǔn)后的圖像進(jìn)行彩色增強(qiáng)處理，提高圖像的色彩飽和度和對(duì)比度；
18、處理后的完整彩色紅外實(shí)景圖像實(shí)時(shí)發(fā)送至ar?hud?顯示單元；
19、由ar?hud?顯示單元將圖像以?1:1?的比例實(shí)時(shí)投射到車(chē)輛前擋風(fēng)玻璃上，與真實(shí)道路場(chǎng)景疊加顯示。
20、所述方法不包括物體識(shí)別步驟和可見(jiàn)性判斷步驟。
21、進(jìn)一步地，步驟?3?中所述的幾何校準(zhǔn)具體包括：
22、根據(jù)攝像頭的安裝高度、俯仰角和水平角，計(jì)算圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的真實(shí)世界坐標(biāo)；
23、根據(jù)計(jì)算結(jié)果對(duì)圖像進(jìn)行透視變換，使圖像中的直線與真實(shí)世界中的直線保持平行；
24、根據(jù)車(chē)輛的實(shí)時(shí)車(chē)速和轉(zhuǎn)向角，對(duì)圖像進(jìn)行動(dòng)態(tài)補(bǔ)償，消除車(chē)輛運(yùn)動(dòng)帶來(lái)的圖像偏移。
25、進(jìn)一步地，還包括以下步驟：
26、通過(guò)光照傳感器檢測(cè)環(huán)境光照強(qiáng)度；
27、根據(jù)檢測(cè)到的環(huán)境光照強(qiáng)度自動(dòng)調(diào)節(jié)?ar?hud?顯示單元的投射亮度。
28、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于彩色紅外成像的1:1?ar?hud?低可視駕駛輔助方法。
29、本發(fā)明的有益效果在于：
30、采用彩色熱成像攝像頭或多光譜紅外攝像機(jī)，能夠同時(shí)采集可見(jiàn)光和紅外波段的圖像，在低可視條件下不僅能看到物體輪廓，還能清晰分辨交通信號(hào)燈、車(chē)輛尾燈等彩色關(guān)鍵信息；
31、通過(guò)?ar?hud?將完整的彩色紅外實(shí)景圖像實(shí)時(shí)以?1:1?的比例投射到前擋風(fēng)玻璃上，與真實(shí)場(chǎng)景精準(zhǔn)疊加，駕駛員無(wú)需轉(zhuǎn)移視線即可獲得全面的前方道路信息；
32、獨(dú)特的幾何校準(zhǔn)方法，能夠根據(jù)攝像頭安裝參數(shù)和車(chē)輛運(yùn)動(dòng)狀態(tài)對(duì)圖像進(jìn)行動(dòng)態(tài)校準(zhǔn)，確保圖像與真實(shí)場(chǎng)景在位置和比例上完全一致，消除了錯(cuò)位感；
33、不需要物體識(shí)別和可見(jiàn)性判斷，不存在漏檢或誤檢的安全隱患，系統(tǒng)可靠性更高；
34、能夠根據(jù)環(huán)境光照強(qiáng)度自動(dòng)調(diào)節(jié)投射亮度，保證在各種光照條件下都有良好的顯示效果。
1.一種基于彩色紅外成像的?1:1?ar?hud?低可視駕駛輔助系統(tǒng)，其特征在于，包括：彩色熱成像攝像頭或多光譜紅外攝像機(jī)，安裝在車(chē)輛前部，用于采集車(chē)輛前進(jìn)方向的完整紅外實(shí)景圖像以及彩色信息；圖像處理單元，與所述彩色熱成像攝像頭電連接，用于接收并處理，將紅外灰度圖像轉(zhuǎn)換為高保真可見(jiàn)光彩色圖像；ar?hud?顯示單元，與所述圖像處理單元電連接，用于將處理后的完整彩色紅外實(shí)景圖像以?1:1?的比例投射到車(chē)輛前擋風(fēng)玻璃上，與真實(shí)道路場(chǎng)景疊加顯示。
2.?根據(jù)權(quán)利要求?1?所述的系統(tǒng)，其特征在于，所述彩色熱成像攝像頭或多光譜紅外攝像機(jī)，同時(shí)覆蓋可見(jiàn)光和紅外波段，能夠采集并保留交通信號(hào)燈、車(chē)輛尾燈和交通標(biāo)志的彩色信息。
3.根據(jù)權(quán)利要求?1?所述的系統(tǒng)，其特征在于，所述?ar?hud?顯示單元的投射視場(chǎng)角與所述彩色熱成像攝像頭的拍攝視場(chǎng)角相同。
4.根據(jù)權(quán)利要求?1?所述的系統(tǒng)，其特征在于，所述圖像處理單元包括圖像預(yù)處理模塊、幾何校準(zhǔn)模塊、彩色增強(qiáng)模塊和投射控制模塊。
5.?根據(jù)權(quán)利要求?1?所述的系統(tǒng)，其特征在于，還包括光照傳感器，與所述圖像處理單元電連接，用于檢測(cè)環(huán)境光照強(qiáng)度。
6.根據(jù)權(quán)利要求?5?所述的系統(tǒng)，其特征在于，所述投射控制模塊能夠根據(jù)所述光照傳感器檢測(cè)的環(huán)境光照強(qiáng)度自動(dòng)調(diào)節(jié)?ar?hud?顯示單元的投射亮度。
7.一種基于彩色紅外成像的?1:1?ar?hud?低可視駕駛輔助方法，其特征在于，包括以下步驟：s1：通過(guò)彩色熱成像攝像頭或多光譜紅外攝像機(jī)采集車(chē)輛前進(jìn)方向的實(shí)時(shí)完整彩色紅外實(shí)景圖像；s2：對(duì)采集的紅外實(shí)景圖像進(jìn)行去噪和畸變校正處理；s3：根據(jù)攝像頭的安裝參數(shù)和車(chē)輛的運(yùn)動(dòng)狀態(tài)，對(duì)圖像進(jìn)行幾何校準(zhǔn)，使圖像中的物體與真實(shí)場(chǎng)景中的物體在位置和比例上一一對(duì)應(yīng)；s4：對(duì)校準(zhǔn)后的圖像進(jìn)行彩色增強(qiáng)處理，將紅外灰度圖像轉(zhuǎn)換為高保真可見(jiàn)光彩色圖像；s5：將處理后的完整彩色紅外實(shí)景圖像發(fā)送至?ar?hud?顯示單元；s6：由?ar?hud?顯示單元將圖像實(shí)時(shí)以?1:1?的比例投射到車(chē)輛前擋風(fēng)玻璃上，與真實(shí)道路場(chǎng)景疊加顯示。
8.根據(jù)權(quán)利要求?7?所述的方法，其特征在于，步驟?s3?中所述的幾何校準(zhǔn)具體包括：根據(jù)攝像頭的安裝高度、俯仰角和水平角，計(jì)算圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的真實(shí)世界坐標(biāo)；根據(jù)計(jì)算結(jié)果對(duì)圖像進(jìn)行透視變換，使圖像中的直線與真實(shí)世界中的直線保持平行；根據(jù)車(chē)輛的實(shí)時(shí)車(chē)速和轉(zhuǎn)向角，對(duì)圖像進(jìn)行動(dòng)態(tài)補(bǔ)償，消除車(chē)輛運(yùn)動(dòng)帶來(lái)的圖像偏移。
9.根據(jù)權(quán)利要求?7?所述的方法，其特征在于，還包括以下步驟：通過(guò)光照傳感器檢測(cè)環(huán)境光照強(qiáng)度；根據(jù)檢測(cè)到的環(huán)境光照強(qiáng)度自動(dòng)調(diào)節(jié)?ar?hud?顯示單元的投射亮度。
10.?一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求?7-9?中任一項(xiàng)所述的方法。