本發明涉及計算機視覺與圖像處理,尤其涉及一種基于人眼視覺非線性映射的圖像去霧恢復方法和系統。
背景技術:
1、圖像去霧技術屬于計算機視覺與數字圖像處理領域中的重要研究方向,其主要目的在于削弱或去除由霧、霾、水汽、煙塵等大氣散射介質引起的圖像退化現象,從而提升圖像的可辨識度、色彩真實性、對比度以及后續機器視覺任務的可靠性。在實際成像過程中,場景目標反射光在傳播至成像設備的路徑中,會受到空氣分子與懸浮顆粒的吸收和散射作用,使得成像結果中同時包含目標的直接衰減分量和由介質后向散射形成的空氣光分量,最終表現為遠處目標對比度下降、圖像整體發灰發白、暗部細節被淹沒、亮部區域失真以及綜合色彩偏移等問題。該類退化不僅影響人眼觀察體驗,而且會顯著降低目標檢測、語義分割、自動駕駛環境感知、安防監控和遙感判讀等應用場景中的算法精度,因此,圍繞有霧圖像的高質量恢復,長期以來一直是本領域的研究重點。
2、現有圖像去霧方法大體可以分為三類:第一類為基于物理散射模型的復原方法,此類方法通常以大氣散射模型為基礎,通過估計大氣光、透射率或場景深度等參數對退化圖像進行反演恢復;第二類為基于圖像增強的去霧方法,此類方法更多從提升視覺可見性出發,通過直方圖均衡、retinex、多尺度增強、顏色校正等手段改善圖像觀感;第三類為基于深度學習的數據驅動方法,通過構建有霧與無霧圖像之間的端到端映射模型實現復原。總體而言,基于物理模型的方法具有一定可解釋性,但對透射率估計和大氣光估計精度較為敏感;基于增強的方法實現相對簡便,但往往缺少嚴格物理約束,容易出現色彩漂移、過增強或細節偽影;基于深度學習的方法在特定數據集上可以取得較好效果,但通常依賴訓練數據分布,且可解釋性較弱,在真實復雜霧天場景中的泛化穩定性仍然存在不足。
3、例如,中國專利文件cn104182943b公開了一種融合人眼視覺特性的單幅圖像去霧方法,該方法仍然建立在單幅圖像去霧的經典物理復原框架上,首先獲取輸入霧霾圖像的暗通道圖像,再利用暗原色先驗估測大氣光照值,隨后計算初始大氣傳輸值,并通過引導濾波器進行細化,最終結合大氣光照估測值與透射率實現清晰圖像恢復;與此同時,該專利文件還引入了飽和區域與非飽和區域的分割策略以及基于人眼視覺可覺察閾值的局部調節思想,以期在去霧的同時降低光暈和噪聲。該專利文件說明了在單幅圖像去霧中引入視覺感知約束具有現實意義,也說明傳統僅依賴暗通道和線性反演的方式,在天空、飽和亮區和濃霧區域中容易產生恢復不穩定的問題。然而,進一步分析該專利文件的技術路線可以看出,其核心仍然是圍繞暗通道先驗、大氣光估計、透射率估計以及基于大氣散射模型的線性反演展開,所謂人眼視覺特性的引入,主要體現在分區調節、閾值設定以及局部亮度變化的調節參數選擇上。換言之,該現有技術并未從顏色感知機理的角度重新定義去霧恢復變量,也沒有將去霧過程從傳感器響應主導的rgb空間遷移到更加符合視覺均勻性的感知顏色空間中進行建模。特別是對于霧天圖像中普遍存在的色度衰減與明度變化并不同步的現象,該專利文件并未分別建立色度與明度的獨立恢復機制,而是仍然在傳統的線性大氣散射反演框架下統一處理,因此在強霧區域、天空區域、低飽和區域以及白色或灰色目標附近,仍然容易出現去霧后圖像偏暗、色彩不自然、局部噪聲放大以及視覺舒適性不足等問題。
4、中國專利文件cn104537615a認識到rgb空間直接處理容易造成色彩失真,因此將霧天圖像轉換到hsv色彩空間中進行增強處理,認為hsv空間中的飽和度、色調和亮度更符合人類視覺感知,并在v分量上進行分塊、多尺度retinex增強,以改善圖像的清晰度和視覺效果。該專利文件說明,采用感知相關的顏色空間來分離亮度信息與色彩信息,確實有助于降低直接處理rgb三通道所帶來的綜合色彩偏移問題,也說明現有技術已經意識到顏色空間選擇對去霧質量具有重要影響。但是,該專利文件的技術路線本質上仍屬于圖像增強范疇,其主要依據是局部retinex理論、多尺度高斯卷積及分塊增強機制,著重改善圖像視覺可見性,而非基于霧介質傳播機理建立嚴格的恢復模型。該專利文件雖然在hsv空間中分別對亮度與色彩進行處理,但其并未引入透射率與感知量之間的定量映射關系,也未建立后向散射背景、暗基準明度或霧濃度對色度模長的非線性衰減模型。與此同時,hsv空間雖較rgb更接近人眼直觀描述,但其并不是嚴格視覺均勻的顏色空間,不同區域中相同數值變化未必對應相同感知變化,因此基于hsv的增強操作在濃霧、低對比度及復雜照明場景下,仍然可能出現色彩恢復不穩定、明暗層次還原失真以及部分區域增強過度的問題。尤其在需要兼顧物理一致性與視覺自然性的應用中,僅依賴hsv空間的經驗型增強策略,難以實現對亮度和色度的精確分離恢復。
5、綜合上述兩篇現有技術可以看出,現有去霧方法雖然已經分別從物理模型、視覺調節和感知顏色空間、增強處理兩個方向進行了探索,但仍存在以下共性不足:其一,現有技術大多仍以rgb空間線性反演或hsv空間經驗增強為主,尚未在更加符合視覺均勻性和綜合色差表達規律的cielab空間內,分別對明度分量和色度分量建立面向霧退化機理的恢復模型;其二,現有技術通常將透射率主要作為傳統大氣散射模型的反演參數使用,而沒有進一步挖掘透射率與人眼感知量之間的非線性定量聯系,尤其缺少透射率與色度向量模長、透射率與扣除暗基準后的明度差之間的實驗標定關系;其三,現有技術在顏色恢復過程中普遍缺乏對色調相對恒常、色度幅值衰減、亮度背景抬升三者之間差異化變化規律的統一建模,因此在濃霧區、亮區、低飽和區和天空區域等典型難點場景下,仍然難以同時兼顧細節恢復、色彩自然度和視覺舒適度。
6、因此,亟需提出一種新的圖像去霧恢復方法:該方法既能夠保留基于透射率的物理可解釋性,又能夠從人眼視覺感知角度出發,在感知更加均勻的顏色空間內分別對明度與色度進行建模恢復;進一步地,還應能夠通過實驗手段建立霧濃度與感知量衰減之間的非線性映射關系,使去霧后的圖像不僅在數值上得到復原,而且在色彩自然度、亮度舒適性和細節層次方面更符合人眼觀察習慣,從而克服現有技術在視覺質量和物理一致性之間難以兼顧的技術缺陷。
技術實現思路
1、本發明的技術目的在于,針對現有圖像去霧方法普遍存在的色彩恢復不自然、濃霧區域細節易丟失、亮度反演不穩定以及視覺感知一致性不足等問題,提供一種基于人眼視覺非線性映射的圖像去霧恢復方法,通過將有霧圖像轉換至更符合人眼感知特性的cielab顏色空間,結合透射率與色度、明度之間的非線性映射關系,對色度分量和明度分量分別進行恢復,從而在保證物理可解釋性的同時,提高去霧圖像的色彩自然度、細節清晰度和整體視覺舒適性。
2、第一方面,為了實現上述的目的,本發明采用了以下的技術方案:
3、一種基于人眼視覺非線性映射的圖像去霧恢復方法,包括:
4、s1、獲取待處理的有霧圖像,并對所述有霧圖像進行白平衡校正,得到校正后有霧圖像,其中,表示像素位置坐標;
5、s2、基于所述校正后有霧圖像估計透射率圖,;
6、s3、將從rgb顏色空間轉換至cielab顏色空間,分離得到明度分量、第一色度分量和第二色度分量;
7、s4、根據和計算色調角及有霧色度向量模長;
8、s5、在保持不變的條件下,基于對進行非線性恢復,得到去霧后的色度向量模長,并進一步求得去霧后的第一色度分量和第二色度分量;
9、s6、基于確定明度暗基準,并基于和對進行非線性恢復,得到去霧后的明度分量;
10、s7、將、和轉換回rgb顏色空間,得到去霧圖像。
11、作為優選,步驟s1中,所述白平衡校正采用灰度世界白平衡方法、基于白色區域檢測的白平衡方法、基于色溫估計的白平衡方法中的任一種;
12、和/或,步驟s2中,所述透射率圖由獨立的透射率估計模塊輸出,,所述透射率估計模塊采用基于暗通道先驗的透射率估計算法、基于顏色衰減先驗的透射率估計算法、基于物理模型優化的透射率估計算法或者基于深度學習網絡的透射率估計算法中的任一種。
13、作為優選,步驟s2中,當所述透射率估計模塊采用基于暗通道先驗的透射率估計算法時,粗透射率圖按下式計算:
14、;
15、其中,為像素位置處的粗透射率值,為保霧系數,為顏色通道索引,為以像素位置為中心的局部窗口,為像素位置處在顏色通道上的像素值,為大氣光在顏色通道上的分量,為取最小值運算;
16、并對所述粗透射率圖進行引導濾波或邊緣保持濾波,以得到所述透射率圖。
17、作為優選,步驟s3中將所述校正后有霧圖像轉換至cielab顏色空間時,以d65白點作為參考白點;
18、和/或,步驟s4中,所述有霧色度向量模長按下式計算:
19、;
20、所述色調角按下式計算:
21、。
22、作為優選,步驟s5中,所述去霧后的第一色度分量和第二色度分量分別按下式計算:
23、;
24、。
25、按下式計算:
26、;
27、其中,為像素位置處的色度恢復增益;
28、按下式計算:
29、;
30、其中,為自然指數函數,為參考透射率,為用于色度恢復的限幅透射率;
31、按下式確定:
32、;
33、其中,為色度恢復下限閾值,且;
34、和/或,步驟s6中,所述去霧后的明度分量按下式計算:
35、;
36、其中,按下式計算:
37、;
38、為參考透射率,為用于明度恢復的限幅透射率;
39、按下式確定:
40、;
41、其中,為明度恢復下限閾值,且。
42、作為優選,步驟s5中,所述預先構建的透射率與色度感知量之間的非線性映射關系為透射率與色度向量模長之間的指數映射關系,其表達式為:
43、;
44、其中,為色度向量模長,為與目標固有色度相關的擬合系數,t為透射率,為自然指數函數;所述擬合系數由受控霧氣環境下的標準色卡實驗數據標定獲得。
45、和/或,步驟s6中,所述預先構建的透射率與明度感知量之間的非線性映射關系為透射率與明度差分量之間的指數映射關系,其表達式為:
46、;
47、其中,為明度差分量,為與目標固有亮度相關的擬合系數,t為透射率,為自然指數函數;所述擬合系數由受控霧氣環境下的標準色卡實驗數據標定獲得。
48、作為優選,步驟s6中,所述明度暗基準通過零反射目標假設下的后向散射輻射量換算得到,其中,后向散射對應的三刺激值滿足:
49、;
50、其中,、、分別為像素位置處明度暗基準對應的三刺激值,為波長,和分別為積分波長范圍的下限和上限,為入射光源的光譜功率分布,為像素位置處的透射率,為后向散射相函數,為后向散射角,、、為cie標準顏色匹配函數;
51、并再通過cielab轉換函數flab(.)得到:
52、;
53、和/或,步驟s7中,在將所述去霧后的明度分量、所述去霧后的第一色度分量以及所述去霧后的第二色度分量轉換回rgb顏色空間后,對輸出像素值進行色域裁剪,裁剪后的輸出像素值按下式確定:
54、;
55、其中,為像素位置處顏色通道的裁剪后輸出值,為像素位置處顏色通道的裁剪前輸出值,為顏色通道索引,為目標圖像位深對應的通道最大值,為取較大值運算,為取較小值運算。
56、第二方面,本發明還提供了一種基于人眼視覺非線性映射的圖像去霧恢復系統,所述系統被配置為執行所述的方法,包括:
57、圖像輸入與白平衡校正模塊,用于獲取待處理的有霧圖像并進行白平衡校正,得到校正后有霧圖像;
58、透射率估計模塊,用于估計所述校正后有霧圖像的透射率圖;
59、顏色空間轉換模塊,用于將所述校正后有霧圖像從rgb顏色空間轉換至cielab顏色空間,并輸出明度分量、第一色度分量和第二色度分量;色度恢復模塊,用于根據透射率圖、第一色度分量和第二色度分量計算色調角、有霧色度向量模長以及去霧后的第一色度分量和第二色度分量;
60、明度恢復模塊,用于根據透射率圖和明度分量計算明度暗基準、明度差分量以及去霧后的明度分量;
61、逆顏色空間轉換模塊,用于將去霧后的明度分量、去霧后的第一色度分量和去霧后的第二色度分量轉換回rgb顏色空間,得到最終去霧圖像。
62、第三方面,本發明還提供了一種計算機可讀存儲介質,其上存儲有計算機程序或指令,該計算機程序或指令被處理器執行時實現所述方法。
63、第四方面,本發明還提供了一種計算機程序產品,包括計算機程序或指令,該計算機程序或指令被處理器執行時實現所述方法。
64、本發明通過將有霧圖像的恢復過程由傳統rgb傳感器響應空間轉移至更符合人眼視覺感知規律的cielab顏色空間,并利用透射率與色度模長、明度差分量之間的非線性映射關系,對色度信息和明度信息進行解耦恢復,從而能夠取得更優的綜合技術效果:一方面,本發明在色度恢復過程中保持色調角基本不變,僅對$ab$平面內色度向量的模長進行自適應放大,使恢復后的圖像在顏色走向上更接近真實場景,可有效避免傳統線性反演中常見的偏色、發灰、天空區域失真以及高亮區域色彩漂白等問題,顯著提高色彩自然度和視覺協調性;另一方面,本發明針對明度通道引入明度暗基準,并在扣除暗基準后按照透射率執行非線性恢復,能夠更準確地區分目標本征亮度與霧氣后向散射帶來的背景抬升效應,從而在濃霧區域、遠距離區域以及低對比度區域中實現更加平滑、穩定的亮度重建,既增強暗部與中間層次細節,又抑制因透射率過小而引起的噪聲過放大和局部過增強現象;此外,本發明的恢復模塊與透射率估計模塊相互解耦,可兼容多種現有透射率獲取方式,具有良好的模塊化適配能力和工程應用靈活性,在不依賴大規模訓練樣本的情況下即可實現閉式計算恢復,因此還具有計算效率高、實現成本低、物理意義清晰、可解釋性強和泛化能力較好的優點。綜上,本發明能夠在細節清晰度、亮度舒適性、色彩真實性以及復雜霧天場景下的恢復穩定性等方面相較現有方法獲得更為均衡且顯著的提升。