本發明大體上涉及計算機圖形學領域，更具體地，涉及一種用于進行實時光線跟蹤圖像渲染的方法和裝置。
背景技術：
1、通常，在計算機圖形學領域，實時光線跟蹤（ray?tracing，rt）是一項前沿渲染技術，其核心優勢在于能夠高度逼真地再現物理世界中光線的復雜行為。當為圖像中的每個像素精心采集大量樣本時，rt所呈現的卓越畫質尤為顯著。然而，rt在實時場景中的實際應用面臨重大挑戰，這主要源于計算限制。為每像素累積海量樣本面臨的計算限制往往難以克服，尤其是在包括智能手機、游戲機和pc在內的當代消費級硬件的背景下，實時渲染是基本需求。
2、目前，已經做出了某些嘗試，通過在rt實時渲染中采用多方位方法來解決為每像素累積海量樣本帶來的問題。在一種嘗試中，策略性地減少每個像素所需的樣本數量，在計算成本和視覺質量之間尋求平衡。在另一種嘗試中，采用降噪等后處理技術來優化蒙特卡羅（monte?carlo，mc）光線跟蹤過程的輸出，從而減少噪聲。在又一種嘗試中，采用幀內像素之間的非均勻樣本分配，結合啟發式方法，以優化計算資源。然而，與實時rt相關的問題在于，實時rt缺乏自適應采樣，依賴于概率性潛在空間表示，使用平均采樣的像素值，并且采用依賴于平均降噪的幀的時間反饋，這是不可取的。此外，實時rt的潛在空間表示被限制為僅捕獲一階矩和二階矩，這同樣是不可取的。因此，目前亟待解決的一個技術難題在于，如何使實時光線跟蹤渲染在當代消費級硬件施加的計算限制下可行且具有視覺吸引力，這一挑戰存在于包括智能手機、游戲機和pc上的移動游戲中。
3、因此，根據上述討論，需要克服與傳統實時渲染方法相關聯的上述缺點。
技術實現思路
1、本發明提供了一種實時光線跟蹤圖像渲染方法和用于進行實時光線跟蹤圖像渲染的裝置。本發明提供了一種現有問題的解決方案，即如何使實時光線跟蹤渲染在當代消費級硬件施加的計算限制下可行且具有視覺吸引力，這一挑戰存在于智能手機、游戲機和pc上的移動游戲中。本發明的目的是提供一種解決方案，其至少部分地克服現有技術中遇到的問題，并提供一種實時光線跟蹤圖像渲染的改進方法和用于實時光線跟蹤圖像渲染的改進裝置，例如用于路徑跟蹤自適應采樣和降噪的潛空間編碼。
2、本發明的一個或多個目的通過所附獨立權利要求中提供的技術方案來實現。本發明的有利實現方式在從屬權利要求中進一步定義。
3、在一個方面，本發明提供了一種實時光線跟蹤圖像渲染方法，所述方法包括：獲取針對要實時渲染的幀的采樣推薦；根據所述采樣推薦，利用光線跟蹤渲染器對所述幀中的像素值進行采樣；利用第二神經網絡來獲取所述幀的已獲知的潛在表示，所述第二神經網絡用作潛在狀態編碼器，所述潛在狀態編碼器被饋送有所述采樣的像素值和前一渲染幀的潛在表示；利用用作解碼器的第三神經網絡來處理所述幀的所述已獲知的潛在表示以獲取實時渲染輸出。
4、與傳統實時渲染方法相比，所述實時光線跟蹤圖像渲染方法在更短的時間內提供卓越的視覺質量，從而在相同的峰值信噪比（peak?signal-to-noise?ratio，psnr）下實現更高的幀率。所述方法使用戶能夠通過采集更少的樣本來平衡質量和渲染速度。所述方法進一步為渲染過程引入自適應，使得能夠在某些像素處采集零個樣本，這是實時光線跟蹤方面的突破性功能。有效的預處理和后處理技術進一步增強了自適應性，使得能夠采集顯著更少的樣本，包括少于一個樣本/像素（sample?per?pixel，spp），從而即使在資源受限的硬件上也能實現實時光線跟蹤。
5、在一種實現方式中，利用使用強化學習技術或深度學習技術訓練的第一神經網絡來獲取所述采樣推薦。
6、所述第一神經網絡使用所述強化學習技術或所述深度學習技術進行訓練，以便實現平均少于1個樣本/像素（<1?spp）的采樣大小，即一些像素中的零個樣本。
7、在另一種實現方式中，所述方法還包括：將附加數據作為附加參數饋送到所述第一神經網絡、所述第二神經網絡和所述第三神經網絡中的一個或多個，所述附加數據包括以下各項中的一項或多項：來自一個或多個先前渲染幀的非平均采樣像素值、運動矢量、反照率、法線和深度。
8、所述第一神經網絡、所述第二神經網絡和所述第三神經網絡中的所述一個或多個被饋送有所述附加數據或附加參數，以增強所述第一神經網絡、所述第二神經網絡和所述第三神經網絡操作中的所述一個或多個的性能和質量，最終實現更逼真且更詳細的圖像渲染。饋送附加數據有助于這些網絡在處理幀時做出更明智的決策，從而改善實時渲染輸出。
9、在另一種實現方式中，所述方法還包括：對一個或多個先前渲染幀的潛在表示進行扭曲；將所述一個或多個先前渲染幀的所述潛在表示饋送到所述第一神經網絡和/或所述第二神經網絡。
10、將所述一個或多個先前渲染幀的潛在表示饋送到所述第一神經網絡和/或所述第二神經網絡可以實現更準確且更加上下文感知能力的處理，這最終有助于提高所述實時渲染輸出的質量。
11、在另一種實現方式中，所述方法還包括：利用超采樣神經網絡對所述實時渲染輸出進行上采樣。
12、對所述實時渲染輸出進行上采樣會提供附加增強步驟，所述步驟涉及增加所述幀的分辨率或大小，使所述幀更詳細且視覺上更精細。
13、在另一種實現方式中，獲取所述采樣推薦以及對所述像素值進行采樣在同一幀的渲染期間迭代重復兩次或多次。
14、通過迭代重復獲取所述采樣推薦以及對所述像素值進行采樣，所述方法基于前一次迭代來更新所述采樣推薦和所述像素值的所述采樣。此類迭代有助于優化每個所述幀的資源分配（采樣預算），從而有助于提高所述實時渲染輸出的質量。
15、在另一方面，本發明提供了一種用于進行實時光線跟蹤圖像渲染的裝置。所述裝置包括：采樣推薦模塊，用于提供針對要實時渲染的幀的采樣推薦；光線跟蹤渲染器，用于根據所述采樣推薦對所述幀中的像素值進行采樣；潛在狀態編碼器，用于利用第二神經網絡來獲取所述幀的已獲知的潛在表示，所述第二神經網絡被饋送有所述采樣的像素值和前一渲染幀的潛在表示；解碼器，用于利用第三神經網絡來處理所述幀的所述已獲知的潛在表示以獲取實時渲染輸出。
16、所述裝置實現了本發明方法的所有優點和技術效果。
17、應當理解的是，所有上述實現方式都可以組合使用。需要說明的是，本技術中描述的所有設備、元件、電路、單元和模塊都可以在軟件或硬件元件或其任何類型的組合中實現。本技術中描述的各種實體執行的所有步驟以及描述的要由各種實體執行的功能旨在表明相應的實體適于或用于執行相應的步驟和功能。雖然在以下具體實施例的描述中，外部實體要執行的具體功能或步驟沒有在執行具體步驟或功能的實體的具體詳述元件的描述中反映，但是技術人員應清楚，這些方法和功能可以通過相應的軟件或硬件元件或其任何類型的組合實現。應當理解的是，本發明的特征易于以各種組合進行組合，而不脫離由所附權利要求書所定義的本發明的范圍。
18、本發明的附加方面、優點、特征和目的從附圖和結合以下所附權利要求書解釋的說明性實現方式的詳細描述中變得顯而易見。