本發(fā)明屬于計(jì)算機(jī)圖形學(xué)，具體涉及一種端到端混合表示全頻域光照的全局神經(jīng)繪制方法與系統(tǒng)。
背景技術(shù)：
1、神經(jīng)渲染與神經(jīng)全局光照在場(chǎng)景表示與實(shí)時(shí)渲染上已有不少進(jìn)展，但面向高質(zhì)量全局光照的端到端系統(tǒng)仍存在明顯缺口。圖形繪制流水線的發(fā)展表明，標(biāo)準(zhǔn)化架構(gòu)是技術(shù)演進(jìn)的基礎(chǔ)。第一代局部光照流水線（以opengl為代表）依托標(biāo)準(zhǔn)化三角光柵化與局部光照，形成以gpu為核心的圖形生態(tài)，但受限于近似光照模型，真實(shí)感提升空間有限。第二代全局光照流水線（以nvidia?rt?core為代表）借助硬件光線追蹤實(shí)現(xiàn)實(shí)時(shí)全局光照，基于rtcore的路徑追蹤結(jié)合神經(jīng)去噪可從低采樣結(jié)果恢復(fù)畫質(zhì)，但仍存在時(shí)間一致性、復(fù)雜光路處理等問(wèn)題。
2、為追求全頻率互反射光照效果，公開(kāi)號(hào)為cn103489215a的專利文獻(xiàn)提出了一種場(chǎng)景內(nèi)全頻率互反射光照效果的繪制方法，通過(guò)將brdf和光源表示為球面高斯函數(shù)，并利用reflector?cut技術(shù)加速互反射計(jì)算，能夠在一定程度上處理從漫反射到高光澤材質(zhì)的全頻率光照。然而，該方法嚴(yán)重依賴離線生成的層次結(jié)構(gòu)和虛擬光源采樣，難以動(dòng)態(tài)適應(yīng)場(chǎng)景變化；同時(shí)，其光照計(jì)算基于解析近似而非神經(jīng)網(wǎng)絡(luò)，無(wú)法與神經(jīng)渲染管線高效集成，實(shí)時(shí)性受限，且對(duì)焦散、透明物體等復(fù)雜光路的建模能力不足。
3、為進(jìn)一步整合多元場(chǎng)景表示與神經(jīng)渲染，公開(kāi)號(hào)為cn120612417a的專利文獻(xiàn)提出了一種多元混合表示場(chǎng)景的全局神經(jīng)繪制方法，采用傳統(tǒng)顯式表示（網(wǎng)格）與神經(jīng)場(chǎng)表示（如三維高斯?jié)姙R）的混合場(chǎng)景表達(dá)，通過(guò)幾何模塊生成多通道幾何緩沖，并利用神經(jīng)網(wǎng)絡(luò)子模塊進(jìn)行光照計(jì)算，配合調(diào)度與同步模塊實(shí)現(xiàn)傳統(tǒng)渲染與神經(jīng)推理的協(xié)同。然而，該方法未對(duì)不同頻域的光照分量進(jìn)行區(qū)分處理，導(dǎo)致低頻漫反射與高頻焦散、間接高光等跨度較大的光照效果難以同時(shí)高質(zhì)量還原；同時(shí)，在網(wǎng)格與三維高斯混合表示的場(chǎng)景中，由于缺少對(duì)不同表示區(qū)域間相互影響的約束機(jī)制，高斯物體的高頻陰影或顏色殘差容易在訓(xùn)練中擴(kuò)散至不應(yīng)影響的背景區(qū)域，造成背景顏色異常；并且，該方法對(duì)透明物體透射、焦散等復(fù)雜光路的建模能力有限，難以生成物理正確的特效效果。
4、綜上，現(xiàn)有技術(shù)仍存在以下不足：（1）神經(jīng)場(chǎng)景表示（如神經(jīng)輻射場(chǎng)、三維高斯?jié)姙R）與神經(jīng)全局光照模塊缺乏統(tǒng)一集成，現(xiàn)有工作多針對(duì)單階段優(yōu)化，整體性能難以充分發(fā)揮；（2）單一場(chǎng)景表示無(wú)法同時(shí)滿足全局光照渲染的全部需求：網(wǎng)格利于幾何緩沖生成但復(fù)雜幾何代價(jià)高，神經(jīng)輻射場(chǎng)畫質(zhì)好但渲染慢且難與光柵化管線集成，三維高斯實(shí)時(shí)性好但在平坦紋理區(qū)需大量高斯且無(wú)顯式拓?fù)洌唬?）現(xiàn)有神經(jīng)全局光照工作多針對(duì)單一光照類型或場(chǎng)景配置，難以覆蓋從低頻漫反射到高頻焦散、間接高光等全頻域效果。因此，迫切需要一種能夠?qū)崿F(xiàn)端到端混合表示、全頻域神經(jīng)光照、并具備系統(tǒng)級(jí)協(xié)同優(yōu)化能力的全局神經(jīng)繪制方法與系統(tǒng)。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述，本發(fā)明的目的是提供一種端到端混合表示全頻域光照的全局神經(jīng)繪制方法與系統(tǒng)，基于網(wǎng)格與三維高斯?jié)姙R的混合場(chǎng)景建模，將光照分解為通用背景光照與特效物體光照?qǐng)?zhí)行雙路神經(jīng)渲染，并引入基于高斯物體區(qū)域遮罩的圖層混合策略，實(shí)現(xiàn)網(wǎng)格與三維高斯混合場(chǎng)景表示的協(xié)同以及面向光源與面向?qū)ο箅p路神經(jīng)光照的全頻域覆蓋，并進(jìn)一步支持面向應(yīng)用需求的精度可配置，能夠在保證高質(zhì)量全局光照畫質(zhì)的前提下顯著提升渲染性能。
2、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的技術(shù)方案如下：
3、第一方面，本發(fā)明實(shí)施例提供的一種端到端混合表示全頻域光照的全局神經(jīng)繪制方法，包括以下步驟：
4、采用網(wǎng)格與三維高斯?jié)姙R的混合表示對(duì)場(chǎng)景進(jìn)行建模，生成網(wǎng)格幾何緩沖、高斯緩沖及高斯物體區(qū)域遮罩；
5、通過(guò)通用全局光照子網(wǎng)絡(luò)，基于網(wǎng)格幾何緩沖與高斯緩沖預(yù)測(cè)非高斯物體區(qū)域的通用場(chǎng)景顏色；通過(guò)特效全局光照子網(wǎng)絡(luò)，基于高斯緩沖預(yù)測(cè)高斯物體顏色及高斯物體對(duì)背景影響的殘差顏色；
6、根據(jù)高斯物體區(qū)域遮罩，將通用場(chǎng)景顏色、高斯物體顏色及殘差顏色進(jìn)行圖層混合得到最終像素顏色，并輸出渲染圖像。
7、優(yōu)選地，所述高斯物體區(qū)域遮罩為基于高斯可微光柵化過(guò)程中的不透明度累計(jì)值、對(duì)象編號(hào)及深度一致性測(cè)試生成的數(shù)值掩碼，用于標(biāo)識(shí)像素是否屬于高斯物體主導(dǎo)區(qū)域。
8、優(yōu)選地，所述通用全局光照子網(wǎng)絡(luò)包括：
9、光源編碼模塊，用于對(duì)場(chǎng)景光源進(jìn)行編碼，輸出光源特征；
10、神經(jīng)光照?qǐng)瞿K，用于根據(jù)網(wǎng)格幾何緩沖與高斯緩沖，構(gòu)建每個(gè)像素位置的空間光照分布特征；
11、像素-光源注意力模塊，用于將空間光照分布特征與光源特征進(jìn)行注意力聚合，輸出聚合特征；
12、解碼模塊，用于將聚合特征解碼，輸出用于表征非高斯物體區(qū)域的低頻漫反射、間接光及常規(guī)陰影成分的通用場(chǎng)景顏色。
13、優(yōu)選地，所述特效全局光照子網(wǎng)絡(luò)包括：
14、對(duì)象屬性編碼模塊，用于提取高斯物體的對(duì)象級(jí)屬性，輸出對(duì)象特征；
15、可變形特征場(chǎng)模塊，用于根據(jù)當(dāng)前視角與幾何變換對(duì)對(duì)象特征進(jìn)行變形映射，輸出變形特征；
16、超網(wǎng)絡(luò)模塊，用于將變形特征及高斯緩沖作為條件，生成特效全局光照子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；
17、預(yù)測(cè)模塊，用于基于網(wǎng)絡(luò)參數(shù)對(duì)高斯緩沖進(jìn)行逐像素預(yù)測(cè)，輸出表征高斯物體自身直接光、間接光、透明/半透明外觀和高頻細(xì)節(jié)的高斯物體顏色，并輸出表征高斯物體引起的投影陰影、焦散、間接高光或顏色透射這些背景修正量的殘差顏色。
18、優(yōu)選地，所述圖層混合的公式為：
19、，
20、其中，表示最終像素顏色，表示高斯物體區(qū)域遮罩，表示通用場(chǎng)景顏色，表示殘差顏色，表示高斯物體顏色，表示逐像素逐通道乘法。
21、優(yōu)選地，訓(xùn)練階段采用端到端聯(lián)合監(jiān)督：
22、以高斯物體區(qū)域遮罩之外的非高斯物體區(qū)域監(jiān)督通用全局光照子網(wǎng)絡(luò)；
23、特效全局光照子網(wǎng)絡(luò)采用遮罩門控的雙分支監(jiān)督，其中：第一分支以高斯物體區(qū)域遮罩內(nèi)部監(jiān)督高斯物體顏色；第二分支通過(guò)對(duì)高斯物體區(qū)域遮罩進(jìn)行區(qū)域擴(kuò)展生成用于限定殘差顏色的有效作用區(qū)域的高斯影響遮罩，并以高斯影響遮罩內(nèi)且非高斯物體區(qū)域的背景影響區(qū)域監(jiān)督高斯物體對(duì)背景影響的殘差顏色。
24、優(yōu)選地，渲染階段采用端到端單次前向傳播：
25、基于當(dāng)前視角實(shí)時(shí)生成網(wǎng)格幾何緩沖、高斯緩沖及高斯物體區(qū)域遮罩，將網(wǎng)格幾何緩沖與高斯緩沖輸入訓(xùn)練后的通用全局光照子網(wǎng)絡(luò)與特效全局光照子網(wǎng)絡(luò)進(jìn)行并行推理，并根據(jù)高斯物體區(qū)域遮罩對(duì)推理結(jié)果進(jìn)行圖層混合，一次前向計(jì)算得到最終像素顏色并輸出渲染圖像。
26、第二方面，本發(fā)明實(shí)施例提供的一種端到端混合表示全頻域光照的全局神經(jīng)繪制系統(tǒng)，利用上述的端到端混合表示全頻域光照的全局神經(jīng)繪制方法實(shí)現(xiàn)，包括：混合場(chǎng)景建模模塊、雙路神經(jīng)光照模塊和圖層混合輸出模塊；
27、所述混合場(chǎng)景建模模塊用于采用網(wǎng)格與三維高斯?jié)姙R的混合表示對(duì)場(chǎng)景進(jìn)行建模，生成網(wǎng)格幾何緩沖、高斯緩沖及高斯物體區(qū)域遮罩；
28、所述雙路神經(jīng)光照模塊用于通過(guò)通用全局光照子網(wǎng)絡(luò)，基于網(wǎng)格幾何緩沖與高斯緩沖預(yù)測(cè)非高斯物體區(qū)域的通用場(chǎng)景顏色；通過(guò)特效全局光照子網(wǎng)絡(luò)，基于高斯緩沖預(yù)測(cè)高斯物體顏色及高斯物體對(duì)背景影響的殘差顏色；
29、所述圖層混合輸出模塊用于根據(jù)高斯物體區(qū)域遮罩，將通用場(chǎng)景顏色、高斯物體顏色及殘差顏色進(jìn)行圖層混合得到最終像素顏色，并輸出渲染圖像。
30、第三方面，本發(fā)明實(shí)施例提供的一種電子設(shè)備，包括存儲(chǔ)器和一種或多種處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于當(dāng)執(zhí)行計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)上述的端到端混合表示全頻域光照的全局神經(jīng)繪制方法。
31、第四方面，本發(fā)明實(shí)施例提供的一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)上述的端到端混合表示全頻域光照的全局神經(jīng)繪制方法。
32、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果至少包括：
33、（1）混合表示協(xié)同：本發(fā)明通過(guò)采用網(wǎng)格與三維高斯?jié)姙R的混合表示對(duì)場(chǎng)景進(jìn)行建模，分別生成網(wǎng)格幾何緩沖與高斯緩沖，使得網(wǎng)格提供的穩(wěn)定幾何與材質(zhì)信息能夠與三維高斯捕獲的高頻細(xì)節(jié)、半透明效果互補(bǔ)，進(jìn)而利用兩類緩沖進(jìn)行特征聚合與光照預(yù)測(cè)，從而在保持實(shí)時(shí)性的前提下，增強(qiáng)了復(fù)雜幾何表達(dá)、多次反射建模以及多視圖與時(shí)間的一致性。
34、（2）全頻域光照覆蓋：本發(fā)明通過(guò)設(shè)置通用全局光照子網(wǎng)絡(luò)和特效全局光照子網(wǎng)絡(luò)，分別預(yù)測(cè)非高斯物體區(qū)域的通用場(chǎng)景顏色以及高斯物體自身顏色及其對(duì)背景影響的殘差顏色，形成面向光源與面向?qū)ο蟮碾p網(wǎng)絡(luò)設(shè)計(jì)，能夠覆蓋從低頻漫反射、間接光到高頻焦散、間接高光等全頻域光照效果，且支持完全動(dòng)態(tài)場(chǎng)景、多光源與復(fù)雜光照交互，無(wú)需預(yù)計(jì)算。
35、（3）遮罩約束的分層建模：本發(fā)明通過(guò)高斯物體區(qū)域遮罩和高斯影響遮罩，將通用全局光照子網(wǎng)絡(luò)與特效全局光照子網(wǎng)絡(luò)的訓(xùn)練區(qū)域、推理職責(zé)和輸出混合關(guān)系明確分離，能夠防止高斯陰影、高頻殘差或透明物體影響在訓(xùn)練中向無(wú)關(guān)背景外溢，并在推理階段提升高斯物體邊界、投射陰影和焦散殘差的可控性與穩(wěn)定性，以保障生成畫質(zhì)。