本發(fā)明涉及圖像數(shù)據(jù)編碼和解碼技術(shù)，并且更具體地，涉及用于對現(xiàn)實(shí)媒體服務(wù)的360度圖像進(jìn)行編碼和解碼的方法和裝置。
背景技術(shù)：
1、隨著互聯(lián)網(wǎng)和移動終端的普及以及信息和通信技術(shù)的發(fā)展，多媒體數(shù)據(jù)的使用正在迅速增加。近來，在各種領(lǐng)域中出現(xiàn)了對諸如高清晰度（hd）圖像和超高清晰度（uhd）圖像的高質(zhì)量圖像和高分辨率圖像的需求，并且對諸如虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等的現(xiàn)實(shí)媒體服務(wù)的需求也正在迅速增加。具體地，由于用多個(gè)攝像裝置捕獲的多視圖圖像被處理用于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的360度圖像，因此針對處理生成的數(shù)據(jù)量大量增加，但是圖像處理系統(tǒng)的用于處理大量數(shù)據(jù)的性能不足。
2、如上所述，在現(xiàn)有技術(shù)的圖像編碼和解碼方法和裝置中，需要改進(jìn)圖像處理方面的性能，特別是圖像編碼/解碼方面的性能。
技術(shù)實(shí)現(xiàn)思路
1、技術(shù)問題
2、本發(fā)明的目的是提供一種用于改進(jìn)用于編碼和解碼的初始步驟中的圖像設(shè)置處理的方法。更具體地，本發(fā)明旨在提供一種用于在考慮360度圖像的特性的情況下改進(jìn)圖像設(shè)置處理的編碼和解碼方法和裝置。
3、技術(shù)解決方案
4、根據(jù)本發(fā)明的一方面，提供了一種對360度圖像進(jìn)行解碼的方法。
5、此處，對360度圖像進(jìn)行解碼的方法可以包括：接收包括編碼的360度圖像的比特流；參考從所接收到的比特流獲取的語法信息來生成預(yù)測圖像；通過將所生成預(yù)測圖像與通過對比特流進(jìn)行逆量化和逆變換所獲取的殘差圖像進(jìn)行組合來獲取解碼圖像；以及根據(jù)投影格式將解碼圖像重構(gòu)成360度圖像。
6、此處，語法信息可以包括360度圖像的投影格式信息。
7、此處，投影格式信息可以是指示以下中至少之一的信息：360度圖像被投影到2d平面中的等矩形投影（erp，equi-rectangular?projection）格式；360度圖像投影被投影到立方體的立方體映射投影（cmp，cubemap?projection）格式；360度圖像投影到八面體的八面體投影（ohp，octahedron?projection）格式；以及360度圖像被投影到多面體的二十面體投影（isp，icosahedral?projection）格式。
8、此處，重構(gòu)可以包括：參考語法信息根據(jù)區(qū)域式打包來獲取排列信息；以及根據(jù)排列信息來重排解碼圖像的塊。
9、此處，預(yù)測圖像的生成可以包括：對通過恢復(fù)比特流獲取的參考圖片執(zhí)行圖像擴(kuò)展；以及參考被執(zhí)行圖像擴(kuò)展的參考圖片來生成預(yù)測圖像。
10、此處，執(zhí)行圖像擴(kuò)展可以包括：基于參考圖片的劃分單元來執(zhí)行圖像擴(kuò)展。
11、此處，基于劃分單元來執(zhí)行圖像擴(kuò)展可以包括：通過使用劃分單元的參考像素針對每個(gè)劃分單元單獨(dú)地生成擴(kuò)展區(qū)域。
12、此處，可以使用與要擴(kuò)展的劃分單元在空間上相鄰的劃分單元的邊界像素或使用與要擴(kuò)展的劃分單元具有圖像連續(xù)性的劃分單元的邊界像素來生成擴(kuò)展區(qū)域。
13、此處，基于劃分單元來執(zhí)行圖像擴(kuò)展可以包括：使用組合有劃分單元中的在空間上彼此相鄰的兩個(gè)或更多個(gè)劃分單元的區(qū)域的邊界像素，來生成組合區(qū)域的擴(kuò)展圖像。
14、此處，基于劃分單元來執(zhí)行圖像擴(kuò)展可以包括：使用劃分單元中的在空間上彼此相鄰的劃分單元的所有相鄰像素信息，生成相鄰劃分單元之間的擴(kuò)展區(qū)域。
15、此處，基于劃分單元來執(zhí)行圖像擴(kuò)展可以包括：使用在空間上相鄰的劃分單元的相鄰像素的平均值來生成擴(kuò)展區(qū)域。
16、根據(jù)本發(fā)明的另一方面，提供了一種對360度圖像進(jìn)行解碼的方法，所述方法包括：接收通過對所述360度圖像進(jìn)行編碼獲得的比特流；參考從所接收到的比特流獲取的語法信息來生成預(yù)測圖像；通過將所生成的所述預(yù)測圖像與殘差圖像組合來獲取解碼圖像，所述殘差圖像是通過對所述比特流進(jìn)行逆量化和逆變換而獲取的；以及重構(gòu)所述解碼圖像以產(chǎn)生對應(yīng)于投影格式的360度圖像，其中，生成所述預(yù)測圖像包括：通過恢復(fù)所述比特流獲取參考圖像，并對所述參考圖像進(jìn)行圖像擴(kuò)展；以及參考被執(zhí)行所述圖像擴(kuò)展的所述參考圖像來生成預(yù)測圖像，其中，被執(zhí)行所述圖像擴(kuò)展的所述參考圖像包括擴(kuò)展區(qū)域，其中，所述擴(kuò)展區(qū)域的尺寸被確定為由從所述比特流中獲得的尺寸信息所指示的值，所述尺寸信息包括關(guān)于所述擴(kuò)展區(qū)域底側(cè)的第一高度信息、關(guān)于所述擴(kuò)展區(qū)域頂側(cè)的第二高度信息和關(guān)于所述擴(kuò)展區(qū)域左側(cè)的第一寬度信息，用于所述第一高度信息的語法元素、用于所述第二高度信息的語法元素和用于所述第一寬度信息的語法元素彼此不同，其中，所述擴(kuò)展區(qū)域中的樣本值是根據(jù)從多個(gè)填充方法中選擇的填充方法確定的，并且用于所述擴(kuò)展區(qū)域頂側(cè)的填充方法、用于所述擴(kuò)展區(qū)域底側(cè)的填充方法和用于所述擴(kuò)展區(qū)域左側(cè)的填充方法彼此獨(dú)立地被確定，明確指示用于所述頂側(cè)的填充方法、用于所述底側(cè)的填充方法和用于所述左側(cè)的填充方法的信息是從所述比特流獲得的。
17、根據(jù)本發(fā)明的另一方面，提供了一種對360度圖像進(jìn)行編碼的方法，所述方法包括：生成預(yù)測圖像，用于所述預(yù)測圖像的語法信息被編碼到比特流中；基于所述預(yù)測圖像獲取殘差圖像；通過對所述殘差圖像進(jìn)行變換和量化，將所述殘差圖像編碼到所述比特流中，其中，所述殘差圖像和所述預(yù)測圖像用于重構(gòu)解碼圖像，所述解碼圖像用于產(chǎn)生與投影格式對應(yīng)的360度圖像，其中，生成所述預(yù)測圖像包括：從先前圖像中獲得參考圖像，并對所述參考圖像執(zhí)行圖像擴(kuò)展；參考被執(zhí)行所述圖像擴(kuò)展的所述參考圖像來生成預(yù)測圖像，其中，被執(zhí)行所述圖像擴(kuò)展的所述參考圖像包括擴(kuò)展區(qū)域，其中，所述擴(kuò)展區(qū)域的尺寸被確定為由被編碼到所述比特流中的尺寸信息所指示的值，所述尺寸信息包括關(guān)于所述擴(kuò)展區(qū)域底側(cè)的第一高度信息、關(guān)于所述擴(kuò)展區(qū)域頂側(cè)的第二高度信息和關(guān)于所述擴(kuò)展區(qū)域左側(cè)的第一寬度信息，用于所述第一高度信息的語法元素、用于所述第二高度信息的語法元素和用于所述第一寬度信息的語法元素彼此不同，其中，所述擴(kuò)展區(qū)域中的樣本值是根據(jù)從多個(gè)填充方法中選擇的填充方法確定的，并且用于所述擴(kuò)展區(qū)域頂側(cè)的填充方法、用于所述擴(kuò)展區(qū)域底側(cè)的填充方法和用于所述擴(kuò)展區(qū)域左側(cè)的填充方法彼此獨(dú)立地被確定，明確指示用于所述頂側(cè)的填充方法、用于所述底側(cè)的填充方法和用于所述左側(cè)的填充方法的信息被編碼到所述比特流中。
18、根據(jù)本發(fā)明的另一方面，提供了一種傳輸由對360度圖像進(jìn)行編碼的方法生成的比特流的方法，所述方法包括：生成預(yù)測圖像，用于所述預(yù)測圖像的語法信息被編碼到比特流中；基于所述預(yù)測圖像獲取殘差圖像；通過對所述殘差圖像進(jìn)行變換和量化，將所述殘差圖像編碼到所述比特流中；以及傳輸所述比特流，其中，所述殘差圖像和所述預(yù)測圖像用于重構(gòu)解碼圖像，所述解碼圖像用于產(chǎn)生與投影格式對應(yīng)的?360?度圖像，其中，生成所述預(yù)測圖像包括：從先前圖像中獲得參考圖像，并對所述參考圖像執(zhí)行圖像擴(kuò)展；參考被執(zhí)行所述圖像擴(kuò)展的所述參考圖像生成預(yù)測圖像；其中，被執(zhí)行所述圖像擴(kuò)展的所述參考圖像包括擴(kuò)展區(qū)域，其中，所述擴(kuò)展區(qū)域的尺寸被確定為由被編碼到所述比特流中的尺寸信息所指示的值，所述尺寸信息包括關(guān)于所述擴(kuò)展區(qū)域底側(cè)的第一高度信息、關(guān)于所述擴(kuò)展區(qū)域頂側(cè)的第二高度信息和關(guān)于所述擴(kuò)展區(qū)域左側(cè)的第一寬度信息，用于所述第一高度信息的語法元素、用于所述第二高度信息的語法元素和用于所述第一寬度信息的語法元素彼此不同，其中，所述擴(kuò)展區(qū)域中的樣本值是根據(jù)從多個(gè)填充方法中選擇的填充方法確定的，并且用于所述擴(kuò)展區(qū)域頂側(cè)的填充方法、用于所述擴(kuò)展區(qū)域底側(cè)的填充方法和用于所述擴(kuò)展區(qū)域左側(cè)的填充方法彼此獨(dú)立地被確定，明確指示用于所述頂側(cè)的填充方法、用于所述底側(cè)的填充方法和用于所述左側(cè)的填充方法的信息被編碼到所述比特流中。
19、本發(fā)明的有益效果
20、利用根據(jù)本發(fā)明的實(shí)施方式的圖像編碼/解碼方法和裝置，可以增強(qiáng)壓縮性能。特別地，對于360度圖像，可以增強(qiáng)壓縮性能。