基于三維人臉識別的虛擬網絡會議方法
【專利摘要】本發明公開一種基于三維人臉識別的虛擬網絡會議方法，包括以下步驟，S01，建立虛擬3D會議大廳；S02，建立云服務器；S03，實時三維人臉圖像采集終端采集參會人員真實人臉圖像；S04，云服務器接收所述三維人臉圖像；S05，三維人臉圖像預處理：對三維人臉圖像進行噪聲預處理方法，并轉化為灰度圖像；S06，三維人臉的提取,從原始三維曲面中分離出頭部和肩部；S07，臉部標志點定位；S08，三維人臉配準；S09，云服務器將步驟S08恢復的人臉彩圖結果返回虛擬會議顯示終端；本發明通過云服務器終端進行三維人臉特征識別，實時在虛擬網絡會議大廳中顯示與會人員圖像，傳輸計算效率高，相應快，能夠推廣應用。
【專利說明】基于三維人臉識別的虛擬網絡會議方法
【技術領域】
[0001]本發明屬機場智能安檢領域，尤其涉及一種基于三維人臉識別的虛擬網絡會議方法。
【背景技術】
[0002]目前，虛擬網絡會議一般只能夠實現音頻傳播，當使用視頻傳播時，由于視頻圖像傳輸數據較大，視頻圖像顯示效果差，且丟幀嚴重，現有技術，虛擬網絡會議一般僅能夠模擬人像，使用特定的圖像或者頭像顯示與會人員，不能夠實時顯示與會人員的真實面部表情。
【發明內容】
[0003]為了解決現有技術問題，本發明提供了尤其涉及一種基于三維人臉識別的虛擬網絡會議方法，通過云服務器終端進行三維人臉特征識別，實時在虛擬網絡會議大廳中顯示與會人員圖像，傳輸計算效率高，相應快，能夠推廣應用。
[0004]本發明采用的技術方案為:基于三維人臉識別的虛擬網絡會議方法，包括以下步驟，
8 01，建立虛擬30會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌；802,建立云服務器，云服務器連接實時三維人臉圖像采集終端和虛擬會議顯示終端；303，實時三維人臉圖像采集終端采集參會人員真實人臉圖像；
304，云服務器接收所述三維人臉圖像；
步驟304，云服務器接收圖像采集終端發送的三維人臉圖像后，將三維人臉圖像轉換成一系列數據傳遞至云服務器的計算單元，所述計算單元進行三維人臉圖像預處理、三維人臉的提取和三維人臉配準。本發明基于云服務器傳輸三維人臉圖像并在云服務器端進行三維人臉識別，三維人臉圖像轉換成一系列數據傳遞至云服務器的計算單元，三維人臉圖像傳輸過程中為點云數據，傳輸效率高，丟幀現象少。
[0005]305，三維人臉圖像預處理:對三維人臉圖像進行噪聲預處理方法，并轉化為灰度圖像；
步驟305三維人臉圖像預處理具體包括以下步驟:
(501)對三維人臉圖像進行去噪處理，采用基于點云數據的三角曲面插值方法，對三維人臉圖像點云數據進行曲面擬合和優化重構；
(502)使用拉普拉斯平滑和化油丨!!方法對模型進行平滑處理；
(503)對人臉圖像進行網格切割并姿態歸一化處理，獲取三維人臉模型。
[0006]圖像預處理濾除噪音，顯示畫面清晰，并有利于三維人臉提取。
[0007]306，三維人臉的提取，從原始三維曲面中分離出頭部和肩部；
步驟306具體包括以下步驟:
(601)從原始三維曲面中分離出頭部和肩部，使用方法獲取姿態的估計，去掉肩部區域；
(602)網格裁剪:基于標志點的預配準方法將人臉轉換到正面狀態，然后在XOY平面上使用一個矩形裁剪人臉。
[0008]本發明虛擬3D會議大廳僅實時顯示三維人臉圖像，用于面部表情顯示，因此，圖像僅保留人臉部分圖像。
[0009]S07，臉部標志點定位；
步驟S07具體包括以下步驟:
(701)定位兩個內眼角、兩個外眼角和鼻尖點；
(702)進行坐標映射，獲取五個標志點(兩個內眼角、兩個外眼角和鼻尖點)的坐標位置；
(703)基于連續ShapeIndex和幾何約束的標志點定位方法，基于三角網格格式的三維數據，通過對點的鄰域擬合二次曲面，計算Shape Index,獲取魯棒特征；
(704)通過幾何約束，實現姿態無關的標志點定位。
[0010]S08，三維人臉配準:依據步驟S07定位的標志點，配準三維人臉后，恢復為人臉彩圖；
步驟S08具體包括以下步驟:配準步驟S07定位后的標志點，實現基于標志點的粗配準；當三維人臉圖像標志區域丟失時，標志點無法穩定提取通過基于主軸分析的粗配準方法進行三維人臉配準。
[0011]人臉圖像配準后，恢復為彩圖顯示，滿足虛擬網絡會議顯示需求。
[0012]S09,云服務器將步驟S08恢復的人臉彩圖結果返回虛擬會議顯示終端。
[0013]與現有技術相比，本發明有益效果包括:
本發明提供了一種基于三維人臉識別的虛擬網絡會議方法，通過云服務器終端進行三維人臉特征識別，實時在虛擬網絡會議大廳中顯示與會人員圖像，傳輸計算效率高，相應快，能夠推廣應用。
【具體實施方式】
[0014]下面結合具體實施例對本發明作更進一步的說明。
[0015]基于三維人臉識別的虛擬網絡會議方法，包括以下步驟，
S 01，建立虛擬3D會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌；
502,建立云服務器，云服務器連接實時三維人臉圖像采集終端和虛擬會議顯示終端；
503,實時三維人臉圖像采集終端采集參會人員真實人臉圖像；
S04，云服務器接收所述三維人臉圖像；
步驟S04，云服務器接收圖像采集終端發送的三維人臉圖像后，將三維人臉圖像轉換成一系列數據傳遞至云服務器的計算單元，所述計算單元進行三維人臉圖像預處理、三維人臉的提取和三維人臉配準。
[0016]S05，三維人臉圖像預處理:對三維人臉圖像進行噪聲預處理方法，并轉化為灰度圖像；
步驟S05三維人臉圖像預處理具體包括以下步驟:
(501)對三維人臉圖像進行去噪處理，采用基于點云數據的三角曲面插值方法，對三維人臉圖像點云數據進行曲面擬合和優化重構；
(502)使用拉普拉斯平滑和化油丨!!方法對模型進行平滑處理；
(503)對人臉圖像進行網格切割并姿態歸一化處理，獲取三維人臉模型。
[0017]306，三維人臉的提取，從原始三維曲面中分離出頭部和肩部；
步驟306具體包括以下步驟:
(601)從原始三維曲面中分離出頭部和肩部，使用方法獲取姿態的估計，去掉肩部區域；
(602)網格裁剪:基于標志點的預配準方法將人臉轉換到正面狀態，然后在乂01平面上使用一個矩形裁剪人臉。
[0018]307，臉部標志點定位；
步驟307具體包括以下步驟:
(701)定位兩個內眼角、兩個外眼角和鼻尖點；
(702)進行坐標映射，獲取五個標志點兩個內眼角、兩個外眼角和鼻尖點的坐標位置；
(703)基于連續311叩6111(161和幾何約束的標志點定位方法，基于三角網格格式的三維數據，通過對點的鄰域擬合二次曲面，計算311^)6 111(161,獲取魯棒特征；
(704)通過幾何約束，實現姿態無關的標志點定位。
[0019]308，三維人臉配準:依據步驟307定位的標志點，配準三維人臉后，恢復為人臉彩圖；
步驟308具體包括以下步驟:配準步驟307定位后的標志點，實現基于標志點的粗配準；當三維人臉圖像標志區域丟失時，標志點無法穩定提取通過基于主軸分析的粗配準方法進行三維人臉配準。
[0020]809,云服務器將步驟308恢復的人臉彩圖結果返回虛擬會議顯示終端。
[0021]以上僅是本發明的優選實施方式，應當指出:對于本【技術領域】的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。
【權利要求】
1.基于三維人臉識別的虛擬網絡會議方法，其特征在于，包括以下步驟，S 01，建立虛擬3D會議大廳，用于模擬真實的會議大廳，包括虛擬座位、虛擬會議桌；502,建立云服務器，云服務器連接實時三維人臉圖像采集終端和虛擬會議顯示終端；503,實時三維人臉圖像采集終端采集參會人員真實人臉圖像；S04，云服務器接收所述三維人臉圖像；S05，三維人臉圖像預處理:對三維人臉圖像進行噪聲預處理方法，并轉化為灰度圖像；S06，三維人臉的提取，從原始三維曲面中分離出頭部和肩部；S07，臉部標志點定位；S08，三維人臉配準:依據步驟S07定位的標志點，配準三維人臉后，恢復為人臉彩圖；S09，云服務器將步驟S08恢復的人臉彩圖結果返回虛擬會議顯示終端。
2.根據權利要求1所述的基于三維人臉識別的虛擬網絡會議方法，其特征在于，步驟S04，云服務器接收圖像采集終端發送的三維人臉圖像后，將三維人臉圖像轉換成一系列數據傳遞至云服務器的計算單元，所述計算單元進行三維人臉圖像預處理、三維人臉的提取和三維人臉配準。
3.根據權利要求1所述的基于三維人臉識別的虛擬網絡會議方法，其特征在于，步驟S05三維人臉圖像預處理具體包括以下步驟:(501)對三維人臉圖像進行去噪處理，采用基于點云數據的三角曲面插值方法，對三維人臉圖像點云數據進行曲面擬合和優化重構；(502)使用拉普拉斯平滑和Taubin方法對模型進行平滑處理；(503)對人臉圖像進行網格切割并姿態歸一化處理，獲取三維人臉模型。
4.根據權利要求1所述的基于三維人臉識別的虛擬網絡會議方法，其特征在于，步驟S06具體包括以下步驟:(601)從原始三維曲面中分離出頭部和肩部，使用PCA方法獲取姿態的估計，去掉肩部區域；(602)網格裁剪:基于標志點的預配準方法將人臉轉換到正面狀態，然后在XOY平面上使用一個矩形裁剪人臉。
5.根據權利要求1所述的基于三維人臉識別的虛擬網絡會議方法，其特征在于，步驟S07具體包括以下步驟:(701)定位兩個內眼角、兩個外眼角和鼻尖點；(702)進行坐標映射，獲取五個標志點的坐標位置；(703)基于連續ShapeIndex和幾何約束的標志點定位方法，基于三角網格格式的三維數據，通過對點的鄰域擬合二次曲面，計算Shape Index,獲取魯棒特征；(704)通過幾何約束，實現姿態無關的標志點定位。
6.根據權利要求1所述的基于三維人臉識別的虛擬網絡會議方法，其特征在于，S08具體包括以下步驟:配準步驟S07定位后的標志點，實現基于標志點的粗配準；當三維人臉圖像標志區域丟失時，標志點無法穩定提取通過基于主軸分析的粗配準方法進行三維人臉配準。
【文檔編號】G06T17/00GK104408769SQ201410694849
【公開日】2015年3月11日 申請日期:2014年11月27日 優先權日:2014年11月27日
【發明者】張會林, 孫利華 申請人:蘇州福豐科技有限公司