三維人臉數(shù)據(jù)對比二維圖像，因其包含皮膚紋理、形狀與空間信息，能夠更有效地處理光照、遮擋、表情和姿態(tài)等變化，具有更高的魯棒性及精度，因此三維人臉重建技術(shù)在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)及醫(yī)療美容等領(lǐng)域的應(yīng)用前景廣闊。本項(xiàng)目旨在開展基于雙目相機(jī)技術(shù)的人體面部三維重建研究，圍繞雙目相機(jī)高精度標(biāo)定、立體匹配、人臉點(diǎn)云重建、人臉點(diǎn)云拼接及深度學(xué)習(xí)優(yōu)化進(jìn)行技術(shù)攻關(guān)，最終實(shí)現(xiàn)一套集成化的三維重建方法體系。通過該體系的開發(fā)與優(yōu)化，提升面部重建精度與效率，為人臉識(shí)別、虛擬現(xiàn)實(shí)、醫(yī)療美容等領(lǐng)域提供技術(shù)支持。

1.     完成設(shè)備采購和雙目相機(jī)拍攝平臺(tái)的搭建；

2.     實(shí)現(xiàn)雙目相機(jī)高精度標(biāo)定算法設(shè)計(jì)并進(jìn)行相機(jī)標(biāo)定，使其重投影誤差小于0.1，得到精確的相機(jī)內(nèi)外參矩陣；

3.     研究基于傳統(tǒng)方法的立體匹配與點(diǎn)云重建技術(shù)，針對雙目相機(jī)人臉重建場景進(jìn)行針對化改進(jìn)，生成高密度、高精度的局部點(diǎn)云數(shù)據(jù)；

4.     研究基于深度學(xué)習(xí)的人臉三維重建技術(shù)，參考最新的頂會(huì)論文，使用WSL本地部署所需要的開源項(xiàng)目，生成高密度、高精度的局部點(diǎn)云數(shù)據(jù)；

5.     實(shí)現(xiàn)人臉點(diǎn)云拼接算法設(shè)計(jì)并進(jìn)行相關(guān)測試，使其能在較短時(shí)間內(nèi)實(shí)現(xiàn)良好的人臉點(diǎn)云拼接效果。

1.     相機(jī)標(biāo)定：實(shí)現(xiàn)雙目相機(jī)的高精度標(biāo)定算法設(shè)計(jì)和測試，重投影誤差達(dá)到0.05，同時(shí)完成拍攝圖片校正；

2.     深度學(xué)習(xí)方法實(shí)現(xiàn)人臉三維重建：首先使用SegFace人臉語義分割模型精確提取人臉區(qū)域，再使用高精度標(biāo)定參數(shù)進(jìn)行立體校正，然后使用FoundationStereo立體匹配模型生成視差圖，最終轉(zhuǎn)為高精度密集點(diǎn)云，并通過點(diǎn)云濾波和重采樣算法優(yōu)化點(diǎn)云質(zhì)量。

3.     傳統(tǒng)三維重建技術(shù)改進(jìn)：改進(jìn)了多視角重建系統(tǒng)ACMMP，使其適用于雙目相機(jī)人臉重建場景，并通過算法優(yōu)化減少背景雜點(diǎn)并提升點(diǎn)云完整性；

4.     點(diǎn)云后處理優(yōu)化：開發(fā)點(diǎn)云后處理算法，后期通過濾波、點(diǎn)云重建、點(diǎn)云平滑化處理等手段進(jìn)一步提高點(diǎn)云的完整性和平滑性；

5.     點(diǎn)云拼接：實(shí)現(xiàn)基于人臉圖像特征點(diǎn)提取和PNP算法的人臉點(diǎn)云粗拼接算法設(shè)計(jì)；實(shí)現(xiàn)基于ICP算法的人臉點(diǎn)云精拼接算法設(shè)計(jì)；最終完成相關(guān)的人臉點(diǎn)云拼接效果測試。