自動駕駛汽車在未知的動態(tài)環(huán)境中運行十分依賴傳感器對整個環(huán)境的感知。傳統(tǒng)的自動駕駛傳感器難以同時提供視覺影像和三維信息，相比之下，光場相機(jī)具有一次拍攝即可同時獲得二維和三維信息的特點，因此有望成為新型傳感器。

本畢業(yè)設(shè)計意圖在自動駕駛平臺上探索光場成像這一新技術(shù)的應(yīng)用，并與激光雷達(dá)展開對比，搭建起新型三維傳感器系統(tǒng)。畢設(shè)完成了大尺度光場深度校準(zhǔn)算法開發(fā)和道路模型檢測算法開發(fā)，以及與激光雷達(dá)點云數(shù)據(jù)進(jìn)行對比驗證了系統(tǒng)的可行性。

應(yīng)用理想雙目成像模型以及半全局視覺立體匹配算法發(fā)展大尺度深度校準(zhǔn)算法，利用光場相機(jī)對環(huán)境深度信息進(jìn)行提取以及對三維信息進(jìn)行重構(gòu)。基于深度學(xué)習(xí)和傳統(tǒng)目標(biāo)識別算法PointRCNN和 AVOD，開發(fā)光場相機(jī)三維點云及二維多視角圖像數(shù)據(jù)處理算法。搭建激光雷達(dá)點云數(shù)據(jù)處理深度學(xué)習(xí)網(wǎng)絡(luò)PV-RCNN、BtcDet，實現(xiàn)對典型目標(biāo)的識別，并開展多種算法的對比分析。開展室內(nèi)試驗，采集多種模擬場景光場點云數(shù)據(jù)，驗證光場相機(jī)在自動駕駛應(yīng)用的可行性。

1、 完成了畢業(yè)設(shè)計項目目標(biāo)，對光場相機(jī)進(jìn)行了參數(shù)標(biāo)定并完成了大尺度深度校準(zhǔn)算法，可以對自動駕駛中環(huán)境的深度信息進(jìn)行提取并且完成立體三維點云的重構(gòu)，深度誤差10%，用時僅需1s左右。

2、  利用三維檢測器AVOD和PointRCNN融合了光場相機(jī)的圖像特征和三維點云特征，利用KITTI數(shù)據(jù)集對典型交通參與物完成了識別，識別準(zhǔn)確率大于70%且識別范圍可達(dá)70m。

3、利用深度學(xué)習(xí)的VoxelNet類方法和PointNet類方法對光場相機(jī)三維點云目標(biāo)識別進(jìn)行了實驗分析對比，在30m和50m范圍內(nèi)激光雷達(dá)準(zhǔn)確率分別達(dá)到90%和70%，并在不同的環(huán)境下對比了光場相機(jī)的優(yōu)劣勢。