蓋世汽車訊 據(jù)外媒報(bào)道，近日，中國(guó)天津職業(yè)技術(shù)師范大學(xué)、山東交通職業(yè)學(xué)院(Shandong Transport Vocational College)和天津中德應(yīng)用科技大學(xué)(Tianjin Sino-German University of Applied Sciences)的研究人員討論到，將光探測(cè)和測(cè)距(LiDAR激光雷達(dá))與攝像頭傳感器相集成對(duì)提高自動(dòng)駕駛汽車的物體探測(cè)能力的重要性。此種傳感器融合技術(shù)將激光雷達(dá)點(diǎn)云數(shù)據(jù)和RGB(紅、綠、藍(lán))攝像頭圖像集成在一起，旨在提高自動(dòng)駕駛汽車在不同環(huán)境條件下的探測(cè)精度和可靠性。

傳感器融合

自動(dòng)駕駛汽車技術(shù)的進(jìn)步促進(jìn)了人們對(duì)強(qiáng)大物體探測(cè)和跟蹤系統(tǒng)的需求不斷增長(zhǎng)，以確保自動(dòng)駕駛汽車可在各種環(huán)境條件下安全、高效地運(yùn)行。傳統(tǒng)的物體探測(cè)系統(tǒng)通常依賴激光雷達(dá)或攝像頭等單個(gè)傳感器，而這類傳感器都具有各自的優(yōu)勢(shì)和局限性。激光雷達(dá)傳感器可以提供精確的深度信息，但在惡劣天氣條件或低光照環(huán)境下可能會(huì)遇到困難。

為了克服此類單個(gè)傳感器的局限性以及提升探測(cè)能力，通過融合技術(shù)集成多個(gè)傳感器已成為一種有發(fā)展前景的解決方案。激光雷達(dá)-攝像頭傳感器融合技術(shù)結(jié)合了激光雷達(dá)的深度感知能力以及攝像頭所捕捉到的視覺信息。

在該項(xiàng)研究中，研究人員通過激光雷達(dá)-攝像頭傳感器融合技術(shù)，來提升自動(dòng)駕駛汽車的物體探測(cè)能力。該技術(shù)采用了一種綜合方法，將激光雷達(dá)點(diǎn)云的數(shù)據(jù)與RGB攝像頭圖像集成在一起。

研究人員使用KITTI數(shù)據(jù)集收集數(shù)據(jù)，該數(shù)據(jù)集提供了同步的激光雷達(dá)點(diǎn)云數(shù)據(jù)和RGB圖像以及內(nèi)部和外部的傳感器參數(shù)，幫助攝像頭和激光雷達(dá)設(shè)備進(jìn)行校準(zhǔn)，從而實(shí)現(xiàn)坐標(biāo)系之間的精確投影。此外，研究人員還采用自己采集到的數(shù)據(jù)，在現(xiàn)實(shí)場(chǎng)景中驗(yàn)證PointPillars算法的探測(cè)性能。

研究人員采用了兩種最先進(jìn)的深度學(xué)習(xí)模型用于物體探測(cè):用于激光雷達(dá)點(diǎn)云數(shù)據(jù)處理的PointPillars以及用于分析攝像頭捕捉到的RGB圖像的YOLOv5。PointPillars網(wǎng)絡(luò)基于激光雷達(dá)數(shù)據(jù)生成3D物體探測(cè)結(jié)果，而YOLOv5基于攝像頭圖像提供2D物體探測(cè)結(jié)果。此類結(jié)果相融合對(duì)于實(shí)現(xiàn)全面的物體探測(cè)至關(guān)重要。

結(jié)果融合過程包括使用聯(lián)合校準(zhǔn)參數(shù)，將激光雷達(dá)的3D物體檢測(cè)框投射到由攝像頭捕捉到的2D圖像上。研究人員采用目標(biāo)邊界框相交重疊匹配策略，將激光雷達(dá)和攝像頭的探測(cè)結(jié)果融合在一起，再采用結(jié)合了Dempster-Shafer(D-S)理論的融合算法，結(jié)合類別置信度，產(chǎn)生最終的融合探測(cè)輸出結(jié)果。

對(duì)于跟蹤移動(dòng)物體，研究人員改進(jìn)了DeepSORT算法，以解決遮擋后動(dòng)態(tài)物體重新出現(xiàn)產(chǎn)生的身份切換問題。改進(jìn)后的DeepSORT算法采用了一個(gè)無跡卡爾曼濾波器來進(jìn)行狀態(tài)估計(jì)，提高了在動(dòng)態(tài)場(chǎng)景下的跟蹤精度。

研究人員設(shè)置的實(shí)驗(yàn)分析了融合算法在不同日間場(chǎng)景下的性能，將融合結(jié)果與單傳感器探測(cè)的結(jié)果進(jìn)行比較，以評(píng)估該融合方法在更準(zhǔn)確地包裹汽車和行人目標(biāo)方面的有效性，另外還采用了多物體跟蹤準(zhǔn)確度、多物體跟蹤精度(MOTP)、高階跟蹤精度(HOTA)以及集成式探測(cè)與跟蹤F1分?jǐn)?shù)(IDF1)等性能指標(biāo)來評(píng)估該跟蹤算法的效率。

在日間場(chǎng)景中，該融合算法將激光雷達(dá)和攝像頭數(shù)據(jù)高效結(jié)合，以產(chǎn)生更加全面且準(zhǔn)確的物體探測(cè)結(jié)果。融合結(jié)果表明，與單傳感器探測(cè)相比，目標(biāo)邊界框可以更好地包裹汽車和行人目標(biāo)，探測(cè)性能得以提升對(duì)于確保自動(dòng)駕駛系統(tǒng)在各種日間場(chǎng)景中的安全性和高效率至關(guān)重要。

在燈光昏暗的夜間場(chǎng)景中，激光雷達(dá)和攝像頭數(shù)據(jù)的融合顯得尤為重要。該融合算法成功補(bǔ)足了單個(gè)傳感器的局限性，特別是在探測(cè)行人和車輛目標(biāo)的情況下。融合結(jié)果顯示出較強(qiáng)的識(shí)別效果，能夠更完整地包裹目標(biāo)，提高了低光照環(huán)境下的整體探測(cè)能力。

基于D-S證據(jù)理論的統(tǒng)計(jì)分析法為融合過程提供了寶貴的見解，該融合策略有效地結(jié)合了激光雷達(dá)和攝像頭數(shù)據(jù)的類別置信度，從而提高了物體探測(cè)能力。此類融合結(jié)果表明，該方法探測(cè)到汽車和行人的概率更高，表明了該融合算法在提升探測(cè)精度方面具有魯棒性。

該研究還評(píng)估了跟蹤算法在動(dòng)態(tài)目標(biāo)跟蹤場(chǎng)景下的性能，特別是得到改進(jìn)的DeepSORT算法的性能。研究人員采用MOTA、MOTP、HOTA和IDF1等指標(biāo)對(duì)不同的跟蹤方法進(jìn)行了比較，凸顯了得到改進(jìn)的DeepSORT算法在準(zhǔn)確跟蹤動(dòng)態(tài)目標(biāo)、減少身份切換問題以及提升整體跟蹤性能方面的有效性。