自動駕駛相機(jī)-激光雷達(dá)深度融合綜述及展望
本文是加拿大滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室對當(dāng)前最新的基于深度學(xué)習(xí)的相機(jī)-激光雷達(dá)融合(camera-LiDAR Fusion)方法的綜述。
本篇綜述評價(jià)了基于相機(jī)-激光雷達(dá)融合的深度補(bǔ)全,對象檢測,語義分割和跟蹤方向的最新論文,并根據(jù)其融合層級進(jìn)行組織敘述并對比。最后討論了當(dāng)前學(xué)術(shù)研究與實(shí)際應(yīng)用之間的差距和被忽視的問題;谶@些觀察,我們提出了自己的見解及可能的研究方向。
01.背景
基于單目視覺的感知系統(tǒng)以低成本實(shí)現(xiàn)了令人滿意的性能,但卻無法提供可靠的3D幾何信息。雙目相機(jī)可以提供3D幾何信息,但計(jì)算成本高,且無法在高遮擋和無紋理的環(huán)境中可靠的工作。此外,基于視覺的感知系統(tǒng)在光照條件復(fù)雜的情況下魯棒性較低,這限制了其全天候能力。而激光雷達(dá)不受光照條件影響,且能提供高精度的3D幾何信息。但其分辨率和刷新率低,且成本高昂。
相機(jī)-激光雷達(dá)融合感知,就是為了提高性能與可靠性并降低成本。但這并非易事,首先,相機(jī)通過將真實(shí)世界投影到相機(jī)平面來記錄信息,而點(diǎn)云則將幾何信息以原始坐標(biāo)的形式存儲。此外,就數(shù)據(jù)結(jié)構(gòu)和類型而言,點(diǎn)云是不規(guī)則,無序和連續(xù)的,而圖像是規(guī)則,有序和離散的。這導(dǎo)致了圖像和點(diǎn)云處理算法方面的巨大差異。在圖1中,我們比較了點(diǎn)云和圖像的特性。
圖1.點(diǎn)與數(shù)據(jù)和圖像數(shù)據(jù)的比較
圖2. 論文總體結(jié)
02.趨勢,挑戰(zhàn)和未來研究方向
無人駕駛汽車中的感知模塊負(fù)責(zé)獲取和理解其周圍的場景,其輸出直接影響著下游模塊(例如規(guī)劃,決策和定位)。因此,感知的性能和可靠性是整個無人駕駛系統(tǒng)的關(guān)鍵。通過攝像頭-激光雷達(dá)融合感知來加強(qiáng)其性能和可靠性,改善無人駕駛車輛在復(fù)雜的場景下的感知(例如城市道路,極端天氣情況等)。因此在本節(jié)中,我們總結(jié)總體趨勢,并討論這方面的挑戰(zhàn)和潛在影響因素。如表IV所示,我們將討論如何改善融合方法的性能和魯棒性,以及與工程實(shí)踐相關(guān)的其他重要課題。如下是我們總結(jié)的圖像和點(diǎn)云融合的趨勢:
2D到3D:隨著3D特征提取方法的發(fā)展,在3D空間中定位,跟蹤和分割對象已成為研究的熱點(diǎn)。
單任務(wù)到多任務(wù):一些近期的研究[64] [80]結(jié)合了多個互補(bǔ)任務(wù),例如對象檢測,語義分割和深度完成,以實(shí)現(xiàn)更好的整體性能并降低計(jì)算成本。
信號級到多級融合:早期的研究經(jīng)常利用信號級融合,將3D幾何圖形轉(zhuǎn)換到圖像平面以利用現(xiàn)成的圖像處理模型,而最近的模型則嘗試在多級融合圖像和點(diǎn)云(例如早期融合,晚期融合)并利用時(shí)間上下文。
表I. 當(dāng)前的挑戰(zhàn)
A.與性能相關(guān)的開放研究問題
1)融合數(shù)據(jù)的(Feature/Signal Representation)特征/信號表示形式:
融合數(shù)據(jù)的Feature/Signal Representation是設(shè)計(jì)任何數(shù)據(jù)融合算法的基礎(chǔ)。當(dāng)前的特征/信號表示形式包括:
a) 在RGB圖像上的附加深度信息通道(RGB-D)。此方法由于可以通過現(xiàn)成的圖像處理模型進(jìn)行處理,因此早期的信號級融合常使用這種表達(dá)形式。但是,其結(jié)果也限制于2D圖像平面,這使其不適用于自動駕駛。
b) 在點(diǎn)云上的附加RGB通道。此方法可以通過將點(diǎn)投影到像平面進(jìn)行像素點(diǎn)關(guān)聯(lián)來實(shí)現(xiàn)。但是,高分辨率圖像和低分辨率點(diǎn)云之間的分辨率不匹配會影響此方式的效率。
c) 將圖像和點(diǎn)云特征/信號均轉(zhuǎn)換為(intermediate data representation)其他的數(shù)據(jù)表示形式。當(dāng)前的intermediate data representation包括:(voxelized point cloud)體素化點(diǎn)云[75],(lattice)晶格[88]。未來的研究可以探索其他新穎的中間數(shù)據(jù)結(jié)構(gòu),例如(graph)圖,(tree)樹等,從而提高性能。
2)(Encoding Geometric Constraint)加入幾何約束:
與其他三維數(shù)據(jù)源(如來自立體相機(jī)或結(jié)構(gòu)光的RGBD數(shù)據(jù))相比,LiDAR有更長的有效探測范圍和更高的精度,可提供詳細(xì)而準(zhǔn)確的3D幾何形狀。幾何約束已成為圖像和點(diǎn)云融合流程中的常識,其提供了額外的信息來引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)更好的性能。將點(diǎn)云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法,但是點(diǎn)云的稀疏性會產(chǎn)生空洞。深度補(bǔ)全和點(diǎn)云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預(yù)測深度信息以及在連續(xù)幀之間引入自我監(jiān)督學(xué)習(xí),也有望緩解這個問題。但是,如何將這種幾何信息加入到融合流程中仍是當(dāng)前研究實(shí)踐中尚需解決的問題。
3)(Encoding Temporal Context)加入時(shí)間上下文:
還有一些工程問題阻礙了無人駕駛汽車的實(shí)際部署,例如LiDAR與攝像頭之間的時(shí)間不同步,LiDAR的低刷新率導(dǎo)致車速高時(shí)的點(diǎn)云變形,LiDAR傳感器測距誤差。這些問題將導(dǎo)致圖像與點(diǎn)云,點(diǎn)云與實(shí)際環(huán)境之間的不匹配。根據(jù)深度補(bǔ)全方面的經(jīng)驗(yàn),可以采用連續(xù)幀之間的時(shí)間上下文來改善姿態(tài)估計(jì),從而改善特征融合的性能并使得下游的的header網(wǎng)絡(luò)受益。在自動駕駛中,準(zhǔn)確估算周圍車輛的運(yùn)動狀態(tài)至關(guān)重要,時(shí)間上下文有助于獲得更平滑,更穩(wěn)定的結(jié)果。此外,時(shí)間上下文可能有益于在線自校準(zhǔn)。因此,應(yīng)對加入時(shí)間上下文進(jìn)行更多的研究。
發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
技術(shù)文庫
最新活動更多
-
免費(fèi)參會立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
精彩回顧立即查看>> 【在線研討會】普源精電--激光原理應(yīng)用與測試解決方案
-
精彩回顧立即查看>> 【工程師系列】汽車電子技術(shù)在線大會
-
精彩回顧立即查看>> 【線上直播】新能源汽車熱管理行業(yè)應(yīng)用新進(jìn)展
-
精彩回顧立即查看>> 【線上直播】西門子電池行業(yè)研討會-P4B如何加速電池開發(fā)
-
精彩回顧立即查看>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
推薦專題
- 1 獨(dú)家 | 江鈴福特并入長安福特,從此只有“一個福特”
- 2 小鵬首款增程車曝光,大空間SUV要搶理想地盤?
- 3 想買SUV的再等等,下半年即將亮相4款全新SUV,個個都看點(diǎn)十足!
- 4 更傳統(tǒng)的新勢力SUV來了!小鵬G7上市定檔,價(jià)格會有驚喜?
- 5 螞蟻集團(tuán)+寧德時(shí)代:天使輪30億進(jìn)軍Robotaxi!
- 6 "尚界"登場:華為與上汽的這張新牌怎么打?
- 7 下半年高端電車又有五款新選擇,其中一款等到年底都不一定能提車
- 8 新勢力6月戰(zhàn)報(bào):誰在領(lǐng)跑?
- 9 北京跑出未來獨(dú)角獸:做智能駕駛,份額全國第一
- 10 測試官丨與眾06,大廠的功力,讓你開過一次就忘不掉!