行為克隆 | 自動駕駛汽車的端到端學(xué)習(xí)
研究人員將使用udacity提供的模擬器,模擬車前部配有3個攝像頭,可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。
行為克隆的本質(zhì)是克隆了驅(qū)動程序的行為。本文的實驗思路是根據(jù)駕駛員駕駛的訓(xùn)練數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)以模擬駕駛員。
NVIDIA曾發(fā)布了一篇題為End to End Learning for Self-DrivingCars 的文章,他們訓(xùn)練CNN將原始像素從單個前置攝像頭直接映射到轉(zhuǎn)向命令。實驗結(jié)果令人非常震驚,汽車學(xué)會了在有或沒有車道標(biāo)記的地方道路上或者在具有最少量訓(xùn)練數(shù)據(jù)的高速公路上行駛。本次實驗,研究人員將使用udacity提供的模擬器,模擬車前部配有3個攝像頭,可記錄視頻以及與中央攝像頭對應(yīng)的轉(zhuǎn)向角。
收集數(shù)據(jù)
模擬器有2個通道:第一個通道非常容易,曲線較小且很少,第二個通道很難,有許多曲線和陡峭的山坡。
研究人員將使用來自兩個軌道的訓(xùn)練數(shù)據(jù):
1.研究人員將駕駛兩條車道,將車保持在車道的中心位置。研究人員每人開車2圈。
2.研究人員將在兩條車道上各開一圈,并試圖漂移到兩側(cè),或試圖轉(zhuǎn)向車道的中心。這將為研究人員提供模型校正的訓(xùn)練數(shù)據(jù)。
圖分別為左、中、右視角
捕獲的數(shù)據(jù)包含左圖像,中心圖像和右圖像的路徑,轉(zhuǎn)向角度,油門,中斷和速度值。
注意:研究人員將使用所有左,中,右圖像。研究人員將通過一些調(diào)整來矯正left_image的轉(zhuǎn)向角度。同樣,研究人員將通過一些調(diào)整來矯正right_image的轉(zhuǎn)向角度。
數(shù)據(jù)不平衡
轉(zhuǎn)向角直方圖
上面的直方圖顯示了訓(xùn)練數(shù)據(jù)的不平衡。左轉(zhuǎn)彎的數(shù)據(jù)多于右轉(zhuǎn)彎的數(shù)據(jù)。研究人員將通過隨機翻轉(zhuǎn)訓(xùn)練圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle來補償這一點。
此外,大多數(shù)轉(zhuǎn)向角集中在0-0.25左右,研究人員沒有太多的數(shù)據(jù)來獲得更大的轉(zhuǎn)向角。研究人員將通過一些像素水平和垂直地隨機移動圖像并相應(yīng)地調(diào)整轉(zhuǎn)向角來補償這一點。
數(shù)據(jù)擴充
研究人員使用以下增補:
1.隨機翻轉(zhuǎn)一些圖像并將轉(zhuǎn)向角度調(diào)整為steering_angle
2.通過一些像素水平和垂直地隨機移動圖像,并使用小的調(diào)整因子調(diào)整轉(zhuǎn)向角度。
3.路上有樹木,柱子等陰影。因此,研究人員將為訓(xùn)練圖像添加一些陰影。4.研究人員會隨機調(diào)整圖像的亮度。
以上這些是標(biāo)準(zhǔn)的OpenCV調(diào)整,代碼可以在GitHub存儲庫中找到。(詳見文末鏈接)
應(yīng)用增強后,下面是一些訓(xùn)練圖像的輸出。
前處理
本文期望圖像的輸入尺寸為66 * 200 * 3,而來自訓(xùn)練的圖像尺寸為160 * 320 * 3。此外,紙張期望將輸入圖像從RGB轉(zhuǎn)換為YUV顏色空間。因此,研究人員將從輸入圖像裁剪上部40像素行和下部20像素行。此外,作為預(yù)處理的一部分,研究人員將裁剪的圖像大小調(diào)整為66 * 200 * 3大小并將其轉(zhuǎn)換為YUV色彩空間。
模型
這是本文中描述的PilotNet模型:

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預(yù)約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題