面向智能車的自然誘發(fā)駕駛員情緒面部表情數(shù)據(jù)集!
DEFE數(shù)據(jù)集
為了解決現(xiàn)有駕駛員情緒分析數(shù)據(jù)集的局限性,我們建立了一個(gè)駕駛員情緒面部表情數(shù)據(jù)集(DEFE),以研究基于面部視覺數(shù)據(jù)的駕駛員情緒識(shí)別。在表2中,我們描述了收集駕駛員真實(shí)面部表達(dá)的實(shí)驗(yàn)細(xì)節(jié),以及數(shù)據(jù)集中的情感標(biāo)簽。DEFE數(shù)據(jù)集共有60位參加者(43位男性),每位參加者在觀看完經(jīng)選擇的刺激材料后,在相同的駕駛場(chǎng)景下完成駕駛?cè)蝿?wù),并分別從維度情緒和離散情緒兩方面評(píng)價(jià)了他們?cè)谶@一駕駛過程中的情緒反應(yīng),這些度量包括喚醒,效價(jià)和掌控力以及情感類別和強(qiáng)度,實(shí)驗(yàn)數(shù)據(jù)采集及駕駛場(chǎng)景如圖1所示。
表2. DEFE數(shù)據(jù)集小結(jié)
圖1. DEFE實(shí)驗(yàn)數(shù)據(jù)集實(shí)驗(yàn)采集及駕駛場(chǎng)景
我們還比較了使用DEFE數(shù)據(jù)集進(jìn)行駕駛員情緒識(shí)別的結(jié)果。DEFE數(shù)據(jù)集可以分別從維度情緒(喚醒,效價(jià)和掌控力)和離散情緒(情感類別和強(qiáng)度)兩方面對(duì)駕駛員情緒進(jìn)行識(shí)別,以準(zhǔn)確度和F1分?jǐn)?shù)建立了數(shù)據(jù)集的基線結(jié)果。除了DEFE數(shù)據(jù)集的情緒識(shí)別外,我們還選擇了DEAP和CK+數(shù)據(jù)集作為靜態(tài)生活場(chǎng)景下的比較數(shù)據(jù)集,比較結(jié)果如表3所示(DEAP數(shù)據(jù)集因?yàn)椴杉^程中面部存在隨機(jī)電極片遮擋,可能是造成識(shí)別結(jié)果較低的主要原因)。
表3.DEFE數(shù)據(jù)集情緒識(shí)別結(jié)果
圖2顯示了DEFE數(shù)據(jù)集的樣例圖片。我們觀察到面部表達(dá)隨情感的種類而變化,但是在駕駛中這種變化是特別微弱的。例如,消極情緒(憤怒)和中性狀態(tài)的差異非常小。在大多數(shù)視頻剪輯中我們很難觀察到峰值表情,這種現(xiàn)象很可能是因?yàn)榍榫w的面部表達(dá)受到了駕駛?cè)蝿?wù)的影響。
圖2. DEFE數(shù)據(jù)集中3種情緒類別的樣例圖像:第一行憤怒,第二行快樂和第三行中性。
動(dòng)態(tài)駕駛場(chǎng)景和靜態(tài)生活場(chǎng)景下面部表情的差異
進(jìn)一步的,我們基于DEFE和JAFFE數(shù)據(jù)集對(duì)動(dòng)態(tài)駕駛和靜態(tài)生活條件之間的面部表情進(jìn)行了差異分析。圖3顯示了在面部動(dòng)作編碼系統(tǒng)(FACS)中憤怒和開心的動(dòng)作單元(AU)編碼以及描述。通過比較兩個(gè)數(shù)據(jù)集中不同情緒的動(dòng)作單元出現(xiàn)(AU presence),如表4所示,我們發(fā)現(xiàn)兩種場(chǎng)景下AU presence存在顯著差異。
圖3. FACS可用于描述成人的面部表情。(a)和(b)分別顯示常見的FACS憤怒和快樂編碼,(c)呈現(xiàn)AU的憤怒和快樂的內(nèi)容描述
表4.動(dòng)態(tài)駕駛和靜態(tài)生活場(chǎng)景下的AU presence差異分析
對(duì)于邏輯回歸結(jié)果,動(dòng)態(tài)駕駛和靜態(tài)生活場(chǎng)景下也有顯著性差異。對(duì)于憤怒情緒,動(dòng)態(tài)駕駛場(chǎng)景下的邏輯回歸結(jié)果顯示只有AU4和憤怒情緒相關(guān)且顯著,而在靜態(tài)生活場(chǎng)景下AU4,AU5和AU23都和憤怒情緒相顯著相關(guān)。對(duì)于開心情緒,動(dòng)態(tài)駕駛場(chǎng)景下的回歸結(jié)果顯示沒有任何AU和開心顯著相關(guān),但是在靜態(tài)生活場(chǎng)景下的結(jié)果顯示AU12和開心情緒顯著相關(guān)。
表5.動(dòng)態(tài)駕駛和靜態(tài)生活場(chǎng)景下的AU presence回歸分析
以上結(jié)果表明駕駛場(chǎng)景中的人類面部情感表達(dá)與其他生活場(chǎng)景不同。這可能是由于駕駛員需要在駕駛過程中保持專注,這降低了面部肌肉運(yùn)動(dòng)的頻率和幅度。關(guān)于這些結(jié)果的解釋性研究可能需要進(jìn)一步探索。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國跨境支付十大趨勢(shì)
- 5 中國最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 AI視頻,攪動(dòng)1.5萬億市場(chǎng)
- 10 張勇等人退出阿里合伙人