深度學(xué)習(xí)三巨頭之Yoshua Bengio暢談AI如何才能說“人話”
因果邏輯關(guān)系是機(jī)器“吃透”人類語言的關(guān)鍵
研究發(fā)現(xiàn)很多實(shí)驗(yàn)室數(shù)據(jù)其實(shí)是無效的,一旦環(huán)境改變了,人工智能就會(huì)“一臉懵圈”,背后的原因是關(guān)系紐帶的不對(duì),比如圖像識(shí)別,實(shí)驗(yàn)者認(rèn)為引發(fā)人工智能做出判斷的因素是圖片的紋理和顏色,而實(shí)際上人類在識(shí)別圖像時(shí)還會(huì)考慮因果關(guān)系,這就是差別。
為了攻克這方面的缺陷,科學(xué)家們提出了深度生成模型,它的優(yōu)勢(shì)在于通過激勵(lì)人工智能在訓(xùn)練中預(yù)測(cè)未來,從而通過培養(yǎng)模型的因果邏輯性提升輸出的準(zhǔn)確性,以及深層對(duì)抗模型可以不斷提升輸出的準(zhǔn)確性,更重要的是人工智能通過訓(xùn)練最終具備預(yù)測(cè)未來以及制定計(jì)劃的能力。
在機(jī)器學(xué)習(xí)的訓(xùn)練中,不僅需要注意因果邏輯,還需要注意用于訓(xùn)練的樣本數(shù)據(jù)需要遵循獨(dú)立同分布原則(Independent and identically distributed):關(guān)注用于訓(xùn)練的數(shù)據(jù)集的代表性和遷移性,樣本數(shù)據(jù)的分布特征必須和測(cè)試用數(shù)據(jù)集、母體數(shù)據(jù)保持一致,研究發(fā)現(xiàn)確保數(shù)據(jù)分布一致性可強(qiáng)化訓(xùn)練模型的因果邏輯推理能力。
人工智能娃娃游戲平臺(tái)(BabyAIgame)
人工智能娃娃游戲平臺(tái)模仿嬰兒的成長(zhǎng)過程,設(shè)置了‘學(xué)習(xí)者’和‘人類’的游戲或場(chǎng)景。學(xué)習(xí)者就是‘babyAI’,我們?yōu)閷W(xué)習(xí)者設(shè)計(jì)任務(wù),任務(wù)以自然語言的形式出現(xiàn),比如去某個(gè)地方、打開、撿、放等,通過與人類用自然語言互動(dòng)幫助學(xué)習(xí)者理解周圍的環(huán)境。
從科學(xué)實(shí)驗(yàn)的角度出發(fā),項(xiàng)目的實(shí)施過程將會(huì)是趣味性十足的!
首先,大量的人機(jī)交互數(shù)據(jù)(尤其是語言)將會(huì)被收集,隨著玩家(人類)越來越多,數(shù)據(jù)庫也會(huì)越來越大。
另外,游戲甚至允許人類玩家在游戲中自行設(shè)計(jì)任務(wù),任務(wù)難度逐漸提升。
該項(xiàng)目最大的挑戰(zhàn)來自于樣本數(shù)據(jù)的復(fù)雜性,哪怕只是非常簡(jiǎn)單的任務(wù),比如讓計(jì)算機(jī)挪動(dòng)小件物體,對(duì)于訓(xùn)練用的數(shù)據(jù)量要求也是非常巨大的,因此我們首先需要海量的數(shù)據(jù)服務(wù)于這個(gè)雄心勃勃的計(jì)劃:記錄真實(shí)世界中成年人與嬰兒之間互動(dòng)的數(shù)據(jù)。
“意識(shí)先驗(yàn)”理論:過濾冗余數(shù)據(jù),降低算力消耗
圖片來源: Bengio的演講 Challenges for Deep Learning towards Human-Level AI
傳統(tǒng)的深度學(xué)習(xí)理論需要大量的數(shù)據(jù),注意力機(jī)制的出現(xiàn)為解決訓(xùn)練數(shù)據(jù)容量的難題帶來了解決思路,但僅僅具備無意識(shí)的認(rèn)知能力(第一類認(rèn)知系統(tǒng))還遠(yuǎn)遠(yuǎn)不夠。
為了將機(jī)器的推理能力提升到人類水平,我們?cè)诂F(xiàn)有模型的基礎(chǔ)上,增加預(yù)測(cè)未來的能力,即意識(shí)先驗(yàn)(The Consciousness Prior),直觀的說就是人工智能看到“下雨”,聯(lián)想到“人們會(huì)打傘”。
意識(shí)先驗(yàn)借用了注意力機(jī)制的部分原理篩選出少量、“高緯”的數(shù)據(jù),用作大量的預(yù)測(cè)訓(xùn)練,將無意識(shí)層次的數(shù)據(jù)歸類為“低緯數(shù)據(jù)”,使用少量的、更直接的高層次數(shù)據(jù)提升了模型預(yù)測(cè)和推理能力,也減少了訓(xùn)練用時(shí),最終成為有“意識(shí)”的類人腦。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國跨境支付十大趨勢(shì)
- 5 中國最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 AI視頻,攪動(dòng)1.5萬億市場(chǎng)
- 10 張勇等人退出阿里合伙人