AI界三位“教父”獲2018年圖靈獎,深度學習的盡頭究竟在哪?
2019年3月27日,Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun 計算機科學界的最高榮譽——ACM 圖靈獎,它被譽為是計算機界的諾貝爾獎。Hinton、LeCun 和 Bengio 獨立工作,共同開發(fā)了深度學習神經(jīng)網(wǎng)絡領域的概念基礎,通過實驗和實際工程證明了深度神經(jīng)網(wǎng)絡的優(yōu)勢。
圖靈獎得主介紹及主要技術成就
Yann LeCun,紐約大學教授,同時也是 Facebook 的副總裁和首席 AI 科學家。ACM 表示 Yann LeCun 主要有三大重要貢獻:提出卷積神經(jīng)網(wǎng)絡,改進反向傳播算法,拓寬神經(jīng)網(wǎng)絡的視角。
Geoffrey Hinton,谷歌副總裁兼工程研究員,Vector Institute 的首席科學顧問,同時也是多倫多大學的名譽大學教授。Hinton 最重要的貢獻來自他 1986 年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”,1983 年發(fā)明的玻爾茲曼機(Boltzmann Machines),以及 2012 年對卷積神經(jīng)網(wǎng)絡的改進。
Yoshua Bengio,蒙特利爾大學教授,魁北克人工智能研究所 Mila 科學主管,Bengio 的主要貢獻是在 1990 年代發(fā)明的 Probabilistic models of sequences。自 2010 年以來,Bengio 非常關注生成式深度學習,特別是他與 Ian Goodfellow 等研究者提出的生成對抗網(wǎng)絡(GAN),這項研究引起了計算機視覺和計算機圖形學的革命。
時至今日,幾乎我們能聽到的所有關于 AI 的重要進展,背后都離不開深度學習。深度神經(jīng)網(wǎng)絡促進了現(xiàn)代計算機科學的極大進步,顯著提升了計算機感知世界的能力,正是上述三位獲獎者為此奠定了重要基礎。
深度學習是否有盡頭?
但從去年開始,關于深度學習“寒冬論”、“天花板”的論調頻繁出現(xiàn),不少人認為深度學習似乎遇到了瓶頸,需要特別大、特別深的網(wǎng)絡以及大量數(shù)據(jù)訓練。
深度學習確有很多先天缺陷。比如低效率問題,我們都知道數(shù)據(jù)集的逐漸增大加上正確的訓練有助于性能的提高,而樣本量的缺少容易出現(xiàn)算法偏差。深度學習模型很淺。人工智能應用程序通過大量數(shù)據(jù)和深度學習算法的訓練可以很好地完成一件事,但卻不能應用在另一個方面,到目前為止,還沒有一個好的辦法可以將訓練從一種情況轉移到另一種情況。
另外,深度學習算法里還有一個特別棘手的問題,應用不穩(wěn)定。讓這些算法在沒有明確編程的情況下接受數(shù)據(jù)訓練和學習,目前為止,深度學習是很難達到預期效果的。
另一個威脅是易受對抗攻擊。由于它們的創(chuàng)建方式,深度學習算法可以以意想不到的方式運行 - 或者至少以對我們人類來說似乎不合邏輯的方式運行。鑒于神經(jīng)網(wǎng)絡的不透明性,很難找到它們包含的所有邏輯錯誤。
但斷定深度學習“已死”的論調顯然是不合理的,即使可能在未來幾年內深度學習無法達到人類水平的認知,我們也會在許多其他領域看到深度學習有巨大的改進。以下是神經(jīng)網(wǎng)絡和深度學習的一些重要趨勢。
神經(jīng)網(wǎng)絡和深度學習的發(fā)展趨勢
膠囊網(wǎng)絡
膠囊網(wǎng)絡 (CapsNet)是Geoffrey Hinton提出的一種新型深層神經(jīng)網(wǎng)絡結構。它們以類似于人腦的方式處理信息。這實質上意味著膠囊網(wǎng)絡可以維持層次關系。
這與卷積神經(jīng)網(wǎng)絡形成對比。卷積神經(jīng)網(wǎng)絡未能考慮簡單和復雜對象之間存在的關鍵空間層次結構。這導致錯誤分類和更高的錯誤率。膠囊網(wǎng)絡彌補了不少缺陷,比如數(shù)據(jù)量、準確度、訓練數(shù)據(jù)多樣性等等,性能更好。
深層強化學習
深度強化學習是神經(jīng)網(wǎng)絡的一種形式,它通過觀察、行動和獎勵與環(huán)境交流來學習。深度強化學習(DRL)已經(jīng)被成功地用于確定游戲策略,比如Atari和Go。著名的AlphaGo項目被用來擊敗人類冠軍,而且也取得了成功。
深度學習有較強的感知能力,但是缺乏一定的決策能力。而深度強化學習還具有決策能力,不僅能利用現(xiàn)有數(shù)據(jù),還可以通過對環(huán)境的探索獲得新數(shù)據(jù),并利用新數(shù)據(jù)循環(huán)往復地更新迭代現(xiàn)有模型的機器學習算法,為復雜系統(tǒng)的感知決策問題提供了解決思路。
元學習
元學習可幫助模型在少量樣本下快速學習,從元學習的使用角度看,人們也稱之為少次學習。更具體地,如果訓練樣本數(shù)為 1,則稱為一次學習;訓練樣本數(shù)為 K,稱為 K 次學習;更極端地,訓練樣本數(shù)為 0,稱為零次學習。另外,多任務學習和遷移學習在理論層面上都能歸結到元學習的大家庭中。
元學習通過人工智能技術,把算法的設計自動化,降低了應用門檻,使得自動化的人工智能開發(fā)成為可能。
帶記憶模型的網(wǎng)絡
區(qū)分人類和機器的一個重要方面是工作和思考的能力。毫無疑問,計算機可以預先編程,以極高的精度完成一項特定的任務。但是,當你需要它們在不同的環(huán)境中工作時,就會出現(xiàn)問題。
為了使機器能夠適應現(xiàn)實世界的環(huán)境,神經(jīng)網(wǎng)絡必須能夠在不遺忘的情況下學習順序任務。神經(jīng)網(wǎng)絡需要借助多種強大的體系結構來克服遺忘。這些可以包括:長期內存網(wǎng)絡,可以處理和預測時間序列;彈性權重合并算法,可以根據(jù)先前完成的任務定義的優(yōu)先級減慢學習速度;不受遺忘影響的漸進式神經(jīng)網(wǎng)絡,能夠從已經(jīng)學過的網(wǎng)絡中提取有用的特征,以用于新的任務。
混合學習模式
不同類型的深度神經(jīng)網(wǎng)絡,例如生成對抗網(wǎng)絡(Generative adversarial networks, GANs)或DRL,已經(jīng)在性能和廣泛應用層面顯示出了巨大的前景。這可以幫助我們實現(xiàn)更好的模型性能和可解釋性的模型,從而可以鼓勵更廣泛的應用。通過概率編程語言的結合進行深度學習,以期看到更深層的學習方法獲得貝葉斯等價物。
深度學習不是終點,只是起步
深度學習在近年來能夠取得成功得益于兩個關鍵因素:一是計算機運算速度提高數(shù)倍;二是深度學習可順序計算的能力提高。目前深度學習依舊生命力旺盛,深度學習可用的工具和方法也成為了科學和商業(yè)中有價值應用的堅實基礎。
技術進步,眾多行業(yè)借助AI賦能產(chǎn)業(yè)結構,不斷升級換代與創(chuàng)新變革,走在技術前沿的公司也在不斷涌現(xiàn)。國內誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。人工智能技術迎來了發(fā)展的春天,我們期待即將到來的新的革命。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題