百度“飛槳”是怎么成為世界第三的?
導語:由于百度發(fā)展的局限性,使得飛槳在海外的應用受限。未來如何將飛槳推到國際市場,講好AI的故事,恐怕是百度要在2022年認真考慮的問題。
出品丨數科社 作者丨檸溪
國內人工智能產業(yè)市場在2021年開始迎來了大爆發(fā)。
無論是蘿卜快跑的自動駕駛出租車,還是智能識圖、語音識別與輸入、影音剪輯等方面,層出不窮的人工智能技術極大的提升了人們生活的便利性和科技感。
龐大的市場需求也助力了很多沖擊資本市場的大型科技企業(yè)。AI四小龍里商湯上市和剩余幾家紛紛沖擊IPO就是一個重要的佐證。
2021年人工智能領域的算法分析師、程序員、工程師,已經成為最新互聯網就業(yè)市場上搶手的香餑餑。尤其是人工智能規(guī)劃和算法的精通者,在其中占有更大的優(yōu)勢。
更有意思的是,曾幾何時幾乎全部做人工智能開發(fā)的程序員、工程師和算法分析師,用的深度學習框架都來自美國。TensorFlow、PyTorch雖然是開源項目,但都在美國公司掌控之下,不確定性如影隨形
迫切需要替代品的背景下,已經歷經6年開發(fā)并逐漸成熟的百度飛槳,成為越來越多中國人工智能開發(fā)工程師和算法分析師的優(yōu)選。
百度也借此舉辦了多期人工智能規(guī)劃師的培訓,試圖利用自己的經驗為中國人工智能領域提供高水平的人才儲備。
伴隨著應用飛槳項目和產業(yè)端結合的越來越頻繁緊密,截至目前,飛槳所擁有的工業(yè)產業(yè)模型超過300個,已逐漸成為一個非常易于開發(fā)的通用性人工智能深度學習平臺。
最新信息,在2021年年底,飛槳已經超越其他競爭對手,穩(wěn)居兩個老牌深度學習框架之后,成為全球第三大深度學習框架平臺。
在核心軟件開發(fā)領域,這可以說是首個成為主流應用開發(fā)工具的中國的平臺。很多關心人工智能行業(yè)的人不禁要問:他們是怎么做到的?
01丨深度學習平臺的能力
很久以前,在人工智能領域剛剛開始的時候,所有的項目都是從零起步。比如,人們要想做出一個圖形處理的項目,就必須從攝像頭調取,而這樣的動作,得寫相應的支持程序。
因此2015年之前,世界人工智能領域的項目進度比較慢。畢竟熟練的工程師和程序員就這些,后續(xù)的人員,想進入這個領域還需要進行長時間的學習。
這為深度學習框架的出現提供了強大的需求和促動力。
當時,美國谷歌公司和另一個從谷歌出來的資深程序員,提出了兩個深度學習的開發(fā)平臺與框架。這就是當前使用人數最多的ensorFlow和PyTorch。
人工智能最早的應用其實是在數據標注,也就是窮舉的方式列舉所有遇到問題時機器應該產生的反應,但這并不是真正的人工智能或者說應該算偽人工智能。從谷歌2016年推出超級人工智能阿爾法狗之后,深度學習成為很多人工智能公司追求的系統(tǒng)技術基礎。而阿爾法狗的底層框架,正是建立在TensorFlow的平臺之上。
很快,TensorFlow、PyTorch這兩個新生的深度學習開發(fā)平臺框架迅速在業(yè)內走紅,成為后續(xù)各個創(chuàng)業(yè)項目技術積累的基礎。
所謂深度學習框架,其實就是首先提供一個深度學習的內部系統(tǒng),可以符合多種行業(yè)的應用能通過各種不同的接口調取這種學習能力,從而讓新開發(fā)的項目迅速通過數據的積累訓練系統(tǒng),學會如何人工思考和應對。這樣的好處就是整個項目不用再對深度學習進行算法和布局,更不用從理論基礎去做相應的研發(fā),可以大大降低人工智能項目研發(fā)的難度。
其次,這些深度學習框架還提供了調取相應深度學習結果和培訓系統(tǒng)能力的程序語言,并封裝了很多常用的模塊,后續(xù)開發(fā)者只需調用這些模塊就可以實現一些系統(tǒng)常用的功能,比如說對于圖片和音頻的識別等。
此外,這些深度學習框架還提供額外的擴展與延伸,可以跟其他的一些系統(tǒng)相銜接,把人工智能的相應能力接觸到更大的系統(tǒng)中去。
從2017年之后,國內大大小小的人工智能應用,絕大多數都是基于這兩個框架平臺所提供的各種服務和封裝模塊進行,雖然大大降低了開發(fā)人員的難度,但很大程度上也將技術核心的支持能力拱手相讓。
正是看到這一點,2016年百度提出來中國人自己的深度學習框架PaddlePaddle。但說實話彼時百度的這一框架并沒有顯露出太多技術優(yōu)勢,在國內被使用的頻次也不算太高。
即便如此,對于百度一把手李彥宏而言,AI是百度未來發(fā)展的突破口,所以深度學習框架這塊也必須得到百度整個技術部門的大力扶持。
2018 年 7 月,李彥宏在百度 AI 開發(fā)者大會上喊出了要讓“Everyone Can AI”的口號,其實這句口號后面還要加上一個限定——“通過百度的 AI 平臺”。PaddlePaddle 就是這一口號付諸實踐的突破點之一。
2019 年 4 月,時任百度高級副總裁(現百度 CTO)王海峰在 Wave Summit 深度學習開發(fā)者峰會上,為深度學習框架 PaddlePaddle 在百度內部的戰(zhàn)略地位進行了定調。PaddlePaddle 發(fā)布中文名“飛槳”,開始強調自己更懂中國開發(fā)者,以及更加專注于深度學習模型的工業(yè)生產和部署。
02丨飛槳的特色
實際上,飛槳以百度多年的深度學習技術研究和業(yè)務應用為基礎,集深度學習核心訓練和推理框架、基礎模型庫、端到端開發(fā)套件、豐富的工具組件于一體,是中國首個自主研發(fā)、功能完備、開源開放的產業(yè)級深度學習平臺。
關鍵從2015年之后,百度將自己業(yè)務突破的能力定立到了人工智能上,而幾乎百度現在所有的人工智能項目全都是基于飛槳的整個體系研發(fā),并最終投入使用和做后期維護的。
某種意義上正是基于百度本身體量的大范圍應用,才迅速縮短了飛槳的成熟時間。
作為我國首個開源開放、功能完備的產業(yè)級深度學習平臺,飛槳想要保持自己的地位,也必須要有自己獨特的優(yōu)勢。
第一,便捷的開發(fā)框架。飛槳同時支持動態(tài)圖和靜態(tài)圖的編程,能夠兼顧易用性和效率。在整個開發(fā)過程當中,算法工程師既需要方便的接口,同時也需要高效的底層平臺的支持。飛槳平臺結合了動態(tài)圖的易用性和靜態(tài)圖的高性能,使開發(fā)者可以兼顧兩者的優(yōu)勢。對開發(fā)者來說,這是大大降低了寫程序的成本和復雜度。
第二,超大規(guī)模深度學習模型訓練技術。針對大規(guī)模的工業(yè)化場景,飛槳提供大規(guī)模分布式訓練能力,在真正的工業(yè)場景應對自如。飛槳平臺推出了支持萬億規(guī)模參數模型的實時更新能力和訓練能力。面對大型分類任務時可以進行模型并行訓練,在訓練層面也可以支持數據并行訓練。
第三,多端多平臺部署的高性能推理引擎。端到端的部署是應用深度學習的一個非常關鍵的環(huán)節(jié),飛槳提供非常完備的支持各種硬件的端到端的部署能力,能夠使得開發(fā)者推理、預測的過程足夠順暢。在移動端部署的模型體積上,飛槳可以縮減到非常小,眾多開發(fā)者可以更好地把模型用在相應場景的終端設備上。
第四,產業(yè)級開源模型庫。飛槳有大量在產業(yè)實踐當中沉淀出來的模型,并提供官方的支持,能夠保證開發(fā)者的應用效果是最佳的、真正可靠的。據悉,飛槳平臺上目前開源了140+的模型,而且還有工業(yè)級的預訓練模型。在預訓練模型基礎上,開發(fā)者在使用時只要針對自己的場景進行小數據量的遷移學習就可以使用。
而且飛槳已可適配 22 種芯片型號,覆蓋英特爾、英偉達、瑞芯微、寒武紀等15家硬件廠商,且對國產硬件的支持力度業(yè)界第一。
03丨需求決定一切
以上這些特性,實際上只是跟海外的開源平臺打成個平手。真正能讓飛槳成為殺手級人工智能深度學習拓展平臺的原因,是其跟中國市場的深度捆綁。
由于百度所有的技術扎根于中國市場本土需求,相應的算法標準,基礎能力、深度學習的習慣等等,都跟中國市場和相應數據采集的情況相吻合。
如果采用國際上知名的其他開源平臺來研發(fā)項目,在最終項目調整的過程中,還要付出很大的精力,要將很多不符合國內環(huán)境的算法和思路進行調整,這對于人工智能的策劃師和算法分析師來說都是一個重大的挑戰(zhàn)。
但使用飛槳就不用做這些事,可以省很大的工作量。
從2019年開始,百度AI的能力逐漸下沉,開始跟產業(yè)經濟和生產一線相結合,在飛槳上也越來越多有類似的人工智能項目運行,比如智能質檢,比如對于農產品的智能分揀等等。
這些與產業(yè)相結合的人工智能應用模型,飛槳已經積累了超過1000個。由于這些模型最終都成功運營,所以類似需求的開發(fā)者只要將這些模型針對自己的一些特征進行修改調試,就可以在短時間內拿出一個成型的人工智能解決方案和項目實施計劃。
再加上百度本身所推出的人工智能應用,就已經覆蓋了中國互聯網的大多數使用空間。豐富的人工智能基礎模塊,可以讓程序員和工程師快速部署形成自己的人工智能軟件應用。
這大大方便了人工智能項目在中國產業(yè)端的拓展,也成為飛槳迅速在中國人工智能研發(fā)領域成為主流平臺的重要原因。
截止目前在飛槳平臺上,經常使用相應模塊進行人工智能開發(fā)的程序員和工程師超過400萬。
這已經創(chuàng)造了中國開源軟件開發(fā)框架或平臺的記錄。
04丨擺在前面的挑戰(zhàn)
當然,飛槳并不是不是一個完美的框架和平臺。知乎上在飛槳專區(qū)有很多程序員吐槽,大多是有關應用端以開發(fā)的過程中,調取模塊遇到的各種bug問題。
而由于整套系統(tǒng)的邏輯都是百度自己建立的,并沒有前面的經驗可以遵循,這也讓很多新的模塊出來,需要帶有一段時間的糾錯期。這對爭分奪秒的人工智能開發(fā)領域來說,是一種時間上的浪費。
因此有程序員提出,能不能作為開源程序員加入其中,為飛槳目前的不斷完善,提供自己的思路和幫助。
另外,由于百度發(fā)展的局限性,使得飛槳在海外的應用受限。如何將飛槳推到國際市場,恐怕是百度在2022年一定要認真考慮的重要問題。
畢竟,百度是將AI作為未來發(fā)展的基石,而飛槳被看作是百度AI的核心,那么李彥宏對于百度轉型的定位,在國內和國際都需要飛槳為支撐的AI故事。
百度也已經認識到這一點,2021年開始舉辦人工智能規(guī)劃師的培訓,并開始逐漸國際化發(fā)展,目的很明確。
但一切還需要時間,而現在已經到了百米賽跑的關鍵沖刺期。
雖然百度有底氣,但時間上得要抓緊了。
原文標題 : 百度“飛槳”是怎么成為世界第三的?

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題