自動機器學習簡述
三、元學習 Meta Learning
元學習也就是"學習如何學習",通過對現(xiàn)有的學習任務之間的性能差異進行系統(tǒng)的觀測,然后學習已有的經(jīng)驗和元數(shù)據(jù),用于更好的執(zhí)行新的學習任務。這樣做可以極大的該靜機器學習流水線或者神經(jīng)網(wǎng)絡架構(gòu)的設計,也可以用數(shù)據(jù)驅(qū)動的方式取代手工作坊似的算法工程工作。
從某種意義上來說,元學習覆蓋了超參數(shù)優(yōu)化,因為元數(shù)據(jù)的學習包含了:超參數(shù),流水線的構(gòu)成,神經(jīng)網(wǎng)絡架構(gòu),模型構(gòu)成,元特征等等。
機器學習的算法我們又稱為‘學習器’,學習器就是假定一個模型,該模型擁有很多未知參數(shù),利用訓練數(shù)據(jù)和優(yōu)化算法來找到最適合這些訓練數(shù)據(jù)的參數(shù),生成一個新的算法,或者參數(shù)已知的模型,并利用該模型/算法來預測新的未知數(shù)據(jù)。如果說世界上只有一個模型,那么問題就簡單了,問題是模型有很多,不同的模型擁有不同的超參數(shù),我們往往還會把模型和算法組裝在一起構(gòu)成復合模型和機器學習的流水線,這個時候,我就需要知道解決不同的問題要構(gòu)建那些不同的模型。元學習就在這個時候,我們可以把超參數(shù),流水線,神經(jīng)網(wǎng)絡架構(gòu)這些都看成是一個新的模型的未知參數(shù),把不同學習任務的性能指標看成是輸入數(shù)據(jù),這樣我們就可以利用優(yōu)化算法來找到性能最好的那組參數(shù)。這個模式可以一直嵌套,也就是說,你可以有‘元元元學習‘,當然我希望你不要走得太遠,找不到回來的路。
元學習的方法包括:
通過模型評估來學習
通過任務的屬性,元特征來學習
以下列出了一些常見的元特征
從現(xiàn)有的模型中學習,包括:
遷移學習
利用RNN在學習過程中修改自己的權(quán)重
元學習的一個很大的挑戰(zhàn)就是如果通過很少的訓練數(shù)據(jù)來學習一個復雜的模型,這就是one-shot或者few-shot的問題。
像人類的學習一樣,每次學習無論成功失敗,我們都收獲一定的經(jīng)驗,人類很少從頭學習。在構(gòu)建自動學習的時候,我們也應該充分利用已有的每一次的學習經(jīng)驗,逐步的改進,使得新的學習更加有效。
四、神經(jīng)網(wǎng)絡架構(gòu)搜索
Neural Architecture Search
提起AutoML,其實大多數(shù)人都是因為Google的AutoML系統(tǒng)才知道這個故事的。隨著深度學習的流行,神經(jīng)網(wǎng)絡的架構(gòu)變得越來越復雜,越來越多的手工工程也隨之而來。神經(jīng)網(wǎng)絡架構(gòu)搜索就是為了解決這個問題。
NAS主要包含三個部分:
搜索空間 search space
搜索策略 search strategy
性能估計策略 performance estimation strategy
五、自動化特征工程
自動化特征工程可以幫助數(shù)據(jù)科學家基于數(shù)據(jù)集自動創(chuàng)建能夠最好的用于訓練的特征。
Featuretools是一個開源庫,用來實現(xiàn)自動化特征工程。它是一個很好的工具,旨在加快特征生成的過程,從而讓大家有更多的時間專注于構(gòu)建機器學習模型的其他方面。換句話說,它使你的數(shù)據(jù)處于“等待機器學習”的狀態(tài)。
Featuretools程序包中的三個主要組件:
實體(Entities)
深度特征綜合(Deep Feature Synthesis ,DFS)
特征基元(Feature primitives)
一個Entity可以視作是一個Pandas的數(shù)據(jù)框的表示,多個實體的集合稱為Entityset。
深度特征綜合(DFS)與深度學習無關,不用擔心。實際上,DFS是一種特征工程方法,是Featuretools的主干。它支持從單個或者多個數(shù)據(jù)框中構(gòu)造新特征。
DFS通過將特征基元應用于Entityset的實體關系來構(gòu)造新特征。這些特征基元是手動生成特征時常用的方法。例如,基元“mean”將在聚合級別上找到變量的平均值。
六、其它自動機器學習工具集
以下列出一些開源的自動機器學習工具空大家參考、選擇
Auto-Sklearn
AutoKeras
TPOT
H2O AutoML
Python auto_ml

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設計:醫(yī)療器械設計的應用案例與方案解析
推薦專題