人工智能之隨機森林(RF)
通過上一篇文章《人工智能之決策樹》,我們清楚地知道決策樹(DT)是一類常見的機器學習方法。決策樹(DT)在人工智能中所處的位置:人工智能-->機器學習-->監(jiān)督學習-->決策樹。決策樹主要用來解決分類和回歸問題,但是決策樹(DT)會產(chǎn)生過擬合現(xiàn)象,導致泛化能力變?nèi)?/strong>。過擬合是建立決策樹模型時面臨的重要挑戰(zhàn)之一。鑒于決策樹容易過擬合的缺點,由美國貝爾實驗室大牛們提出了采用隨機森林(RF)投票機制來改善決策樹。隨機森林(RF)則是針對決策樹(DT)的過擬合問題而提出的一種改進方法,而且隨機森林(RF)是一個最近比較火的算法。因此有必要對隨機森林(RF)作進一步探討。^_^
隨機森林(RF)在人工智能中所處的位置:人工智能-->機器學習-->監(jiān)督學習-->決策樹-->隨機森林。
隨機森林(RF)指的是利用多棵樹對樣本進行訓練并預測的一種分類器。該分類器最早由Leo Breiman和Adele Cutler提出,并被注冊成了商標。
那么什么是隨機森林?
隨機森林(RandomForests)是一個包含多個決策樹的分類器,并且其輸出的類別是由個別樹輸出的類別的眾數(shù)而定。Leo Breiman和Adele Cutler發(fā)展并推論出隨機森林的算法。隨機森林(RF)這個術語是1995年由貝爾實驗室的Tin Kam Ho所提出的隨機決策森林(random decision forests)而來的。這個方法則是結合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"以建造決策樹的集合。
通過定義我們知道,隨機森林(RF)要建立了多個決策樹(DT),并將它們合并在一起以獲得更準確和穩(wěn)定的預測。隨機森林的一大優(yōu)勢在于它既可用于分類,也可用于回歸問題,這兩類問題恰好構成了當前的大多數(shù)機器學習系統(tǒng)所需要面對的。
隨機森林是集成學習的一個子類,它依靠于決策樹的投票選擇來決定最后的分類結果。集成學習通過建立幾個模型組合的來解決單一預測問題。集成學習的簡單原理是生成多個分類器/模型,各自獨立地學習和作出預測。這些預測最后結合成單預測,因此優(yōu)于任何一個單分類的做出預測。
隨機森林的構建過程:
假設N表示訓練用例(樣本)個數(shù),M表示特征數(shù)目,隨機森林的構建過程如下:
1) 輸入特征數(shù)目m,用于確定決策樹上一個節(jié)點的決策結果;其中m應遠小于M。
2) 從N個訓練用例(樣本)中以有放回抽樣的方式,取樣N次,形成一個訓練集,并用未抽到的用例(樣本)作預測,評估其誤差。
3) 對于每一個節(jié)點,隨機選擇m個特征,決策樹上每個節(jié)點的決定都是基于這些特征確定的。根據(jù)m個特征,計算其最佳的分裂方式。
4) 每棵樹都會完整成長而不會剪枝,這有可能在建完一棵正常樹狀分類器后會被采用。
5) 重復上述步驟,構建另外一棵棵決策樹,直到達到預定數(shù)目的一群決策樹為止,即構建好了隨機森林。
其中,預選變量個數(shù)(m)和隨機森林中樹的個數(shù)是重要參數(shù),對系統(tǒng)的調(diào)優(yōu)非常關鍵。這些參數(shù)在調(diào)節(jié)隨機森林模型的準確性方面也起著至關重要的作用。科學地使用這些指標,將能顯著的提高隨機森林模型工作效率。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題