NLP ——從0開(kāi)始快速上手百度 ERNIE
前文我們已經(jīng)簡(jiǎn)單講解過(guò)ERNIE1.0與2.0的構(gòu)成與區(qū)別
NLP | 百度 ERNIE - 簡(jiǎn)析1.0 與 2.0
一篇簡(jiǎn)單易懂的好文
本文小媛帶來(lái)的是【從0開(kāi)始快速上手百度 ERNIE】
原文詳見(jiàn)文末原文鏈接
一、前置條件
在使用ERNIE模型之前,用戶(hù)需要完成如下任務(wù):
安裝Python3.7.5版本。
安裝paddlepaddle 1.8版本,具體安裝方法請(qǐng)參見(jiàn)快速安裝(文末)。
執(zhí)行如下命令從GitHub上獲取ERNIE代碼庫(kù)。如果網(wǎng)絡(luò)速度較慢用戶(hù)可以跳過(guò)此步,因?yàn)榻坛套詭в蠩RNIE的包。
!git clone -b dygraph --single-branch https://github.com/PaddlePaddle/ERNIE.git
使用pip方式安裝其他依賴(lài)文件。
!pip install -r ERNIE/requirements.txt
依賴(lài)文件主要包括:
numpy:Python的一種開(kāi)源數(shù)值計(jì)算拓展,可以用來(lái)進(jìn)行大型張量的存儲(chǔ)和計(jì)算。scikit-learn:機(jī)器學(xué)習(xí)工具包。scipy:科學(xué)計(jì)算庫(kù)。six:解決py2和py3代碼兼容性的工具包。
二、快速運(yùn)行
這里以使用情感分析數(shù)據(jù)集ChnSentiCorp的ERNIE中文預(yù)模型為例,展示如何通過(guò)簡(jiǎn)單的三個(gè)步驟就可以快速使用ERNIE 1.0中文Base模型實(shí)現(xiàn)情感分析場(chǎng)景的推理。
ChnSentiCorp是一個(gè)中文情感分析數(shù)據(jù)集,包含酒店、筆記本電腦和書(shū)籍的網(wǎng)購(gòu)評(píng)論。表1對(duì)ERNIE1.0/2.0和BERT中文模型在該任務(wù)上的效果進(jìn)行了評(píng)測(cè),評(píng)測(cè)使用的指標(biāo)為準(zhǔn)確率(acc),即在使用驗(yàn)證集或測(cè)試集進(jìn)行推理時(shí),推理正確的數(shù)據(jù)條目占數(shù)據(jù)集數(shù)據(jù)總數(shù)的百分比。從表1中可以看到ERNIE具有明顯的優(yōu)勢(shì)。
使用ERNIE 1.0中文Base模型進(jìn)行推理分如下三個(gè)步驟:
數(shù)據(jù)獲取。介紹如何下載ChnSentiCorp數(shù)據(jù)集,以及數(shù)據(jù)集的結(jié)構(gòu),這樣用戶(hù)可以參考數(shù)據(jù)集的結(jié)構(gòu)構(gòu)造用于Fine-tuning的數(shù)據(jù)集。此外如果用戶(hù)希望使用自定義數(shù)據(jù)集進(jìn)行訓(xùn)練,則可以仿照ChnSentiCorp數(shù)據(jù)集的結(jié)構(gòu),構(gòu)建自己的數(shù)據(jù)集。
運(yùn)行Fine-tuning。介紹如何設(shè)置數(shù)據(jù)和模型路徑的環(huán)境變量,以及如何執(zhí)行腳本進(jìn)行Fine-tuning。
執(zhí)行推理。使用腳本運(yùn)行Fine-tuning成功的模型進(jìn)行推理。
表1 ERNIE1.0/2.0和BERT的測(cè)評(píng)表
數(shù)據(jù)集
ChnSentiCorp
評(píng)估
指標(biāo)
準(zhǔn)確率(acc)
驗(yàn)證集(dev)
測(cè)試集(test)
BERT Base94.694.3ERNIE 1.0 Base95.2 (+0.6)95.4 (+1.1)ERNIE 2.0 Base95.7 (+1.1)95.5 (+1.2)ERNIE 2.0 Large 96.1 (+1.5)95.8 (+1.5)1. 數(shù)據(jù)獲取
ERNIE在多個(gè)中文和英文NLP任務(wù)上做過(guò)評(píng)測(cè),中文任務(wù)的數(shù)據(jù)可以通過(guò)下面的命令獲取, ChnSentiCorp數(shù)據(jù)亦包含其中。
!wget https://ernie-github.cdn.bcebos.com/data-chnsenticorp.tar.gz!tar xvf data-chnsenticorp.tar.gz

發(fā)表評(píng)論
登錄
手機(jī)
驗(yàn)證碼
立即登錄即可訪(fǎng)問(wèn)所有OFweek服務(wù)
還不是會(huì)員?免費(fèi)注冊(cè)
忘記密碼請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線(xiàn)會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線(xiàn)下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠(chǎng)展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 7 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 8 張勇等人退出阿里合伙人
- 9 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 10 AI的夏天:第四范式VS云從科技VS地平線(xiàn)機(jī)器人