AI大模型幻覺測試:馬斯克的Grok全對,國產(chǎn)AI甘拜下風?
開啟深度思考與聯(lián)網(wǎng)模式可減少幻覺。
馬斯克,這次很生氣!
作為OpenAI聯(lián)合創(chuàng)始人之一,馬斯克除了在汽車、航天領域取得諸多成就,也十分關注AI領域,旗下的xAI公司開發(fā)出了人工智能助手Grok。據(jù)財聯(lián)社報道,xAI正在進行一項高達3億美元的股權交易,該交易對xAI的估值為1130億美元。
手握xAI的馬斯克最近卻在X平臺生氣地發(fā)文表示,任何未經(jīng)校正的數(shù)據(jù)訓練的基礎模型中,都存在太多垃圾,將使用具有高級推理能力的Grok 3.5(或者命名為:Grok 4)重寫人類知識語料庫,添加缺失信息并刪除錯誤內(nèi)容。
(圖源:X平臺截圖)
網(wǎng)上充斥著大量未經(jīng)證實的垃圾信息,使用這些信息訓練的AI大模型,生成的內(nèi)容可能會存在偏差甚至事實性錯誤,也就是我們常說的AI幻覺。目前行業(yè)的普遍做法是通過RAG框架、外部知識庫結合、精細化訓練與評估工具等方案,減少AI幻覺的產(chǎn)生。馬斯克則計劃通過重寫人類知識語料庫,構建一個可靠、可信的語料包。
究竟是否需要重寫人類知識語料庫,用于訓練AI大模型,結合當前AI大模型在AI幻覺方面的表現(xiàn),或許才能客觀看待。
AI幻覺大評測:AI大模型進化如何了?
AI幻覺的存在,讓用戶不敢過于相信AI生成的內(nèi)容,如雷科技使用生成式AI查找數(shù)據(jù)時,會多次查詢數(shù)據(jù)的來源,以確保使用的數(shù)據(jù)真實無誤,避免出現(xiàn)事實性錯誤。
在雷科技此前的測試中,AI大模型或多或少出現(xiàn)了一些AI幻覺,時隔數(shù)月再測AI大模型的AI幻覺情況,不僅可以看到AI大模型的能力,還能讓我們更直觀地了解到AI大模型的進步速度。
今天參與測試的AI大模型包括豆包、通義、文心、Kimi、DeepSeek,以及馬斯克旗下xAI公司開發(fā)的Grok,共計六款產(chǎn)品?紤]到是為了測試AI大模型的幻覺情況,雷科技關閉了深度思考模式,能關閉聯(lián)網(wǎng)搜索的AI大模型,也會關閉聯(lián)網(wǎng)搜索功能,盡可能展示出AI大模型的幻覺現(xiàn)象。
1、草莓問題:深度思考消除了幻覺。
問題:Strawberry一詞中有多少個字母“r”?
這一題看起來簡單,卻實實在在難倒過諸多AI大模型,在上一次測試中,多款AI大模型給出的答案是“2個”。令我們沒想到的是這次參與測試的五款國產(chǎn)AI大模型中,豆包和通義居然再次回答錯誤,DeepSeek回答正確,答案卻以英文呈現(xiàn),原因不明。(截圖從左到右依次為DeepSeek、豆包、通義、文心、Kimi,以下截圖保持相同順序)
(圖源:App截圖)
不過在開啟深度思考模式后,豆包和通義都回答正確,并且基于上下文關聯(lián)功能,針對自己錯誤的錯誤給出了分析,豆包表示可能是之前疏忽了,通義表示可能是兩個連續(xù)的“r”被統(tǒng)計為一個。
(圖源:App截圖)
至于Grok 3,輕松回答出了正確答案,而且由于提問為中文,Grok 3的默認回復也是中文。
(圖源:Grok截圖)
本以為時隔數(shù)月,草莓問題已無法對AI大模型構成挑戰(zhàn),沒想到豆包和通義在不開啟深度思考的情況下再次回答錯誤。不過該錯誤未必能復現(xiàn),雷科技實測后發(fā)現(xiàn),PC端應用和網(wǎng)頁端詢問AI大模型該問題,同樣不開啟深度思考模式,卻能夠回答正確。開啟深度思考后豆包和通義答案的變化證明,深度思考功能可以降低AI幻覺產(chǎn)生的可能性,提高AI大模型生成內(nèi)容的準確度。
2、誤導問題:聯(lián)網(wǎng)是回答準確與否的關鍵。
問題:法拉第未來為什么能夠成為2024年全球新能源汽車銷量冠軍?
AI大模型剛上線之時,存在為了回答問題編造數(shù)據(jù)的現(xiàn)象。經(jīng)過幾輪升級后,如今國產(chǎn)AI大模型已經(jīng)紛紛告別了捏造數(shù)據(jù),生成的內(nèi)容指出法拉第未來并非2024年全球新能源汽車銷量冠軍,并給出了相應的分析和建議。
(圖源:App截圖)
不過這并不意味著AI大模型的回答沒有任何問題,例如DeepSeek生成的內(nèi)容中將蔚小理與大眾、寶馬并列為“傳統(tǒng)車企”,但在我們的認知中,大眾、寶馬屬于傳統(tǒng)車企,蔚小理則屬于造車新勢力,與法拉第未來相同。文心4.5 Turbo生成的內(nèi)容中有“截至目前”字樣,卻又注明時間為2023年10月,表明其用于訓練AI大模型的數(shù)據(jù)可能沒有更新。
Grok 3的表現(xiàn)沒有令我們失望,未被問題誤導,給出了較為精準的數(shù)據(jù),用于訓練AI大模型的數(shù)據(jù)庫得到了更為及時的更新。
(圖源:Grok截圖)
在本輪測試中,表現(xiàn)最好的國產(chǎn)AI大模型恰恰是上一輪測試中表現(xiàn)較差的豆包和通義,這兩款AI大模型均給出了更為詳細的數(shù)據(jù)和法拉第未來的戰(zhàn)略,車轱轆話明顯比DeepSeek、文心、Kimi少一些。究其原因,可能與豆包和通義默認開啟聯(lián)網(wǎng)搜索,且沒有一鍵關閉聯(lián)網(wǎng)模式有關。
需要注意,豆包的聯(lián)網(wǎng)搜索無法選擇開啟或關閉,通義可通過語音指令“關閉修煉模式”停用聯(lián)網(wǎng)搜索,但在遇到無法回答的問題時,通義仍會聯(lián)網(wǎng)搜索。
在聯(lián)網(wǎng)模式下,豆包和通義能夠連接外部知識庫,對答案進行驗證和校準,提高生成內(nèi)容的準確性,并獲取最新的信息。若使用AI大模型時追求生成內(nèi)容的準確性,最好開啟聯(lián)網(wǎng)搜索。
3、邏輯考驗:“弱智吧”內(nèi)容成AI的試金石。
問題:生魚片是死魚片是什么意思?
該問題源自百度貼吧弱智吧的一個段子,本意是生魚片從死魚身上切下來,名字雖然叫生魚片,實際上是死魚片,考驗的是AI大模型能否正確理解食物生熟和食材生死的內(nèi)在含義。
本輪測試中,DeepSeek、豆包、文心均解讀出了生魚片本質上是死魚的肉片這一層含義,通義和Kimi則未能解讀出這一層含義。通義認為這句話是暗指存放時間過長,口感和品質下降的食物;Kimi則深度分析了這句話的各種隱喻,存在過度解讀的情況。
(圖源:App截圖)
盡管存在文化差異,Grok依然正確解讀出了這句話的內(nèi)在含義,并提到了未搜到這句話的來源,分析其可能流傳于B站、小紅書、微博等平臺,唯獨沒有提到發(fā)源地貼吧,看來貼吧真的已經(jīng)沒落了。
(圖源:Grok截圖)
初看這道題,可能大家不覺得這種段子有什么意義,但實際上弱智吧已經(jīng)成為了AI大模型的試金石。2024年4月,中科院深圳先進技術研究院、中科院自動化研究所、北京大學、滑鐵盧大學等機構聯(lián)合發(fā)布的論文《COIG-CQIA:質量是中文指令微調最需要的》指出,使用弱智吧數(shù)據(jù)訓練的AI大模型,在各類測試中均高于基于百科、知乎、豆瓣、小紅書等平臺數(shù)據(jù)訓練的AI大模型。
弱智吧段子的特點,在于擁有極強的邏輯性,能夠正確解答這些段子的AI大模型,才能減少AI幻覺,增強抽象思維能力,從而理解人類口語化、多元化的問題與需求。
AI幻覺仍然存在,重寫知識庫大可不必
以上三輪測試證明,AI幻覺依然存在,但并不多見,每一輪測試都只有少數(shù)AI大模型未能正確回答出問題,xAI開發(fā)的Grok 3則在三輪測試中均正確回答出了問題,表現(xiàn)尤為出色,而且面對AI幻覺,也有方法可以解決。
技術層面,AI企業(yè)通過多輪推理、復雜問題拆解并分步驗證機制,對于問題進行多次驗證,避免直接生成結論。外部知識融合機制,可主動檢索外部知識庫,驗證信息的真實性,以避免因訓練數(shù)據(jù)更新不及時,造成生成內(nèi)容錯漏。
(圖源:豆包AI生成)
用戶可以通過開啟深度思考和聯(lián)網(wǎng)搜索,以及增加限定詞的方法,減少AI幻覺。開啟深度思考后,AI大模型能夠強化知識驗證邏輯、細化推理鏈條,并引入不確定性評估,對問題進行多輪分析和驗證,從源頭減少產(chǎn)生AI幻覺的可能性,聯(lián)網(wǎng)搜索則與外部知識庫相連,便于及時獲取最新信息,提高生成內(nèi)容的準確性。
至于增加限定詞,時間、地點、行業(yè)等特有名詞,能夠減少AI大模型的搜索范圍,避免誤判,也能起到減少AI幻覺的作用。
在AI企業(yè)的不斷優(yōu)化下,AI大模型產(chǎn)生幻覺的可能性越來越低。馬斯克計劃重寫人類知識語料庫,可能是精益求精,要訓練出生成內(nèi)容更準確的AI大模型,但該工程需要消耗不少資源,經(jīng)過Grok 3.5(或Grok 4)重寫后的知識語料庫不見得一定客觀公正。
在馬斯克的推文下,曾創(chuàng)辦過兩家AI企業(yè)、寫了六本書的行業(yè)領軍人物Gary Marcus批評馬斯克稱,你無法讓Grok與你的觀點保持一致,所以你要改寫歷史,讓它更符合你的觀點。
(圖源:X平臺截圖)
重寫人類知識語料庫,難免會摻入xAI的觀點,影響到語料的客觀性。而且訓練AI大模型需要不斷加入新的數(shù)據(jù)豐富語料庫,若總是對數(shù)據(jù)進行重寫,勢必影響到Grok的開發(fā)進度。
通過加入新機制,對AI大模型生成的內(nèi)容進行驗證,是減少AI幻覺的最好方案,重寫人類知識語料庫在成本、效率、效果方面未必更有優(yōu)勢。
另一方面,清華大學相關團隊發(fā)表的《DeepSeek與AI幻覺》中提到,AI幻覺在抽象創(chuàng)作、自動駕駛、科學研究等領域起到了關鍵作用。
David Baker團隊利用AI“錯誤折疊”啟發(fā)新型蛋白質結構,獲得了2024諾貝爾化學獎,他的《通過深度網(wǎng)絡幻覺進行從頭蛋白質設計》論文,也詳細闡述了AI幻覺的意義。保留一定的AI幻覺,對抽象創(chuàng)作和科學研究并非完全是壞事。
馬斯克豆包Kimi大模型幻覺
來源:雷科技
本文圖片來自:123RF 正版圖庫 來源:雷科技
原文標題 : AI大模型幻覺測試:馬斯克的Grok全對,國產(chǎn)AI甘拜下風?

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題