狠狠躁日日躁夜夜躁A片无码,中文字幕在线亚洲二区,最近更新中文字幕在线,四虎影视国产精品亚洲精品,男人扒开添女人下部免费视频

訂閱
糾錯(cuò)
加入自媒體

手機(jī)本地部署DeepSeek?實(shí)測真能用:AI隱私有保障了?

2025-02-25 09:36
雷科技
關(guān)注

離線的端側(cè)AI,并非沒有用處。

聚焦DeepSeek專題banner(補(bǔ)充標(biāo)題).png

好了,又到了雷科技的DeepSeek整活時(shí)間。

之前雷科技成功嘗試過在一臺(tái)沒有獨(dú)顯的筆記本電腦上,單純依靠CPU和內(nèi)存來本地部署DeepSeek,最終成功運(yùn)行了一個(gè)7B參數(shù)量的Qwen蒸餾模型。

雖然部署的要求很簡單,但是7B參數(shù)量的AI模型表現(xiàn)也確實(shí)很一般,而且PC本身也可以輕松獲取到更高參數(shù)量的AI模型,所以實(shí)際意義并不大。不過,倘若可以把這個(gè)AI模型部署到手機(jī)上呢?7B的AI模型在工作等方面或許不能給我們太多的幫助,但是在手機(jī)上拿來當(dāng)隨身AI助手的話,結(jié)論或許就不一樣了。

在此之前,我們首先要在手機(jī)上部署AI。網(wǎng)上有不少相關(guān)教程,小雷測試了其中的幾種,也算是幫大家提前趟趟雷了。

手機(jī)本地部署DeepSeek,還真行

如果你在百度上搜索這個(gè)問題,或許會(huì)首先看到“天極網(wǎng)”發(fā)布的教程,這篇教程是通過一個(gè)名為Termux的app,在安卓手機(jī)上模擬一個(gè)Linux終端,然后部署Ollama,再通過ollama來下載DeepSeek模型并運(yùn)行。

簡單來說,就是將在電腦上部署DeepSeek的方案,直接移植到手機(jī)上,因?yàn)槭峭ㄟ^終端模擬器來運(yùn)行,所以實(shí)際效率還要打個(gè)折扣。至于詳細(xì)的部署過程,大家可以看一下小雷的幾張截圖:

微信截圖_20250219021610.png

圖源:雷科技

雖然全程都只是需要輸入命令就會(huì)自動(dòng)進(jìn)入下一步,但是多數(shù)人看到這個(gè)滿屏代碼的畫面,估計(jì)就會(huì)被默默勸退。而且,在折騰了差不多兩個(gè)小時(shí)后,我也終于確認(rèn)了一件事:教程里寫的服務(wù)器出問題了。

如果按這個(gè)教程對環(huán)境部署服務(wù)器進(jìn)行訪問,其實(shí)是找不到原文里提到的清華大學(xué)鏡像文件源,只剩下幾個(gè)按大洲和區(qū)域劃分的服務(wù)器可選,為了排除網(wǎng)絡(luò)因素,我還分別切換了不同的網(wǎng)絡(luò)嘗試,都只有八個(gè)服務(wù)器在線。

微信截圖_20250219021656.png

圖源:雷科技

隨后我分別嘗試了亞洲和中國骨干網(wǎng)絡(luò)的兩個(gè)鏡像源,都在進(jìn)行到Ubuntu安裝的步驟卡死,下載速度非常慢的同時(shí)還有可能中途報(bào)錯(cuò),導(dǎo)致整個(gè)下載停擺。在折騰幾個(gè)小時(shí)都無法完成安裝后,我選擇嘗試另一個(gè)部署方案。

這個(gè)方案則是通過部署安裝依賴后,直接下載ollama并在本地運(yùn)行,比之前的方案要更簡略,但是從實(shí)際的測試來看,如果你沒有特殊網(wǎng)絡(luò),可能會(huì)無法開啟下載,即使開啟下載后,仍然有可能卡在軟件部署的過程中。

簡而言之,如果你想用Tremux實(shí)現(xiàn)最原始的AI大模型部署,那么或許要具備一定debug能力和良好的網(wǎng)絡(luò)支持,否則就可能像我這樣花了幾個(gè)小時(shí),仍然看著網(wǎng)絡(luò)錯(cuò)誤的提醒發(fā)呆。

不過好在現(xiàn)在AI概念非常紅火,所以github上其實(shí)有很多開源的本地AI部署app供大家選擇,我這次就測試了三款:ChatterUI、PocketPal和MNN大模型,三款app各有優(yōu)劣,大家可以根據(jù)需要自行選擇。

微信截圖_20250219021800.png

圖源:雷科技

其中,ChatterUI和PocketPal支持直接加載本地AI模型,并允許通過在線下載的方式遠(yuǎn)程加載模型到本地系統(tǒng),個(gè)人建議如果你有電腦的話,最好直接下載到電腦再復(fù)制到手機(jī)里,方面根據(jù)需要更換模型,避免一堆模型堆積在手機(jī)內(nèi)存里,擠占手機(jī)空間。

提供AI模型下載的網(wǎng)站并不少,不過大多需要魔法網(wǎng)絡(luò)才能訪問,所以我建議大家直接去魔塔社區(qū)下載即可,這是阿里達(dá)摩院運(yùn)營的AI模型社區(qū),其模型庫基本上涵蓋了大部分開源的AI模型及其衍生版本,并且對模型進(jìn)行詳細(xì)分類,可以根據(jù)詞條進(jìn)行快速查詢。

微信截圖_20250219021922.png

圖源:雷科技

注冊并登錄后,就可以開始選擇你的AI模型,個(gè)人建議內(nèi)存小于12G的朋友選擇Qwen 2.5-3B和LLama-3.2-3B兩個(gè)版本的AI模型,12G及以上的朋友則可以選擇DeepSeek-R1-7B的版本。

在下載模型并轉(zhuǎn)存到手機(jī)后,接下來做的就是安裝app,然后加載模型,過程很簡單。先來看看ChatterUI,這個(gè)app的特點(diǎn)是支持TTS(語音輸出),結(jié)合語音輸入可以解鎖更多的使用場景和方式。

微信圖片_20250218235954.jpg

圖源:雷科技

安裝好后點(diǎn)擊左上角就可以喚出側(cè)邊欄,先點(diǎn)擊「Formatting」在頂部選項(xiàng)欄里找到你下載的AI模型,比如你下的是DeepSeek那就選DeepSeek-R1。保存后退出再點(diǎn)擊側(cè)邊欄的「Models」,點(diǎn)擊右上角的添加并選擇第一條選項(xiàng),即可打開手機(jī)存儲(chǔ),然后選擇剛剛存入的AI模型,稍等片刻就可以完成加載,最后點(diǎn)擊最右側(cè)的“運(yùn)行”圖標(biāo)即可部署。

微信圖片_20250219022047.jpg

圖源:雷科技

接下來只要你點(diǎn)擊AI Bot,就可以與你選擇的AI模型對話,如果想切換模型,返回Models進(jìn)行設(shè)置即可。此外,ChatterUI也支持對模型的各種推理參數(shù)進(jìn)行詳細(xì)設(shè)置,點(diǎn)擊側(cè)邊欄的「Sampler」即可,各種參數(shù)的對應(yīng)效果大家可以在網(wǎng)上自行搜索學(xué)習(xí),這里小雷就不展開來說了。

再來看看PocketPal,這個(gè)app的用起來還要更簡單些,只是不支持TTS功能,同樣是打開側(cè)邊欄的「Models」,右下角可以直接添加本地AI模型,并且也提供一些小參數(shù)的AI模型快速下載通道,有興趣的話可以下載來玩玩。

微信圖片_20250219022122.jpg

圖源:雷科技

AI模型安裝好后,還是點(diǎn)擊右下角的運(yùn)行進(jìn)行加載,然后就可以直接回到首頁進(jìn)行提問了,右上角可以進(jìn)入推理設(shè)置頁面,與ChatterUI差不多。

如果說你覺得以上兩個(gè)app的英文不太看得懂,而且想要更簡單易上手,那么我的建議是MNN,這是由阿里開發(fā)的開源app,整合了多個(gè)在手機(jī)等小型移動(dòng)設(shè)備上運(yùn)行效果良好的AI模型,涵蓋了DeepSeek、Qwen、LLama等通用模型及一些專業(yè)模型,可以根據(jù)需要直接點(diǎn)擊下載。

微信圖片_20250219022156.jpg

圖源:雷科技

下載完成后點(diǎn)擊即可加載使用,全程傻瓜式操作,但是也有個(gè)缺陷,那就是不能像ChatterUI和PocketPal那樣直接調(diào)整模型的推理參數(shù),只能通過對話的方式讓AI嘗試著把回答變得更具創(chuàng)意一些。

以上三個(gè)app基本可以覆蓋大多數(shù)的本地AI部署需求,不管你是單純想要個(gè)問答助手,還是想要個(gè)隨身的解悶軟件,亦或是想折騰不同的AI模型,看看其本地部署的效果,都可以輕松應(yīng)對,而且比通過Termux來部署要簡單方便得多。

手機(jī)本地AI:性能不重要,隱私有保障

AI部署完了,那么就到了喜聞樂見的體驗(yàn)環(huán)節(jié),作為對比,我還下載了1.5B版本的DeepSeek-R1,理論上1.5B的版本可以被部署到8G甚至6G內(nèi)存的手機(jī)里,可以說是最泛用的。

本來我是對1.5B版本的DeepSeek不抱太大希望的,但是沒想到這玩意開局就給我來了個(gè)「驚喜」。我先是慣例的詢問AI身份,看看他能否認(rèn)知自己的AI模型版本,結(jié)果AI直接給我來了一套深度分析,從“對問題感到困惑”到“AIBot是誰(就是你自己呀)”,再到“AI Bot和User(我)之間的關(guān)系”,最后他給出了一個(gè)結(jié)論:

是,AI Bot是**人工智能**。它沒有生命,也沒有意識(shí),只是一個(gè)功能模型或程序,并非人類。當(dāng)你詢問“你是誰”,AI Bot的回答其實(shí)是**沒有實(shí)體存在的**,它本身并非人來回答的問題。

這種提問方式提醒我們在使用AI技術(shù)時(shí)需要謹(jǐn)慎,尤其是涉及基礎(chǔ)概念的問答時(shí)。

我直接一個(gè)問號(hào)就想打出去了,好家伙,這是加載了什么參數(shù)庫?怎么上來就是哲學(xué)模式?因?yàn)榛卮疬^于抽象,以至于我反復(fù)確認(rèn)加載的1.5B而非7B版本。最后通過仔細(xì)查看思考過程,我發(fā)現(xiàn)可能是app的接口設(shè)置出現(xiàn)了一些問題,導(dǎo)致其與AI大模型之間的交流出現(xiàn)了問題,讓AI以為這場對話有三個(gè)角色,自己正在作為旁觀者回答我的問題。

微信截圖_20250219022509.png

圖源:雷科技

簡單來說,當(dāng)時(shí)的場景就相當(dāng)于User(我)指著AI Bot(ChatterUI)問DeepSeek:你(他)是誰,然后DeepSeek對著AI Bot就是一堆分析,最后得出了結(jié)論:這就是程序。只能說,AI這玩意玩久了,依然是處處有驚喜,特別是DeepSeek這種“發(fā)散性思維”的AI,經(jīng)常能夠給出一些讓你眼前一亮(或者一黑)的回答。

不過在后續(xù)的追問下,這個(gè)只有1.5B參數(shù)量的模型很快就露出了馬腳,開始前言不搭后語,答非所問,徹底變成了被玩壞的狀態(tài),只能說1.5B的模型確實(shí)難堪大用。而在切換成7B版本后,AI就輕松給出了正確的回答,然后我又追問了一個(gè)簡單的問題:告訴我番茄炒蛋的做法,雖然AI先是說無法給出菜譜,但是隨后也是列出了做法。

不得不說,本地部署的AI在穩(wěn)定性等方面確實(shí)存在問題,與在線模式的AI體驗(yàn)有著非常明顯的區(qū)別,而且不同app出現(xiàn)的問題也會(huì)各不相同,比如PocketPal就偶爾會(huì)出現(xiàn)思考到一半無法繼續(xù)的問題,后續(xù)發(fā)現(xiàn)是思維鏈長度設(shè)置有問題,修改后就正常了。

而且,驍龍8至尊版+16G運(yùn)存的手機(jī),AI推理和生成速度都非常不錯(cuò),已經(jīng)完全滿足日常問答和使用的需求,這一點(diǎn)也是讓我頗為意外,事實(shí)上這個(gè)速度已經(jīng)不比一些筆記本電腦差。

微信截圖_20250219022859.png

圖源:雷科技

而在后續(xù)的一些提問里,7B的DeepSeek也是勉強(qiáng)答上了我的一些提問,比如當(dāng)遇到一個(gè)癲癇癥發(fā)作的病人時(shí)該如何進(jìn)行急救、在野外受傷沒有人幫助時(shí)該怎么自救等。基本上我就是設(shè)定了一個(gè)無法使用網(wǎng)絡(luò)的場景,并且我急需一些幫助,在這種情況下離線部署的AI或許就是你最后的助力了。

微信截圖_20250219023039.png

圖源:雷科技

畢竟如果可以聯(lián)網(wǎng)的話,非隱私問題直接問DeepSeek app或者其他第三方AI,可以得到更好更完善的回答。至于隱私性問題,我的建議是大家如果真有需求,可以去騰訊云等云服務(wù)商那里買個(gè)API接口,然后通過chatbox在本地部署一個(gè)在線滿血版AI客戶端。

如果你對自己的隱私保護(hù)非常上心,那么找一臺(tái)有20G以上顯存的電腦,或者在華為云等云服務(wù)器供應(yīng)商那里租一個(gè)云服務(wù)器,用來部署自己的專屬AI模型也是可選項(xiàng)。

回到正題,在手機(jī)上部署AI大模型,有意義嗎?我認(rèn)為是有的。如果說電腦上部署7B版AI是“多此一舉”,那么在手機(jī)上部署就不一樣了。雖然能力是相似的,但是手機(jī)上的離線AI確實(shí)有用,他可以在你無網(wǎng)且需要幫助時(shí),給你提供最基礎(chǔ)的建議,有時(shí)候或許就是這個(gè)小小的建議,就能讓你脫困也說不定。

再給大家總結(jié)一下三個(gè)app的本地部署效果,如果你追求穩(wěn)定可用,那么MNN是最好的選擇,在測試中也是回答質(zhì)量最穩(wěn)定的,而ChatterUI和PocketPal雖然功能豐富,但是也更容易出BUG,適合有一定AI基礎(chǔ)和編程基礎(chǔ)的人使用。

最后,希望大家都可以玩得開心。

來源:雷科技

       原文標(biāo)題 : 手機(jī)本地部署DeepSeek?實(shí)測真能用:AI隱私有保障了?

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)