DeepSeek-R1本地部署的極簡教程
環(huán)境
本人在本地部署了兩個(gè)版本的deepseek-r1,分別為8b和14b版本。其中8b可以流暢推理,14b版本推理速度會(huì)慢一點(diǎn),平均等待時(shí)間10-20秒。
環(huán)境為
CPU:amd 3100
GPU:RTX 3060 8G
MEMORY:16G
SYSTEM: win11
部署
1.安裝 ollama
首先進(jìn)入 ollama 官網(wǎng) https://ollama.com/
然后點(diǎn)擊download,選擇本地電腦對應(yīng)的版本
下載后進(jìn)行安裝。
注意:安裝時(shí)默認(rèn)使用C盤,確保你的C盤有足夠多的空間可以安裝 ollama 及后續(xù)的大模型,建議C盤空間 ≥ 12G
安裝后在電腦開始頁面啟動(dòng) ollama,然后查看任務(wù)欄,有 ollama 圖標(biāo)意味著 ollama已經(jīng)啟動(dòng)。
我們回到 ollama 官網(wǎng),在搜索欄搜索 deepseek-r1
選擇適合自己的版本,注意右側(cè)的GB代表磁盤容量,確保C盤有足夠的磁盤容量。
如果你的電腦和我配置差不多可以嘗試8b,
擁有12G以上的顯存使用14b版本應(yīng)該可以流暢運(yùn)行,
更多的參數(shù)量,例如32b建議使用3090或4090。
2.部署 deepseek-r1
使用下面命令進(jìn)行安裝,8b代表選擇8b的版本
ollama run deepseek-r1:8b
隨后打開任務(wù)管理器(記得用管理員),然后輸入命令進(jìn)行部署,本地會(huì)下載對應(yīng)的模型。
出現(xiàn)下面情況代表安裝完成,當(dāng)然可能會(huì)出現(xiàn)超時(shí)問題,重新運(yùn)行上面部署代碼即可
然后使用/?
或/help
進(jìn)行測試。
最后展示下效果
到此這篇關(guān)于DeepSeek-R1本地部署指南極簡版的文章就介紹到這了,更多相關(guān)DeepSeek-R1本地部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
高性能高可用高并發(fā)架構(gòu)和系統(tǒng)設(shè)計(jì)思路大綱
高性能架構(gòu)和系統(tǒng)設(shè)計(jì)要求高并發(fā)高性能,高性能更多的是先從編碼角度、架構(gòu)使用角度去讓我們的單機(jī)(單實(shí)例)有更好的性能,然后再從整個(gè)系統(tǒng)層面來擁有更好的性能;高并發(fā)則直接是全局角度來讓我們的系統(tǒng)在全鏈路下都能夠抗住更多的并發(fā)請求2023-08-08flask+layui+echarts實(shí)現(xiàn)前端動(dòng)態(tài)圖展示數(shù)據(jù)效果
這篇文章主要介紹了flask+layui+echarts實(shí)現(xiàn)前端動(dòng)態(tài)圖展示數(shù)據(jù)效果,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09一文教你在現(xiàn)有Vue項(xiàng)目中嵌入Blazor項(xiàng)目
目前官方只提供了angular和react倆種示例,所以本教程將來講解如何在Vue的現(xiàn)有項(xiàng)目中嵌入使用Blazor項(xiàng)目。文中的方法講解詳細(xì),感興趣的小伙伴可以了解一下2023-01-01lambda 表達(dá)式導(dǎo)致 Arthas 無法 redefine 的問題
這篇文章主要介紹了lambda 表達(dá)式導(dǎo)致 Arthas 無法 redefine 的問題,本文通過圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06Git Submodule管理項(xiàng)目子模塊的使用
這篇文章主要介紹了Git Submodule管理項(xiàng)目子模塊的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-085分鐘獲取deepseek api并搭建簡易問答應(yīng)用
本文主要介紹了5分鐘獲取deepseek api并搭建簡易問答應(yīng)用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01