快捷導(dǎo)航

如何本地部署DeepSeek

更新時(shí)間：2025年02月04日 09:23:39 作者：ASER_1989

這篇文章介紹了如何在本地部署DeepSeek大型語言模型,并分享了遇到的問題和解決方法,感興趣的朋友一起看看吧

沒想到新年最熱鬧的地方之一會(huì)是互聯(lián)網(wǎng)，刷爆朋友圈的除了新年祝福還有DeepSeek。揣著一顆好奇心試了試，竟有一種發(fā)現(xiàn)新大路的感覺。估計(jì)是圍觀的人太多，在線的版本有時(shí)候會(huì)出現(xiàn)連不上的情況，好奇心驅(qū)使之下想嘗試本地部署。

方案

本地化方案非常簡單：Ollama + DeepSeek-R1 + Enchanted LLM 。

Ollama

Ollama 是一個(gè)用于在本地運(yùn)行大型語言模型（LLMs）的工具，支持多種開源模型，如 Llama 2、Code Llama、Mistral 等。它簡化了模型下載、配置和運(yùn)行的過程，用戶可以通過命令行輕松管理模型。使用起來頗有docker的感覺，pull、run、ps...。安裝也簡單，選擇對于系統(tǒng)，下載安裝就妥了。

DeepSeek-R1

在Ollama的網(wǎng)站上（https://ollama.com/）Models頁面當(dāng)前排名第一的就是DeepSeek-R1，點(diǎn)進(jìn)去選擇對應(yīng)的版本，右邊會(huì)展示對應(yīng)的ollama 命令，復(fù)制命令粘貼到命令行工具中執(zhí)行即可。如圖：

這種高端操作一帆風(fēng)順貌似不太合理，所以我也遇到點(diǎn)問題。不同的版本大小差異會(huì)比較大，第一個(gè)上手的是70b這個(gè)版本，總大小43GB。en～下了兩個(gè)小時(shí)左右，終于好了，正準(zhǔn)備見證奇跡的時(shí)候，ollama拋出這樣一個(gè)提示：ollama Error: Post "http://127.0.0.1:11434/api/show": read tcp 127.0.0.1:57953->127.0.0.1:11434: read: connection reset by peer 。后來問了DeepSeek，它思考了半天，它告訴我The server is busy. Please try again later. 最后它讓我檢查服務(wù)狀態(tài)、端口占用、防火墻、Ollama版本......一頓操作之后突然想起了ollama ps這個(gè)命令，一看傻眼了，啥都沒有。突然明白是模型沒運(yùn)行起來，估計(jì)是電腦配置不夠，70b這個(gè)版本高攀不起。于是開始嘗試1.5b這個(gè)版本，一切順利，可以通過控制臺(tái)進(jìn)行對話了。讓它用React實(shí)現(xiàn)一個(gè)tab組件，好家伙給了我十幾個(gè)方案，果斷換下一個(gè)版本。于是選擇了32b這個(gè)版本，20GB竟然成功跑起來了。

Enchanted

控制臺(tái)對話終究沒有UI方便，在Ollama README上列舉了大量UI工具，如Open WebUI、Enchanted、Hollama、Lollms-Webui.... 因?yàn)楸镜厥荕acOs，這里選擇的是Enchanted。Enchanted是MacOs下的一個(gè)App，也支持IOS和Vision Pro，在AppStore上下載安裝即可。Enchanted配置非常簡單，填寫本地服務(wù)地址（Ollama本地服務(wù)是： localhost:11434）選擇對應(yīng)模型版本即可。至此本地化就完成了。最后附上紀(jì)念照：