出于對(duì)代碼、文檔等的保密要求，所以很多公司會(huì)將 DeepSeek 部署在本地服務(wù)器使用，如下是一個(gè)如何部署的保姆級(jí)的教程！我所使用的硬件環(huán)境如下所示。

Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 104
On-line CPU(s) list: 0-103
Thread(s) per core: 2
Core(s) per socket: 26
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 85
Model name: Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz
Stepping: 7
CPU MHz: 1000.761
CPU max MHz: 4000.0000
CPU min MHz: 1000.0000
BogoMIPS: 4200.00
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 1024K
L3 cache: 36608K
NUMA node0 CPU(s): 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38,40,42,44,46,48,50,52,54,56,58,60,62,64,66,68,70,72,74,76,78,80,82,84,86,88,90,92,94,96,98,100,102
NUMA node1 CPU(s): 1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,33,35,37,39,41,43,45,47,49,51,53,55,57,59,61,63,65,67,69,71,73,75,77,79,81,83,85,87,89,91,93,95,97,99,101,103
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l3 cdp_l3 invpcid_single intel_ppin ssbd mba ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid cqm mpx rdt_a avx512f avx512dq rdseed adx smap clflushopt clwb intel_pt avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local dtherm ida arat pln pts pku ospke avx512_vnni md_clear flush_l1d arch_capabilities

1. 在 Linux 服務(wù)器上部署 DeepSeek 模型

1.1 安裝 Ollama

通過(guò) “ Ollama” 進(jìn)入其官網(wǎng)，點(diǎn)擊 “Download” 進(jìn)入下載界面，選擇 Linux 操作系統(tǒng)，復(fù)制相關(guān)指令安裝 Ollama，具體指令如下所示：

curl -fsSL https://ollama.com/install.sh | sh

如果服務(wù)器上沒(méi)有顯卡，那么安裝結(jié)束后會(huì)出現(xiàn)如下的警告，無(wú)視即可。

1.2 驗(yàn)證安裝：

安裝完成后，您可以通過(guò)以下命令驗(yàn)證 Ollama 是否安裝成功：

ollama --version

2. 下載模型

使用如下命令下載模型：

ollama run deepseek-r1:671b // 將下載并啟動(dòng)DeepSeek R1 671B模型

2.1 指定模式的安裝目錄

我們?cè)诎惭b模型時(shí)，可能由于服務(wù)器空間有限，需要安裝到指定的目錄。

2.1.1 確定默認(rèn)存儲(chǔ)路徑

Ollama 默認(rèn)的模型存儲(chǔ)路徑如下：/usr/share/ollama/.ollama/models （Linux）

2.1.2 設(shè)置新的下載路徑

• 關(guān)閉Ollama進(jìn)程：sudo systemctl stop ollama
• 打開(kāi)終端，編輯Shell配置文件（如.bashrc、.zshrc）：
  • nano ~/.bashrc # 或使用其他編輯器
• 在文件末尾添加：
  • export OLLAMA_MODELS="/data/ollama"
• 保存文件后，執(zhí)行 source ~/.bashrc 使配置生效。
• 重啟Ollama服務(wù)：sudo systemctl enable ollama

Note:

自定完如上目錄后，啟動(dòng)ollama會(huì)失敗，具體的原因?yàn)椋簅llama 用戶和用戶組對(duì)于/data/ollama目錄沒(méi)有訪問(wèn)權(quán)限，使用如下指令使能其權(quán)限。

# sudo chown -R ollama:ollama /data/ollama

3. 配置遠(yuǎn)端 Web-UI 服務(wù)

為了允許遠(yuǎn)程訪問(wèn)，您需要配置 Ollama 服務(wù)監(jiān)聽(tīng)所有網(wǎng)絡(luò)接口，并設(shè)置允許的來(lái)源。

編輯服務(wù)配置文件：sudo vim /etc/systemd/system/ollama.service，在文件中添加以下內(nèi)容：

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/data/ollama" # 模型存儲(chǔ)路徑
Environment="OLLAMA_HOST=0.0.0.0:11434" # 允許遠(yuǎn)程調(diào)用 API
Environment="OLLAMA_ORIGINS=*"
[Install]
WantedBy=default.target

上述配置將 Ollama 服務(wù)設(shè)置為在所有網(wǎng)絡(luò)接口上監(jiān)聽(tīng) 11434 端口，并允許所有來(lái)源的請(qǐng)求。

Note:

自定完如上目錄后，啟動(dòng)ollama會(huì)失敗，具體的原因?yàn)椋簅llama 用戶和用戶組對(duì)于/data/ollama目錄沒(méi)有訪問(wèn)權(quán)限，使用如下指令使能其權(quán)限。

# sudo chown -R ollama:ollama /data/ollama

重新加載服務(wù)并啟動(dòng)：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

3.1 配置防火墻

如果您的系統(tǒng)啟用了防火墻，需要允許11434端口的訪問(wèn)： 允許端口訪問(wèn)：sudo ufw allow 11434

3.2 訪問(wèn)模型服務(wù)

完成上述配置后，您可以通過(guò)瀏覽器訪問(wèn) http://<服務(wù)器IP>:11434 來(lái)驗(yàn)證服務(wù)是否正常運(yùn)行。如果看到“Ollama is running”的提示，說(shuō)明服務(wù)已成功啟動(dòng)。

3.3 使用Chatbox進(jìn)行遠(yuǎn)程訪問(wèn)

為了方便與模型進(jìn)行交互，您可以使用Chatbox客戶端：

• 下載并安裝Chatbox（Chatbox AI官網(wǎng)：辦公學(xué)習(xí)的AI好助手，全平臺(tái)AI客戶端，官方免費(fèi)下載）：
  • 訪問(wèn)Chatbox官網(wǎng)，下載適用于您設(shè)備的版本并安裝。我選擇的是網(wǎng)頁(yè)版本：

• 配置API連接：
• 在Chatbox中，選擇“Ollama API”，并輸入您的服務(wù)器IP和端口（例如http://<服務(wù)器IP>:11434）。

• 選擇模型：
  • 在模型列表中選擇您下載的DeepSeek模型（如deepseek-r1:671b）。
• 開(kāi)始對(duì)話：
  • 配置完成后，您可以在Chatbox中輸入問(wèn)題，與模型進(jìn)行交互。

到此這篇關(guān)于Linux 服務(wù)器本地部署 DeepSeek-R1 大模型！在遠(yuǎn)端Web-UI訪問(wèn)！保姆級(jí)教程！的文章就介紹到這了,更多相關(guān)Linux 本地部署 DeepSeek-R1 大模型內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論