快捷導(dǎo)航

Linux 服務(wù)器本地部署 DeepSeek-R1 大模型并在遠(yuǎn)端Web-UI訪問保姆級教程

更新時間：2025年02月19日 11:27:22 作者：思考的下一頁

本文詳細(xì)介紹了在Linux服務(wù)器上部署DeepSeek模型的步驟,包括安裝Ollama、下載模型、配置Web-UI服務(wù)以及使用Chatbox進(jìn)行遠(yuǎn)程訪問,感興趣的朋友一起看看吧

Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 104
On-line CPU(s) list: 0-103
Thread(s) per core: 2
Core(s) per socket: 26
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 85
Model name: Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz
Stepping: 7
CPU MHz: 1000.761
CPU max MHz: 4000.0000
CPU min MHz: 1000.0000
BogoMIPS: 4200.00
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 1024K
L3 cache: 36608K
NUMA node0 CPU(s): 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38,40,42,44,46,48,50,52,54,56,58,60,62,64,66,68,70,72,74,76,78,80,82,84,86,88,90,92,94,96,98,100,102
NUMA node1 CPU(s): 1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,33,35,37,39,41,43,45,47,49,51,53,55,57,59,61,63,65,67,69,71,73,75,77,79,81,83,85,87,89,91,93,95,97,99,101,103
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l3 cdp_l3 invpcid_single intel_ppin ssbd mba ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid cqm mpx rdt_a avx512f avx512dq rdseed adx smap clflushopt clwb intel_pt avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local dtherm ida arat pln pts pku ospke avx512_vnni md_clear flush_l1d arch_capabilities

1. 在 Linux 服務(wù)器上部署 DeepSeek 模型

1.1 安裝 Ollama

通過 “ Ollama” 進(jìn)入其官網(wǎng)，點擊 “Download” 進(jìn)入下載界面，選擇 Linux 操作系統(tǒng)，復(fù)制相關(guān)指令安裝 Ollama，具體指令如下所示：

curl -fsSL https://ollama.com/install.sh | sh

如果服務(wù)器上沒有顯卡，那么安裝結(jié)束后會出現(xiàn)如下的警告，無視即可。

1.2 驗證安裝：

安裝完成后，您可以通過以下命令驗證 Ollama 是否安裝成功：

ollama --version

2. 下載模型

使用如下命令下載模型：

ollama run deepseek-r1:671b // 將下載并啟動DeepSeek R1 671B模型

2.1 指定模式的安裝目錄

我們在安裝模型時，可能由于服務(wù)器空間有限，需要安裝到指定的目錄。

2.1.1 確定默認(rèn)存儲路徑

Ollama 默認(rèn)的模型存儲路徑如下：/usr/share/ollama/.ollama/models （Linux）

2.1.2 設(shè)置新的下載路徑

關(guān)閉Ollama進(jìn)程：sudo systemctl stop ollama
打開終端，編輯Shell配置文件（如.bashrc、.zshrc）：
- nano ~/.bashrc # 或使用其他編輯器
在文件末尾添加：
- export OLLAMA_MODELS="/data/ollama"
保存文件后，執(zhí)行 source ~/.bashrc 使配置生效。
重啟Ollama服務(wù)：sudo systemctl enable ollama

Note:

自定完如上目錄后，啟動ollama會失敗，具體的原因為：ollama 用戶和用戶組對于/data/ollama目錄沒有訪問權(quán)限，使用如下指令使能其權(quán)限。

# sudo chown -R ollama:ollama /data/ollama

3. 配置遠(yuǎn)端 Web-UI 服務(wù)

為了允許遠(yuǎn)程訪問，您需要配置 Ollama 服務(wù)監(jiān)聽所有網(wǎng)絡(luò)接口，并設(shè)置允許的來源。

編輯服務(wù)配置文件：sudo vim /etc/systemd/system/ollama.service，在文件中添加以下內(nèi)容：

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/data/ollama" # 模型存儲路徑
Environment="OLLAMA_HOST=0.0.0.0:11434" # 允許遠(yuǎn)程調(diào)用 API
Environment="OLLAMA_ORIGINS=*"
[Install]
WantedBy=default.target

上述配置將 Ollama 服務(wù)設(shè)置為在所有網(wǎng)絡(luò)接口上監(jiān)聽 11434 端口，并允許所有來源的請求。

Note:

自定完如上目錄后，啟動ollama會失敗，具體的原因為：ollama 用戶和用戶組對于/data/ollama目錄沒有訪問權(quán)限，使用如下指令使能其權(quán)限。

# sudo chown -R ollama:ollama /data/ollama

重新加載服務(wù)并啟動：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

3.1 配置防火墻

如果您的系統(tǒng)啟用了防火墻，需要允許11434端口的訪問：允許端口訪問：sudo ufw allow 11434

3.2 訪問模型服務(wù)

完成上述配置后，您可以通過瀏覽器訪問 http://<服務(wù)器IP>:11434 來驗證服務(wù)是否正常運行。如果看到“Ollama is running”的提示，說明服務(wù)已成功啟動。

3.3 使用Chatbox進(jìn)行遠(yuǎn)程訪問

為了方便與模型進(jìn)行交互，您可以使用Chatbox客戶端：

下載并安裝Chatbox（Chatbox AI官網(wǎng)：辦公學(xué)習(xí)的AI好助手，全平臺AI客戶端，官方免費下載）：
- 訪問Chatbox官網(wǎng)，下載適用于您設(shè)備的版本并安裝。我選擇的是網(wǎng)頁版本：

配置API連接：
在Chatbox中，選擇“Ollama API”，并輸入您的服務(wù)器IP和端口（例如http://<服務(wù)器IP>:11434）。

選擇模型：
- 在模型列表中選擇您下載的DeepSeek模型（如deepseek-r1:671b）。
開始對話：
- 配置完成后，您可以在Chatbox中輸入問題，與模型進(jìn)行交互。

到此這篇關(guān)于Linux 服務(wù)器本地部署 DeepSeek-R1 大模型！在遠(yuǎn)端Web-UI訪問！保姆級教程！的文章就介紹到這了,更多相關(guān)Linux 本地部署 DeepSeek-R1 大模型內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: