說(shuō)到本地部署大模型，就不得不提到 Ollama。Ollama 是一個(gè)開(kāi)源項(xiàng)目，旨在簡(jiǎn)化大語(yǔ)言模型（LLM）在本地環(huán)境中的部署和使用。它為用戶提供了一個(gè)簡(jiǎn)單易用的接口，使得即使沒(méi)有深厚技術(shù)背景的用戶也能輕松地在自己的設(shè)備上運(yùn)行和管理大模型。本篇文章將以部署國(guó)產(chǎn)最新崛起的 AI 大模型 DeepSeek R1 為例，手把手教你如何利用 Ollama 在本地環(huán)境中快速搭建和運(yùn)行這些先進(jìn)的 AI 模型。

一、DeepSeek R1 簡(jiǎn)介

DeepSeek R1 是一款開(kāi)源 AI 模型，其性能可與 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等頂級(jí)模型媲美，尤其在數(shù)學(xué)、編程和推理等任務(wù)上表現(xiàn)出色。最重要的是，它是免費(fèi)、私密的，可以在本地硬件上離線運(yùn)行。

DeepSeek R1 提供多個(gè)參數(shù)規(guī)模的版本，從輕量級(jí)的 1.5B 參數(shù)模型到高性能的 70B 版本。它基于 Qwen 7B 架構(gòu)的精簡(jiǎn)優(yōu)化版本，既保持強(qiáng)大性能，又具備更高的計(jì)算效率。

其主要亮點(diǎn)包括：

• 完全開(kāi)源，可自由使用。
• 支持本地運(yùn)行，無(wú)需依賴云服務(wù)器。
• 數(shù)據(jù)完全可控，確保隱私安全。

二、為什么選擇本地部署？

本地運(yùn)行 AI 模型有以下優(yōu)勢(shì)：

• 隱私保障：所有數(shù)據(jù)均存儲(chǔ)在本地，避免敏感信息泄露。
• 零額外成本：DeepSeek R1 免費(fèi)運(yùn)行，無(wú)需訂閱或額外費(fèi)用。
• 完全控制：可以進(jìn)行微調(diào)和本地優(yōu)化，無(wú)需外部依賴。

三、硬件要求

推薦閱讀：一文讀懂DeepSeek-R1本地部署配置要求

四、安裝步驟

步驟 1：安裝 Ollama

Ollama 是一款本地 AI 運(yùn)行工具，可幫助用戶輕松運(yùn)行 DeepSeek R1。

下載地址：https://ollama.com/download

安裝完成后，Ollama 提供了在終端直接運(yùn)行 AI 模型的功能。

Ollama 簡(jiǎn)介

Ollama 是一個(gè)專注于簡(jiǎn)化大語(yǔ)言模型（LLM）本地部署的開(kāi)源工具。它的設(shè)計(jì)目標(biāo)是讓用戶能夠以最少的配置和操作，輕松在本地設(shè)備上運(yùn)行和管理各種大模型。無(wú)論是開(kāi)發(fā)者、研究者，還是普通用戶，都可以通過(guò) Ollama 快速體驗(yàn)大語(yǔ)言模型的強(qiáng)大能力，而無(wú)需依賴云端服務(wù)或復(fù)雜的部署流程。

GitHub：https://github.com/ollama/ollama

Ollama 核心特點(diǎn)

• 開(kāi)箱即用：提供了預(yù)配置的模型包，用戶只需通過(guò)簡(jiǎn)單的命令即可下載和運(yùn)行模型，無(wú)需手動(dòng)配置環(huán)境或處理復(fù)雜的依賴關(guān)系。
• 跨平臺(tái)支持：支持 Windows、macOS 和 Linux 系統(tǒng)，覆蓋了大多數(shù)主流操作系統(tǒng)，滿足不同用戶的需求。
• 模型管理：用戶可以輕松管理多個(gè)模型版本，包括下載、更新和切換模型。它還支持自定義模型配置。
• 資源優(yōu)化：針對(duì)本地硬件進(jìn)行了優(yōu)化，能夠在有限的資源下高效運(yùn)行大模型。無(wú)論是高性能 GPU 還是普通 CPU，都能流暢的體驗(yàn)。
• 開(kāi)發(fā)者友好：提供了豐富的 API 和詳細(xì)的文檔，方便開(kāi)發(fā)者將其集成到自己的應(yīng)用中，或者進(jìn)行二次開(kāi)發(fā)。

Ollama 的適用場(chǎng)景

• 個(gè)人學(xué)習(xí)與研究：非常適合個(gè)人用戶在自己的電腦上探索大語(yǔ)言模型的能力，無(wú)需依賴云端服務(wù)。
• 本地開(kāi)發(fā)與測(cè)試：開(kāi)發(fā)者可以利用 Ollama 在本地快速測(cè)試和調(diào)試基于大模型的應(yīng)用，提升開(kāi)發(fā)效率。
• 隱私保護(hù)：由于模型完全運(yùn)行在本地，Ollama 特別適合對(duì)數(shù)據(jù)隱私有較高要求的場(chǎng)景，例如醫(yī)療、金融等領(lǐng)域。

Ollama 安裝

Ollama 的安裝也特別的簡(jiǎn)單，基本上只需要鼠標(biāo)點(diǎn)點(diǎn)點(diǎn)即可，以下是具體的安裝步驟：

1、打開(kāi) Ollama 官網(wǎng)：https://ollama.com/download，根據(jù)自己的操作系統(tǒng)下載不同的安裝程序包。

2、下載完成后，雙開(kāi)打開(kāi)點(diǎn)擊 “install” 即可，然后就是耐心等待幾分鐘。

3、經(jīng)過(guò)了幾分鐘，你可能發(fā)現(xiàn)安裝的界面不見(jiàn)了，不要慌這是正常的。接下來(lái)就是打開(kāi) CMD 命令窗口 (通過(guò) Win + R 鍵可打開(kāi))；

當(dāng)出現(xiàn)運(yùn)行窗口時(shí)，輸入 cmd 點(diǎn)擊確定即可，在命令窗口中再輸入 ollama 如果輸出結(jié)果跟我一樣，那就表示成功安裝了。

這里輸出的是 ollama 命令的用法的，具體如下：

用法：
ollama [flags]
ollama [命令]
可用命令：
serve 		啟動(dòng) ollama
create 		從 Modelfile 創(chuàng)建模型
show 		顯示模型信息
run 		運(yùn)行模型
stop 		停止正在運(yùn)行的模型
pull 		從注冊(cè)表拉取模型
push 		將模型推送到注冊(cè)表
list 		列出模型
ps 			列出正在運(yùn)行的模型
cp 			復(fù)制模型
rm 			刪除模型
help 		獲取命令幫助
標(biāo)志：
-h, --help 	顯示幫助信息
-v, --version 	顯示版本信息
使用 "ollama [命令] --help" 獲取有關(guān)命令的更多信息。

Open - Webui 安裝

什么是 Open WebUI ？

Open WebUI 是一個(gè)開(kāi)源的、基于 Web 的用戶界面（UI）框架，專為與大語(yǔ)言模型（LLM）交互而設(shè)計(jì)。它提供了一個(gè)直觀、友好的圖形界面，使用戶能夠通過(guò)瀏覽器輕松地與本地或遠(yuǎn)程部署的大語(yǔ)言模型進(jìn)行交互，而無(wú)需依賴復(fù)雜的命令行工具。Open WebUI 支持多種功能，包括聊天、模型管理、歷史記錄查看等，極大地提升了用戶的使用體驗(yàn)。

為什么將 Open WebUI 與 Ollama 結(jié)合使用？

Ollama主要是通過(guò)命令進(jìn)行操作，對(duì)于不熟悉命令行的用戶來(lái)說(shuō)可能不夠友好。而 Open WebUI 正好彌補(bǔ)了這一不足，它為用戶提供了一個(gè)直觀的圖形界面，使得與 Ollama 部署的模型交互變得更加簡(jiǎn)單和高效。

Open - Webui 安裝

Open - Webui 提供了多種安裝方式，這里我用的是 Python pip。

如果你還沒(méi)有安裝 Python，可以查看下面這篇安裝教程。注意：請(qǐng)確保安裝的是 Python 3.11 版本避免兼容性問(wèn)題。

Python安裝教程：https://blog.csdn.net/Palpitate_2024/article/details/145406375?spm=1001.2014.3001.5501

通過(guò) Python pip 安裝

打開(kāi) CMD 命令窗口，執(zhí)行以下命令即可安裝。

pip install open-webui

安裝完成后，執(zhí)行以下命令即可運(yùn)行。

open-webui serve

這將啟動(dòng) Open WebUI 服務(wù)器，可以通過(guò) http://localhost:8080 進(jìn)行訪問(wèn)；首次啟動(dòng)后，需要注冊(cè)一個(gè)管理賬號(hào)；點(diǎn)擊注冊(cè)即可。

最新評(píng)論