說到本地部署大模型，就不得不提到 Ollama。Ollama 是一個開源項目，旨在簡化大語言模型（LLM）在本地環(huán)境中的部署和使用。它為用戶提供了一個簡單易用的接口，使得即使沒有深厚技術(shù)背景的用戶也能輕松地在自己的設(shè)備上運行和管理大模型。本篇文章將以部署國產(chǎn)最新崛起的 AI 大模型 DeepSeek R1 為例，手把手教你如何利用 Ollama 在本地環(huán)境中快速搭建和運行這些先進的 AI 模型。

一、DeepSeek R1 簡介

DeepSeek R1 是一款開源 AI 模型，其性能可與 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等頂級模型媲美，尤其在數(shù)學(xué)、編程和推理等任務(wù)上表現(xiàn)出色。最重要的是，它是免費、私密的，可以在本地硬件上離線運行。

DeepSeek R1 提供多個參數(shù)規(guī)模的版本，從輕量級的 1.5B 參數(shù)模型到高性能的 70B 版本。它基于 Qwen 7B 架構(gòu)的精簡優(yōu)化版本，既保持強大性能，又具備更高的計算效率。

其主要亮點包括：

• 完全開源，可自由使用。
• 支持本地運行，無需依賴云服務(wù)器。
• 數(shù)據(jù)完全可控，確保隱私安全。

二、為什么選擇本地部署？

本地運行 AI 模型有以下優(yōu)勢：

• 隱私保障：所有數(shù)據(jù)均存儲在本地，避免敏感信息泄露。
• 零額外成本：DeepSeek R1 免費運行，無需訂閱或額外費用。
• 完全控制：可以進行微調(diào)和本地優(yōu)化，無需外部依賴。

三、硬件要求

推薦閱讀：一文讀懂DeepSeek-R1本地部署配置要求

四、安裝步驟

步驟 1：安裝 Ollama

Ollama 是一款本地 AI 運行工具，可幫助用戶輕松運行 DeepSeek R1。

下載地址：https://ollama.com/download

安裝完成后，Ollama 提供了在終端直接運行 AI 模型的功能。

Ollama 簡介

Ollama 是一個專注于簡化大語言模型（LLM）本地部署的開源工具。它的設(shè)計目標(biāo)是讓用戶能夠以最少的配置和操作，輕松在本地設(shè)備上運行和管理各種大模型。無論是開發(fā)者、研究者，還是普通用戶，都可以通過 Ollama 快速體驗大語言模型的強大能力，而無需依賴云端服務(wù)或復(fù)雜的部署流程。

GitHub：https://github.com/ollama/ollama

Ollama 核心特點

• 開箱即用：提供了預(yù)配置的模型包，用戶只需通過簡單的命令即可下載和運行模型，無需手動配置環(huán)境或處理復(fù)雜的依賴關(guān)系。
• 跨平臺支持：支持 Windows、macOS 和 Linux 系統(tǒng)，覆蓋了大多數(shù)主流操作系統(tǒng)，滿足不同用戶的需求。
• 模型管理：用戶可以輕松管理多個模型版本，包括下載、更新和切換模型。它還支持自定義模型配置。
• 資源優(yōu)化：針對本地硬件進行了優(yōu)化，能夠在有限的資源下高效運行大模型。無論是高性能 GPU 還是普通 CPU，都能流暢的體驗。
• 開發(fā)者友好：提供了豐富的 API 和詳細(xì)的文檔，方便開發(fā)者將其集成到自己的應(yīng)用中，或者進行二次開發(fā)。

Ollama 的適用場景

• 個人學(xué)習(xí)與研究：非常適合個人用戶在自己的電腦上探索大語言模型的能力，無需依賴云端服務(wù)。
• 本地開發(fā)與測試：開發(fā)者可以利用 Ollama 在本地快速測試和調(diào)試基于大模型的應(yīng)用，提升開發(fā)效率。
• 隱私保護：由于模型完全運行在本地，Ollama 特別適合對數(shù)據(jù)隱私有較高要求的場景，例如醫(yī)療、金融等領(lǐng)域。

Ollama 安裝

Ollama 的安裝也特別的簡單，基本上只需要鼠標(biāo)點點點即可，以下是具體的安裝步驟：

1、打開 Ollama 官網(wǎng)：https://ollama.com/download，根據(jù)自己的操作系統(tǒng)下載不同的安裝程序包。

2、下載完成后，雙開打開點擊 “install” 即可，然后就是耐心等待幾分鐘。

3、經(jīng)過了幾分鐘，你可能發(fā)現(xiàn)安裝的界面不見了，不要慌這是正常的。接下來就是打開 CMD 命令窗口 (通過 Win + R 鍵可打開)；

當(dāng)出現(xiàn)運行窗口時，輸入 cmd 點擊確定即可，在命令窗口中再輸入 ollama 如果輸出結(jié)果跟我一樣，那就表示成功安裝了。

這里輸出的是 ollama 命令的用法的，具體如下：

用法：
ollama [flags]
ollama [命令]
可用命令：
serve 		啟動 ollama
create 		從 Modelfile 創(chuàng)建模型
show 		顯示模型信息
run 		運行模型
stop 		停止正在運行的模型
pull 		從注冊表拉取模型
push 		將模型推送到注冊表
list 		列出模型
ps 			列出正在運行的模型
cp 			復(fù)制模型
rm 			刪除模型
help 		獲取命令幫助
標(biāo)志：
-h, --help 	顯示幫助信息
-v, --version 	顯示版本信息
使用 "ollama [命令] --help" 獲取有關(guān)命令的更多信息。

Open - Webui 安裝

什么是 Open WebUI ？

Open WebUI 是一個開源的、基于 Web 的用戶界面（UI）框架，專為與大語言模型（LLM）交互而設(shè)計。它提供了一個直觀、友好的圖形界面，使用戶能夠通過瀏覽器輕松地與本地或遠(yuǎn)程部署的大語言模型進行交互，而無需依賴復(fù)雜的命令行工具。Open WebUI 支持多種功能，包括聊天、模型管理、歷史記錄查看等，極大地提升了用戶的使用體驗。

為什么將 Open WebUI 與 Ollama 結(jié)合使用？

Ollama主要是通過命令進行操作，對于不熟悉命令行的用戶來說可能不夠友好。而 Open WebUI 正好彌補了這一不足，它為用戶提供了一個直觀的圖形界面，使得與 Ollama 部署的模型交互變得更加簡單和高效。

Open - Webui 安裝

Open - Webui 提供了多種安裝方式，這里我用的是 Python pip。

如果你還沒有安裝 Python，可以查看下面這篇安裝教程。注意：請確保安裝的是 Python 3.11 版本避免兼容性問題。

Python安裝教程：https://blog.csdn.net/Palpitate_2024/article/details/145406375?spm=1001.2014.3001.5501

通過 Python pip 安裝

打開 CMD 命令窗口，執(zhí)行以下命令即可安裝。

pip install open-webui

安裝完成后，執(zhí)行以下命令即可運行。

open-webui serve

這將啟動 Open WebUI 服務(wù)器，可以通過 http://localhost:8080 進行訪問；首次啟動后，需要注冊一個管理賬號；點擊注冊即可。

最新評論