說到本地部署大模型，就不得不提到 Ollama。Ollama 是一個(gè)開源項(xiàng)目，旨在簡(jiǎn)化大語言模型（LLM）在本地環(huán)境中的部署和使用。它為用戶提供了一個(gè)簡(jiǎn)單易用的接口，使得即使沒有深厚技術(shù)背景的用戶也能輕松地在自己的設(shè)備上運(yùn)行和管理大模型。本篇文章將以部署國產(chǎn)最新崛起的 AI 大模型 DeepSeek R1 為例，手把手教你如何利用 Ollama 在本地環(huán)境中快速搭建和運(yùn)行這些先進(jìn)的 AI 模型。

一、DeepSeek R1 簡(jiǎn)介

DeepSeek R1 是一款開源 AI 模型，其性能可與 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等頂級(jí)模型媲美，尤其在數(shù)學(xué)、編程和推理等任務(wù)上表現(xiàn)出色。最重要的是，它是免費(fèi)、私密的，可以在本地硬件上離線運(yùn)行。

DeepSeek R1 提供多個(gè)參數(shù)規(guī)模的版本，從輕量級(jí)的 1.5B 參數(shù)模型到高性能的 70B 版本。它基于 Qwen 7B 架構(gòu)的精簡(jiǎn)優(yōu)化版本，既保持強(qiáng)大性能，又具備更高的計(jì)算效率。

其主要亮點(diǎn)包括：

• 完全開源，可自由使用。
• 支持本地運(yùn)行，無需依賴云服務(wù)器。
• 數(shù)據(jù)完全可控，確保隱私安全。

二、為什么選擇本地部署？

本地運(yùn)行 AI 模型有以下優(yōu)勢(shì)：

• 隱私保障：所有數(shù)據(jù)均存儲(chǔ)在本地，避免敏感信息泄露。
• 零額外成本：DeepSeek R1 免費(fèi)運(yùn)行，無需訂閱或額外費(fèi)用。
• 完全控制：可以進(jìn)行微調(diào)和本地優(yōu)化，無需外部依賴。

三、硬件要求

推薦閱讀：一文讀懂DeepSeek-R1本地部署配置要求

四、安裝步驟

步驟 1：安裝 Ollama

Ollama 是一款本地 AI 運(yùn)行工具，可幫助用戶輕松運(yùn)行 DeepSeek R1。

下載地址：https://ollama.com/download

安裝完成后，Ollama 提供了在終端直接運(yùn)行 AI 模型的功能。

Ollama 簡(jiǎn)介

Ollama 是一個(gè)專注于簡(jiǎn)化大語言模型（LLM）本地部署的開源工具。它的設(shè)計(jì)目標(biāo)是讓用戶能夠以最少的配置和操作，輕松在本地設(shè)備上運(yùn)行和管理各種大模型。無論是開發(fā)者、研究者，還是普通用戶，都可以通過 Ollama 快速體驗(yàn)大語言模型的強(qiáng)大能力，而無需依賴云端服務(wù)或復(fù)雜的部署流程。

GitHub：https://github.com/ollama/ollama

Ollama 核心特點(diǎn)

• 開箱即用：提供了預(yù)配置的模型包，用戶只需通過簡(jiǎn)單的命令即可下載和運(yùn)行模型，無需手動(dòng)配置環(huán)境或處理復(fù)雜的依賴關(guān)系。
• 跨平臺(tái)支持：支持 Windows、macOS 和 Linux 系統(tǒng)，覆蓋了大多數(shù)主流操作系統(tǒng)，滿足不同用戶的需求。
• 模型管理：用戶可以輕松管理多個(gè)模型版本，包括下載、更新和切換模型。它還支持自定義模型配置。
• 資源優(yōu)化：針對(duì)本地硬件進(jìn)行了優(yōu)化，能夠在有限的資源下高效運(yùn)行大模型。無論是高性能 GPU 還是普通 CPU，都能流暢的體驗(yàn)。
• 開發(fā)者友好：提供了豐富的 API 和詳細(xì)的文檔，方便開發(fā)者將其集成到自己的應(yīng)用中，或者進(jìn)行二次開發(fā)。

Ollama 的適用場(chǎng)景

• 個(gè)人學(xué)習(xí)與研究：非常適合個(gè)人用戶在自己的電腦上探索大語言模型的能力，無需依賴云端服務(wù)。
• 本地開發(fā)與測(cè)試：開發(fā)者可以利用 Ollama 在本地快速測(cè)試和調(diào)試基于大模型的應(yīng)用，提升開發(fā)效率。
• 隱私保護(hù)：由于模型完全運(yùn)行在本地，Ollama 特別適合對(duì)數(shù)據(jù)隱私有較高要求的場(chǎng)景，例如醫(yī)療、金融等領(lǐng)域。

Ollama 安裝

Ollama 的安裝也特別的簡(jiǎn)單，基本上只需要鼠標(biāo)點(diǎn)點(diǎn)點(diǎn)即可，以下是具體的安裝步驟：

1、打開 Ollama 官網(wǎng)：https://ollama.com/download，根據(jù)自己的操作系統(tǒng)下載不同的安裝程序包。

2、下載完成后，雙開打開點(diǎn)擊 “install” 即可，然后就是耐心等待幾分鐘。

3、經(jīng)過了幾分鐘，你可能發(fā)現(xiàn)安裝的界面不見了，不要慌這是正常的。接下來就是打開 CMD 命令窗口 (通過 Win + R 鍵可打開)；

當(dāng)出現(xiàn)運(yùn)行窗口時(shí)，輸入 cmd 點(diǎn)擊確定即可，在命令窗口中再輸入 ollama 如果輸出結(jié)果跟我一樣，那就表示成功安裝了。

這里輸出的是 ollama 命令的用法的，具體如下：

用法：
ollama [flags]
ollama [命令]
可用命令：
serve 		啟動(dòng) ollama
create 		從 Modelfile 創(chuàng)建模型
show 		顯示模型信息
run 		運(yùn)行模型
stop 		停止正在運(yùn)行的模型
pull 		從注冊(cè)表拉取模型
push 		將模型推送到注冊(cè)表
list 		列出模型
ps 			列出正在運(yùn)行的模型
cp 			復(fù)制模型
rm 			刪除模型
help 		獲取命令幫助
標(biāo)志：
-h, --help 	顯示幫助信息
-v, --version 	顯示版本信息
使用 "ollama [命令] --help" 獲取有關(guān)命令的更多信息。

Open - Webui 安裝

什么是 Open WebUI ？

Open WebUI 是一個(gè)開源的、基于 Web 的用戶界面（UI）框架，專為與大語言模型（LLM）交互而設(shè)計(jì)。它提供了一個(gè)直觀、友好的圖形界面，使用戶能夠通過瀏覽器輕松地與本地或遠(yuǎn)程部署的大語言模型進(jìn)行交互，而無需依賴復(fù)雜的命令行工具。Open WebUI 支持多種功能，包括聊天、模型管理、歷史記錄查看等，極大地提升了用戶的使用體驗(yàn)。

為什么將 Open WebUI 與 Ollama 結(jié)合使用？

Ollama主要是通過命令進(jìn)行操作，對(duì)于不熟悉命令行的用戶來說可能不夠友好。而 Open WebUI 正好彌補(bǔ)了這一不足，它為用戶提供了一個(gè)直觀的圖形界面，使得與 Ollama 部署的模型交互變得更加簡(jiǎn)單和高效。

Open - Webui 安裝

Open - Webui 提供了多種安裝方式，這里我用的是 Python pip。

如果你還沒有安裝 Python，可以查看下面這篇安裝教程。注意：請(qǐng)確保安裝的是 Python 3.11 版本避免兼容性問題。

Python安裝教程：https://blog.csdn.net/Palpitate_2024/article/details/145406375?spm=1001.2014.3001.5501

通過 Python pip 安裝

打開 CMD 命令窗口，執(zhí)行以下命令即可安裝。

pip install open-webui

安裝完成后，執(zhí)行以下命令即可運(yùn)行。

open-webui serve

這將啟動(dòng) Open WebUI 服務(wù)器，可以通過 http://localhost:8080 進(jìn)行訪問；首次啟動(dòng)后，需要注冊(cè)一個(gè)管理賬號(hào)；點(diǎn)擊注冊(cè)即可。

模型下載 - 兩種方式

• 您應(yīng)該至少有 8 GB 的 RAM 來運(yùn)行 7B 模型，16 GB 的 RAM 來運(yùn)行 13B 模型，32 GB 的 RAM 來運(yùn)行 33B 模型。
• 您應(yīng)該至少有 8 GB 的 RAM 來運(yùn)行 7B 模型，16 GB 的 RAM 來運(yùn)行 13B 模型，32 GB 的 RAM 來運(yùn)行 33B 模型。
• 您應(yīng)該至少有 8 GB 的 RAM 來運(yùn)行 7B 模型，16 GB 的 RAM 來運(yùn)行 13B 模型，32 GB 的 RAM 來運(yùn)行 33B 模型。

5.1 直接使用 Ollama 下載

打開 Ollama 模型列表：https://ollama.com/search

在模型列表中，找到我們要下載的 Deep Seek -r1;

當(dāng)然這里的模型都是可以下載的，比如千問，Gemma 2，Llama 3.3等，下載方法都是一樣的。

這里我要安裝的是 14B，選擇好下載的模型后復(fù)制右邊的安命令到 Cmd 中執(zhí)行即可。

這里安裝的時(shí)間取決于網(wǎng)速，耐心等待即可；安裝完成后，我們?cè)偃?open webui 刷新一下就可以愉快的玩耍了。

5.2 使用 Open Webui 下載

打開 Open Webui 后，在模型搜索處輸入需要下載的模型名稱以及模型型號(hào)即可。

這里我的以千問的 2.5 7 B大模型為例，在搜索框輸入需要下載的模型點(diǎn)擊 從"Ollama.com" 拉取即可。

步驟 2：下載 DeepSeek R1 模型

在終端中運(yùn)行以下命令，根據(jù)你的硬件選擇合適的模型：

# 下載 1.5B 版本（適用于 CPU 及低配 GPU）
ollama run deepseek-r1:1.5b

# 下載 8B 版本
ollama run deepseek-r1:8b

# 下載 14B 版本
ollama run deepseek-r1:14b

# 下載 32B 版本
ollama run deepseek-r1:32b

# 下載 70B 版本（最高性能）
ollama run deepseek-r1:70b

如果你不確定選擇哪個(gè)版本，可以運(yùn)行默認(rèn)指令：

ollama run deepseek-r1

默認(rèn)情況下，該指令會(huì)下載 7B 版本。

模型下載速度取決于網(wǎng)絡(luò)狀況，可能需要幾分鐘到幾十分鐘不等。

步驟 3：安裝 Chatbox（可選）

為了獲得更好的交互體驗(yàn)，可以安裝 Chatbox 作為 GUI 界面。

Chatbox(ChatGPT API工具) v0.6.6 單文件版

• 類型：聯(lián)絡(luò)聊天
• 大小：76MB
• 語言：簡(jiǎn)體中文
• 時(shí)間：2023-08-08

查看詳情

下載地址：https://chatboxai.app/en#

安裝完成后，進(jìn)行以下配置：

• 在“配置 API 模型”選項(xiàng)中選擇 Ollama API。
• 設(shè)置 API 主機(jī)為：http://127.0.0.1:11434
• 選擇 DeepSeek R1 作為默認(rèn)模型。
• 保存設(shè)置。

五、功能演示

成功安裝后，你可以測(cè)試 DeepSeek R1 的能力。例如，讓它生成一個(gè)用 Python 編寫的貪吃蛇游戲代碼。

輸入 Prompt：

幫我用python寫個(gè)貪吃蛇的游戲

示例代碼（優(yōu)化修正版本）：

import turtle
import time
import random
# 窗口設(shè)置
window = turtle.Screen()
window.title("貪吃蛇 by Python")
window.bgcolor("black")
window.setup(width=600, height=600)
window.tracer(0)  # 關(guān)閉自動(dòng)刷新
# 蛇頭
snake_head = turtle.Turtle()
snake_head.speed(0)
snake_head.shape("square")
snake_head.color("white")
snake_head.penup()
snake_head.goto(0, 0)
snake_head.direction = "stop"
# 食物
food = turtle.Turtle()
food.speed(0)
food.shape("circle")
food.color("red")
food.penup()
food.goto(0, 100)
segments = []  # 蛇身體段
score = 0  # 得分
# 得分顯示
pen = turtle.Turtle()
pen.speed(0)
pen.color("white")
pen.penup()
pen.hideturtle()
pen.goto(0, 260)
pen.write("得分: 0", align="center", font=("Arial", 24, "normal"))
# 移動(dòng)函數(shù)
def move():
    if snake_head.direction == "up":
        y = snake_head.ycor()
        snake_head.sety(y + 20)
    if snake_head.direction == "down":
        y = snake_head.ycor()
        snake_head.sety(y - 20)
    if snake_head.direction == "left":
        x = snake_head.xcor()
        snake_head.setx(x - 20)
    if snake_head.direction == "right":
        x = snake_head.xcor()
        snake_head.setx(x + 20)
# 方向控制函數(shù)
def go_up():
    if snake_head.direction != "down":
        snake_head.direction = "up"
def go_down():
    if snake_head.direction != "up":
        snake_head.direction = "down"
def go_left():
    if snake_head.direction != "right":
        snake_head.direction = "left"
def go_right():
    if snake_head.direction != "left":
        snake_head.direction = "right"
# 鍵盤綁定
window.listen()
window.onkeypress(go_up, "w")
window.onkeypress(go_down, "s")
window.onkeypress(go_left, "a")
window.onkeypress(go_right, "d")
# 碰撞檢測(cè)
def check_collision():
    # 邊界檢測(cè)
    if snake_head.xcor() > 290 or snake_head.xcor() < -290:
        return True
    if snake_head.ycor() > 290 or snake_head.ycor() < -290:
        return True
    # 身體碰撞檢測(cè)
    for segment in segments:
        if snake_head.distance(segment) < 20:
            return True
    return False
# 主游戲循環(huán)
while True:
    window.update()
    # 檢查是否吃到食物
    if snake_head.distance(food) < 20:
        # 移動(dòng)食物到隨機(jī)位置
        x = random.randint(-290, 290)
        y = random.randint(-290, 290)
        food.goto(x, y)
        # 增加身體段
        new_segment = turtle.Turtle()
        new_segment.speed(0)
        new_segment.shape("square")
        new_segment.color("grey")
        new_segment.penup()
        segments.append(new_segment)
        # 增加得分
        score += 10
        pen.clear()
        pen.write(f"得分: {score}", align="center", font=("Arial", 24, "normal"))
    # 移動(dòng)身體段（從后往前）
    for index in range(len(segments)-1, 0, -1):
        x = segments[index-1].xcor()
        y = segments[index-1].ycor()
        segments[index].goto(x, y)
    # 移動(dòng)第一個(gè)身體段到頭部位置
    if len(segments) > 0:
        x = snake_head.xcor()
        y = snake_head.ycor()
        segments[0].goto(x, y)
    move()
    # 碰撞檢測(cè)
    if check_collision():
        time.sleep(1)
        snake_head.goto(0, 0)
        snake_head.direction = "stop"
        # 隱藏身體段
        for segment in segments:
            segment.goto(1000, 1000)
        segments.clear()
        score = 0
        pen.clear()
        pen.write(f"得分: {score}", align="center", font=("Arial", 24, "normal"))
    time.sleep(0.1)

運(yùn)行這個(gè)程序前需要確保：

• 已安裝 Python 環(huán)境
• 需要安裝 `turtle` 模塊（通常 Python 標(biāo)準(zhǔn)庫自帶）

操作說明：

• W鍵：向上移動(dòng)
• S鍵：向下移動(dòng)
• A鍵：向左移動(dòng)
• D鍵：向右移動(dòng)
• 吃到紅色食物會(huì)增長身體并加分
• 撞到墻壁或自己身體會(huì)游戲重置

游戲特點(diǎn)：

• 簡(jiǎn)單的圖形界面
• 分?jǐn)?shù)統(tǒng)計(jì)功能
• 碰撞檢測(cè)
• 蛇身自動(dòng)增長機(jī)制
• 游戲失敗重置功能

你可以根據(jù)需求進(jìn)一步添加以下功能：

• 添加開始/暫停按鈕
• 增加難度等級(jí)
• 記錄最高分
• 添加音效
• 設(shè)計(jì)更復(fù)雜的關(guān)卡

六、總結(jié)

通過本教程，你已經(jīng)成功在本地部署了 DeepSeek R1，無論你是 AI 愛好者、開發(fā)者，還是僅僅對(duì)本地 AI 感興趣，都可以嘗試運(yùn)行并訓(xùn)練自己的專屬 AI 資料庫。

借助 Ollama 和 Chatbox 等工具，本地運(yùn)行 AI 變得更加簡(jiǎn)單和高效?，F(xiàn)在就開始探索吧！

最新評(píng)論