說到本地部署大模型，就不得不提到 Ollama。Ollama 是一個開源項目，旨在簡化大語言模型（LLM）在本地環(huán)境中的部署和使用。它為用戶提供了一個簡單易用的接口，使得即使沒有深厚技術背景的用戶也能輕松地在自己的設備上運行和管理大模型。本篇文章將以部署國產(chǎn)最新崛起的 AI 大模型 DeepSeek R1 為例，手把手教你如何利用 Ollama 在本地環(huán)境中快速搭建和運行這些先進的 AI 模型。

一、DeepSeek R1 簡介

DeepSeek R1 是一款開源 AI 模型，其性能可與 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等頂級模型媲美，尤其在數(shù)學、編程和推理等任務上表現(xiàn)出色。最重要的是，它是免費、私密的，可以在本地硬件上離線運行。

DeepSeek R1 提供多個參數(shù)規(guī)模的版本，從輕量級的 1.5B 參數(shù)模型到高性能的 70B 版本。它基于 Qwen 7B 架構(gòu)的精簡優(yōu)化版本，既保持強大性能，又具備更高的計算效率。

其主要亮點包括：

• 完全開源，可自由使用。
• 支持本地運行，無需依賴云服務器。
• 數(shù)據(jù)完全可控，確保隱私安全。

二、為什么選擇本地部署？

本地運行 AI 模型有以下優(yōu)勢：

• 隱私保障：所有數(shù)據(jù)均存儲在本地，避免敏感信息泄露。
• 零額外成本：DeepSeek R1 免費運行，無需訂閱或額外費用。
• 完全控制：可以進行微調(diào)和本地優(yōu)化，無需外部依賴。

三、硬件要求

推薦閱讀：一文讀懂DeepSeek-R1本地部署配置要求

四、安裝步驟

步驟 1：安裝 Ollama

Ollama 是一款本地 AI 運行工具，可幫助用戶輕松運行 DeepSeek R1。

下載地址：https://ollama.com/download

安裝完成后，Ollama 提供了在終端直接運行 AI 模型的功能。

Ollama 簡介

Ollama 是一個專注于簡化大語言模型（LLM）本地部署的開源工具。它的設計目標是讓用戶能夠以最少的配置和操作，輕松在本地設備上運行和管理各種大模型。無論是開發(fā)者、研究者，還是普通用戶，都可以通過 Ollama 快速體驗大語言模型的強大能力，而無需依賴云端服務或復雜的部署流程。

GitHub：https://github.com/ollama/ollama

Ollama 核心特點

• 開箱即用：提供了預配置的模型包，用戶只需通過簡單的命令即可下載和運行模型，無需手動配置環(huán)境或處理復雜的依賴關系。
• 跨平臺支持：支持 Windows、macOS 和 Linux 系統(tǒng)，覆蓋了大多數(shù)主流操作系統(tǒng)，滿足不同用戶的需求。
• 模型管理：用戶可以輕松管理多個模型版本，包括下載、更新和切換模型。它還支持自定義模型配置。
• 資源優(yōu)化：針對本地硬件進行了優(yōu)化，能夠在有限的資源下高效運行大模型。無論是高性能 GPU 還是普通 CPU，都能流暢的體驗。
• 開發(fā)者友好：提供了豐富的 API 和詳細的文檔，方便開發(fā)者將其集成到自己的應用中，或者進行二次開發(fā)。

Ollama 的適用場景

• 個人學習與研究：非常適合個人用戶在自己的電腦上探索大語言模型的能力，無需依賴云端服務。
• 本地開發(fā)與測試：開發(fā)者可以利用 Ollama 在本地快速測試和調(diào)試基于大模型的應用，提升開發(fā)效率。
• 隱私保護：由于模型完全運行在本地，Ollama 特別適合對數(shù)據(jù)隱私有較高要求的場景，例如醫(yī)療、金融等領域。

Ollama 安裝

Ollama 的安裝也特別的簡單，基本上只需要鼠標點點點即可，以下是具體的安裝步驟：

1、打開 Ollama 官網(wǎng)：https://ollama.com/download，根據(jù)自己的操作系統(tǒng)下載不同的安裝程序包。

2、下載完成后，雙開打開點擊 “install” 即可，然后就是耐心等待幾分鐘。

3、經(jīng)過了幾分鐘，你可能發(fā)現(xiàn)安裝的界面不見了，不要慌這是正常的。接下來就是打開 CMD 命令窗口 (通過 Win + R 鍵可打開)；

當出現(xiàn)運行窗口時，輸入 cmd 點擊確定即可，在命令窗口中再輸入 ollama 如果輸出結(jié)果跟我一樣，那就表示成功安裝了。

這里輸出的是 ollama 命令的用法的，具體如下：

用法：
ollama [flags]
ollama [命令]
可用命令：
serve 		啟動 ollama
create 		從 Modelfile 創(chuàng)建模型
show 		顯示模型信息
run 		運行模型
stop 		停止正在運行的模型
pull 		從注冊表拉取模型
push 		將模型推送到注冊表
list 		列出模型
ps 			列出正在運行的模型
cp 			復制模型
rm 			刪除模型
help 		獲取命令幫助
標志：
-h, --help 	顯示幫助信息
-v, --version 	顯示版本信息
使用 "ollama [命令] --help" 獲取有關命令的更多信息。

Open - Webui 安裝

什么是 Open WebUI ？

Open WebUI 是一個開源的、基于 Web 的用戶界面（UI）框架，專為與大語言模型（LLM）交互而設計。它提供了一個直觀、友好的圖形界面，使用戶能夠通過瀏覽器輕松地與本地或遠程部署的大語言模型進行交互，而無需依賴復雜的命令行工具。Open WebUI 支持多種功能，包括聊天、模型管理、歷史記錄查看等，極大地提升了用戶的使用體驗。

為什么將 Open WebUI 與 Ollama 結(jié)合使用？

Ollama主要是通過命令進行操作，對于不熟悉命令行的用戶來說可能不夠友好。而 Open WebUI 正好彌補了這一不足，它為用戶提供了一個直觀的圖形界面，使得與 Ollama 部署的模型交互變得更加簡單和高效。

Open - Webui 安裝

Open - Webui 提供了多種安裝方式，這里我用的是 Python pip。

如果你還沒有安裝 Python，可以查看下面這篇安裝教程。注意：請確保安裝的是 Python 3.11 版本避免兼容性問題。

Python安裝教程：https://blog.csdn.net/Palpitate_2024/article/details/145406375?spm=1001.2014.3001.5501

通過 Python pip 安裝

打開 CMD 命令窗口，執(zhí)行以下命令即可安裝。

pip install open-webui

安裝完成后，執(zhí)行以下命令即可運行。

open-webui serve

這將啟動 Open WebUI 服務器，可以通過 http://localhost:8080 進行訪問；首次啟動后，需要注冊一個管理賬號；點擊注冊即可。

模型下載 - 兩種方式

• 您應該至少有 8 GB 的 RAM 來運行 7B 模型，16 GB 的 RAM 來運行 13B 模型，32 GB 的 RAM 來運行 33B 模型。
• 您應該至少有 8 GB 的 RAM 來運行 7B 模型，16 GB 的 RAM 來運行 13B 模型，32 GB 的 RAM 來運行 33B 模型。
• 您應該至少有 8 GB 的 RAM 來運行 7B 模型，16 GB 的 RAM 來運行 13B 模型，32 GB 的 RAM 來運行 33B 模型。

5.1 直接使用 Ollama 下載

打開 Ollama 模型列表：https://ollama.com/search

在模型列表中，找到我們要下載的 Deep Seek -r1;

當然這里的模型都是可以下載的，比如千問，Gemma 2，Llama 3.3等，下載方法都是一樣的。

這里我要安裝的是 14B，選擇好下載的模型后復制右邊的安命令到 Cmd 中執(zhí)行即可。

這里安裝的時間取決于網(wǎng)速，耐心等待即可；安裝完成后，我們再去 open webui 刷新一下就可以愉快的玩耍了。

5.2 使用 Open Webui 下載

打開 Open Webui 后，在模型搜索處輸入需要下載的模型名稱以及模型型號即可。

這里我的以千問的 2.5 7 B大模型為例，在搜索框輸入需要下載的模型點擊 從"Ollama.com" 拉取即可。

步驟 2：下載 DeepSeek R1 模型

在終端中運行以下命令，根據(jù)你的硬件選擇合適的模型：

# 下載 1.5B 版本（適用于 CPU 及低配 GPU）
ollama run deepseek-r1:1.5b

# 下載 8B 版本
ollama run deepseek-r1:8b

# 下載 14B 版本
ollama run deepseek-r1:14b

# 下載 32B 版本
ollama run deepseek-r1:32b

# 下載 70B 版本（最高性能）
ollama run deepseek-r1:70b

如果你不確定選擇哪個版本，可以運行默認指令：

ollama run deepseek-r1

默認情況下，該指令會下載 7B 版本。

模型下載速度取決于網(wǎng)絡狀況，可能需要幾分鐘到幾十分鐘不等。

步驟 3：安裝 Chatbox（可選）

為了獲得更好的交互體驗，可以安裝 Chatbox 作為 GUI 界面。

Chatbox(ChatGPT API工具) v0.6.6 單文件版

• 類型：聯(lián)絡聊天
• 大小：76MB
• 語言：簡體中文
• 時間：2023-08-08

查看詳情

下載地址：https://chatboxai.app/en#

安裝完成后，進行以下配置：

• 在“配置 API 模型”選項中選擇 Ollama API。
• 設置 API 主機為：http://127.0.0.1:11434
• 選擇 DeepSeek R1 作為默認模型。
• 保存設置。

五、功能演示

成功安裝后，你可以測試 DeepSeek R1 的能力。例如，讓它生成一個用 Python 編寫的貪吃蛇游戲代碼。

輸入 Prompt：

幫我用python寫個貪吃蛇的游戲

示例代碼（優(yōu)化修正版本）：

import turtle
import time
import random
# 窗口設置
window = turtle.Screen()
window.title("貪吃蛇 by Python")
window.bgcolor("black")
window.setup(width=600, height=600)
window.tracer(0)  # 關閉自動刷新
# 蛇頭
snake_head = turtle.Turtle()
snake_head.speed(0)
snake_head.shape("square")
snake_head.color("white")
snake_head.penup()
snake_head.goto(0, 0)
snake_head.direction = "stop"
# 食物
food = turtle.Turtle()
food.speed(0)
food.shape("circle")
food.color("red")
food.penup()
food.goto(0, 100)
segments = []  # 蛇身體段
score = 0  # 得分
# 得分顯示
pen = turtle.Turtle()
pen.speed(0)
pen.color("white")
pen.penup()
pen.hideturtle()
pen.goto(0, 260)
pen.write("得分: 0", align="center", font=("Arial", 24, "normal"))
# 移動函數(shù)
def move():
    if snake_head.direction == "up":
        y = snake_head.ycor()
        snake_head.sety(y + 20)
    if snake_head.direction == "down":
        y = snake_head.ycor()
        snake_head.sety(y - 20)
    if snake_head.direction == "left":
        x = snake_head.xcor()
        snake_head.setx(x - 20)
    if snake_head.direction == "right":
        x = snake_head.xcor()
        snake_head.setx(x + 20)
# 方向控制函數(shù)
def go_up():
    if snake_head.direction != "down":
        snake_head.direction = "up"
def go_down():
    if snake_head.direction != "up":
        snake_head.direction = "down"
def go_left():
    if snake_head.direction != "right":
        snake_head.direction = "left"
def go_right():
    if snake_head.direction != "left":
        snake_head.direction = "right"
# 鍵盤綁定
window.listen()
window.onkeypress(go_up, "w")
window.onkeypress(go_down, "s")
window.onkeypress(go_left, "a")
window.onkeypress(go_right, "d")
# 碰撞檢測
def check_collision():
    # 邊界檢測
    if snake_head.xcor() > 290 or snake_head.xcor() < -290:
        return True
    if snake_head.ycor() > 290 or snake_head.ycor() < -290:
        return True
    # 身體碰撞檢測
    for segment in segments:
        if snake_head.distance(segment) < 20:
            return True
    return False
# 主游戲循環(huán)
while True:
    window.update()
    # 檢查是否吃到食物
    if snake_head.distance(food) < 20:
        # 移動食物到隨機位置
        x = random.randint(-290, 290)
        y = random.randint(-290, 290)
        food.goto(x, y)
        # 增加身體段
        new_segment = turtle.Turtle()
        new_segment.speed(0)
        new_segment.shape("square")
        new_segment.color("grey")
        new_segment.penup()
        segments.append(new_segment)
        # 增加得分
        score += 10
        pen.clear()
        pen.write(f"得分: {score}", align="center", font=("Arial", 24, "normal"))
    # 移動身體段（從后往前）
    for index in range(len(segments)-1, 0, -1):
        x = segments[index-1].xcor()
        y = segments[index-1].ycor()
        segments[index].goto(x, y)
    # 移動第一個身體段到頭部位置
    if len(segments) > 0:
        x = snake_head.xcor()
        y = snake_head.ycor()
        segments[0].goto(x, y)
    move()
    # 碰撞檢測
    if check_collision():
        time.sleep(1)
        snake_head.goto(0, 0)
        snake_head.direction = "stop"
        # 隱藏身體段
        for segment in segments:
            segment.goto(1000, 1000)
        segments.clear()
        score = 0
        pen.clear()
        pen.write(f"得分: {score}", align="center", font=("Arial", 24, "normal"))
    time.sleep(0.1)

運行這個程序前需要確保：

• 已安裝 Python 環(huán)境
• 需要安裝 `turtle` 模塊（通常 Python 標準庫自帶）

操作說明：

• W鍵：向上移動
• S鍵：向下移動
• A鍵：向左移動
• D鍵：向右移動
• 吃到紅色食物會增長身體并加分
• 撞到墻壁或自己身體會游戲重置

游戲特點：

• 簡單的圖形界面
• 分數(shù)統(tǒng)計功能
• 碰撞檢測
• 蛇身自動增長機制
• 游戲失敗重置功能

你可以根據(jù)需求進一步添加以下功能：

• 添加開始/暫停按鈕
• 增加難度等級
• 記錄最高分
• 添加音效
• 設計更復雜的關卡

六、總結(jié)

通過本教程，你已經(jīng)成功在本地部署了 DeepSeek R1，無論你是 AI 愛好者、開發(fā)者，還是僅僅對本地 AI 感興趣，都可以嘗試運行并訓練自己的專屬 AI 資料庫。

借助 Ollama 和 Chatbox 等工具，本地運行 AI 變得更加簡單和高效?，F(xiàn)在就開始探索吧！

最新評論