Ollama是一個(gè)開(kāi)源的 LLM（大型語(yǔ)言模型）服務(wù)工具，用于簡(jiǎn)化在本地運(yùn)行大語(yǔ)言模型、降低使用大語(yǔ)言模型的門(mén)檻，使得大模型的開(kāi)發(fā)者、研究人員和愛(ài)好者能夠在本地環(huán)境快速實(shí)驗(yàn)、管理和部署最新大語(yǔ)言模型，支持與DeepSeek R1模型搭配本地部署，還包括如Qwen2、Llama3、Phi3、Gemma2等開(kāi)源的大型語(yǔ)言模型。

Ollama for Mac蘋(píng)果電腦版：點(diǎn)擊下載

Ollama 與 Llama 有什么關(guān)系？

Llama是 Meta 公司開(kāi)源的備受歡迎的一個(gè)通用大語(yǔ)言模型，和其他大模型一樣，Llama可以通過(guò)Ollama進(jìn)行管理部署和推理等。

因此，Ollama與Llama的關(guān)系：Llama是大語(yǔ)言模型，而Ollama是大語(yǔ)言模型（不限于Llama模型）便捷的管理和運(yùn)維工具，它們只是名字后面部分恰巧相同而已！

Ollama 安裝和常用系統(tǒng)參數(shù)設(shè)置

Ollama的安裝過(guò)程，與安裝其他普通軟件并沒(méi)有什么兩樣。

安裝完成之后，有幾個(gè)常用的系統(tǒng)環(huán)境變量參數(shù)建議進(jìn)行設(shè)置：

OLLAMA_MODELS：模型文件存放目錄，默認(rèn)目錄為當(dāng)前用戶(hù)目錄（Windows 目錄：C:\Users%username%.ollama\models，MacOS 目錄：~/.ollama/models，Linux 目錄：/usr/share/ollama/.ollama/models），如果是 Windows 系統(tǒng)建議修改（如：D:\OllamaModels），避免 C 盤(pán)空間吃緊

OLLAMA_HOST：Ollama 服務(wù)監(jiān)聽(tīng)的網(wǎng)絡(luò)地址，默認(rèn)為127.0.0.1，如果允許其他電腦訪問(wèn) Ollama（如：局域網(wǎng)中的其他電腦），建議設(shè)置成0.0.0.0，從而允許其他網(wǎng)絡(luò)訪問(wèn)

OLLAMA_PORT：Ollama 服務(wù)監(jiān)聽(tīng)的默認(rèn)端口，默認(rèn)為11434，如果端口有沖突，可以修改設(shè)置成其他端口（如：8080等）

OLLAMA_ORIGINS：HTTP 客戶(hù)端請(qǐng)求來(lái)源，半角逗號(hào)分隔列表，若本地使用無(wú)嚴(yán)格要求，可以設(shè)置成星號(hào)，代表不受限制

OLLAMA_KEEP_ALIVE：大模型加載到內(nèi)存中后的存活時(shí)間，默認(rèn)為5m即 5 分鐘（如：純數(shù)字如 300 代表 300 秒，0 代表處理請(qǐng)求響應(yīng)后立即卸載模型，任何負(fù)數(shù)則表示一直存活）；我們可設(shè)置成24h，即模型在內(nèi)存中保持 24 小時(shí)，提高訪問(wèn)速度

OLLAMA_NUM_PARALLEL：請(qǐng)求處理并發(fā)數(shù)量，默認(rèn)為1，即單并發(fā)串行處理請(qǐng)求，可根據(jù)實(shí)際情況進(jìn)行調(diào)整

OLLAMA_MAX_QUEUE：請(qǐng)求隊(duì)列長(zhǎng)度，默認(rèn)值為512，可以根據(jù)情況設(shè)置，超過(guò)隊(duì)列長(zhǎng)度請(qǐng)求被拋棄

OLLAMA_DEBUG：輸出 Debug 日志標(biāo)識(shí)，應(yīng)用研發(fā)階段可以設(shè)置成1，即輸出詳細(xì)日志信息，便于排查問(wèn)題

OLLAMA_MAX_LOADED_MODELS：最多同時(shí)加載到內(nèi)存中模型的數(shù)量，默認(rèn)為1，即只能有 1 個(gè)模型在內(nèi)存中

CPU適配版本：

沒(méi)有GPU：1.5B Q8推理 或者 8B Q4推理
4G GPU：8B Q4推理
8G GPU：32B Q4推理 或者 8B Q4推理
16G GPU：32B Q4推理 或者 32B Q8推理
24G GPU: 32B Q8推理 或者 70B Q2推理  

根據(jù)個(gè)人配置安裝合適版本。

DeepSeek R1 本地部署方法

安裝命令：

1.5B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:1.5b   

7B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:7b  

8B Llama DeepSeek R1

安裝命令：ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

安裝命令：ollama run deepseek-r1:32b

70B Llama DeepSeek R1

安裝命令：ollama run deepseek-r1:70b

如果出現(xiàn)403，以管理員身份運(yùn)行即可。

然后，會(huì)有一個(gè)漫長(zhǎng)的下載模型的時(shí)間，下載后看到如下界面，證明你成功了！

搭建 web ui 用于網(wǎng)頁(yè)對(duì)話(huà)

明顯命令行這樣的方式很不方便，無(wú)法滿(mǎn)足對(duì)我們的聊天內(nèi)容進(jìn)行管理。這時(shí)，一個(gè)類(lèi)似于Chat GPT這樣的網(wǎng)頁(yè)對(duì)話(huà)功能就顯得十分重要了。

這里我選擇的是Open web ui，具體效果如下。

下面講解如何搭建，在此之前我們需要安裝 docker 。

安裝完成后，我們打開(kāi)docker，注冊(cè)登錄一下docker，然后在右下角點(diǎn)擊Terminal，打開(kāi)控制臺(tái)，然后輸入下面命令，然后等待安裝完成。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker 容器啟動(dòng)后，會(huì)有歡迎頁(yè)面，點(diǎn)擊開(kāi)始使用，開(kāi)啟體驗(yàn)之路！

其他Open WebUI可視化交互界面工具

目前我知道的大概有幾種方式：

1、使用Docker-desktop,不僅是open-webui，其他絕大多數(shù)Github的開(kāi)源項(xiàng)目都支持用docker一鍵部署，docker的好處是自帶虛擬環(huán)境，不需要在本地額外安裝一堆其他環(huán)境、依賴(lài)等，是管理、部署項(xiàng)目的神器。

2、自行安裝Python環(huán)境，使用Pip的方式安裝即可

3、不需要安裝Docker-desktop，也不需要安裝Python環(huán)境，直接使用瀏覽器Web UI插件就能搞定（下方就是教程，大家可以點(diǎn)擊查看）

本地部署DeepSeek-R1聯(lián)網(wǎng) 超簡(jiǎn)單的DeepSeek離線部署聯(lián)網(wǎng)搜索教程

4、還可以使用ChatBox、Cherry Studio等桌面客戶(hù)端都可以（下面也給大家提供了教程，點(diǎn)擊查看）

DeepSeek服務(wù)器繁忙怎么解決？CherryStudio&DeepSeek 告別不響應(yīng)