Windows安裝與配置Ollama的圖文教程
Windows安裝與配置Ollama
簡介
本節(jié)學(xué)習(xí)如何在 Windows 系統(tǒng)中完成 Ollama 的安裝與配置,主要分為以下幾個部分:
- 訪問官網(wǎng)直接完成下載
- 環(huán)境變量配置
- 運行 Ollama
- 驗證安裝成功??
一、訪問官網(wǎng)直接完成下載
訪問官網(wǎng)主頁
Ollama 下載:https://ollama.com/download
Ollama 官方主頁:https://ollama.com
Ollama 官方 GitHub 源代碼倉庫:https://github.com/ollama/ollama/
等待瀏覽器下載文件 OllamaSetup.exe,完成后雙擊該文件,出現(xiàn)如下彈窗,點擊 Install
等待下載完成即可。
安裝完成后,可以看到 Ollama 已經(jīng)默認(rèn)運行了。
二、環(huán)境變量配置
Ollma可以像其他軟件一樣在電腦上完成一鍵安裝,不同的是,建議按照實際需求配置下系統(tǒng)環(huán)境變量參數(shù)
參數(shù) | 標(biāo)識與配置 |
---|---|
OLLAMA_MODELS | 表示模型文件的存放目錄,默認(rèn)目錄為當(dāng)前用戶目錄即 C:\Users%username%.ollama\modelsWindows 系統(tǒng) 建議不要放在C盤,可放在其他盤(如 E:\ollama\models) |
OLLAMA_HOST | 表示ollama 服務(wù)監(jiān)聽的網(wǎng)絡(luò)地址,默認(rèn)為127.0.0.1如果想要允許其他電腦訪問 Ollama(如局域網(wǎng)中的其他電腦),建議設(shè)置成 0.0.0.0 |
OLLAMA_PORT | 表示ollama 服務(wù)監(jiān)聽的默認(rèn)端口,默認(rèn)為11434如果端口有沖突,可以修改設(shè)置成其他端口(如8080等) |
OLLAMA_ORIGINS | 表示HTTP 客戶端的請求來源,使用半角逗號分隔列表 如果本地使用不受限制,可以設(shè)置成星號 * |
OLLAMA_KEEP_ALIVE | 表示大模型加載到內(nèi)存中后的存活時間,默認(rèn)為5m即 5 分鐘 (如純數(shù)字300 代表 300 秒,0 代表處理請求響應(yīng)后立即卸載模型,任何負(fù)數(shù)則表示一直存活) 建議設(shè)置成 24h ,即模型在內(nèi)存中保持 24 小時,提高訪問速度 |
OLLAMA_NUM_PARALLEL | 表示請求處理的并發(fā)數(shù)量,默認(rèn)為1 (即單并發(fā)串行處理請求) 建議按照實際需求進(jìn)行調(diào)整 |
OLLAMA_MAX_QUEUE | 表示請求隊列長度,默認(rèn)值為512建議按照實際需求進(jìn)行調(diào)整,超過隊列長度的請求會被拋棄 |
OLLAMA_DEBUG | 表示輸出 Debug 日志,應(yīng)用研發(fā)階段可以設(shè)置成1 (即輸出詳細(xì)日志信息,便于排查問題) |
OLLAMA_MAX_LOADED_MODELS | 表示最多同時加載到內(nèi)存中模型的數(shù)量,默認(rèn)為1 (即只能有 1 個模型在內(nèi)存中) |
默認(rèn)的模型保存路徑在C盤,我們把路徑更改到有更多可用空間的分區(qū)或目錄,可以更好地管理存儲空間。
- 添加
OLLAMA_MODELS
環(huán)境變量改變模型存儲的位置。例如E:\ollama\models
- 設(shè)置完成后重啟
ollama
或PowerShell
,即可完成更改。
三、運行Ollama
- 命令行語句啟動
ollama serve
啟動 Ollama 時會報錯如下,因為 Windows 系統(tǒng)安裝 Ollama 時會默認(rèn)開機啟動,Ollama 服務(wù)默認(rèn)是 http://127.0.0.1:11434
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
解決方法:
快捷鍵 Win+X
打開任務(wù)管理器,點擊 啟動
,禁用 Ollama,并在進(jìn)程中結(jié)束 Ollama 的任務(wù)。
再次使用 ollama serve
打開 Ollama。
驗證成功啟動:
- 快捷鍵
Win+R
,輸入cmd
,打開命令行終端。 - 輸入
netstat -aon|findstr 11434
查看占用端口11434的進(jìn)程。
netstat -aon|findstr 11434
輸出: TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 17556
顯示11434端口被17556進(jìn)程占用
查看該進(jìn)程運行的情況,發(fā)現(xiàn) Ollama 已經(jīng)啟動。
tasklist|findstr "17556"
輸出如下:ollama.exe 17556 Console 1 31,856 K
四、驗證安裝成功??
- 終端輸入:
ollama -h
輸出如下:即表示安裝成功??
Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information
終端使用Ollama :
library (ollama.com) 這里是ollama的模型庫,搜索你想要的模型,然后直接啟動!
ollama run qwen2.5:3b
下載速度取決于你的帶寬,下載完畢即可使用?記得使用 control + D 退出聊天
到此這篇關(guān)于Windows安裝與配置Ollama的圖文教程的文章就介紹到這了,更多相關(guān)Ollama安裝與配置內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
arcgis?pro?3.0.2?安裝及?geemap安裝過程
ArcGIS?Pro是一個專業(yè)的桌面GIS應(yīng)用程序,可以探索,可視化,分析和管理二維和三維數(shù)據(jù),這篇文章主要介紹了arcgis?pro?3.0.2安裝及geemap,需要的朋友可以參考下2023-08-08利用ChatGPT與MindShow制作一個PPT的方法詳解
PPT制作是商務(wù)、教育和各種場合演講的重要組成部分,然而,很多人會花費大量時間和精力在內(nèi)容生成和視覺設(shè)計方面,為了解決這個問題,我們可以利用兩個強大的工具——ChatGPT和MindShow,來提高制作PPT的效率,感興趣的同學(xué)可以參考閱讀2023-06-06使用GitLab+Jenkins實現(xiàn)持續(xù)集成CI環(huán)境的示例代碼
本文主要介紹了使用GitLab+Jenkins實現(xiàn)持續(xù)集成CI環(huán)境的示例代碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2022-01-01Notepad++文本比較插件Compare詳解(最新免費)
Notepad++是一款強大的文本編輯器,它提供了文件對比功能,可以幫助我們快速找出兩個文件之間的差異點,這篇文章主要介紹了Notepad++文本比較插件Compare詳解(最新免費),感興趣的朋友一起看看吧2024-01-01vscode調(diào)試launch.json常用格式完整的案例
VSCode的launch.json文件是用來配置調(diào)試器的,可以設(shè)置調(diào)試器的啟動方式、調(diào)試的目標(biāo)文件、調(diào)試的參數(shù),等這篇文章主要給大家介紹了關(guān)于vscode調(diào)試launch.json常用格式的相關(guān)資料,需要的朋友可以參考下2024-06-06