Ollma本地部署Qwen2.5 14B的詳細(xì)過程(不使用docker)
部署機(jī)器硬件情況：內(nèi)存 :32GB顯卡 :3060
為什么不使用docker：1.網(wǎng)上教程大多以docker為主2.安裝docker的時間太長，在等待的時候順便嘗試一下不用docker的部署
1.安裝Ollama
下載地址：https://ollama.com/
下載好之后默認(rèn)安裝即可。
Ollama常用命令
【跟docker差不多，初次安裝的話這邊可以忽略，先看下面的】ollama serve # 啟動ollamaollama create # 從模型文件創(chuàng)建模型ollama show # 顯示模型信息ollama run # 運(yùn)行模型，會先自動下載模型ollama pull # 從注冊倉庫中拉取模型ollama push # 將模型推送到注冊倉庫ollama list # 列出已下載模型ollama ps # 列出正在運(yùn)行的模型ollama cp # 復(fù)制模型ollama rm # 刪除模型
2.下載模型
Ollama模型庫類似于Docker托管鏡像的Docker Hub。鏈接：https://ollama.com/library/qwen2.5-coder:14b
復(fù)制這邊的命令來拉取模型并運(yùn)行。
第一次運(yùn)行的時候需要下載。
3.啟動
ollama run qwen2.5-coder:14b正常啟動大概15秒左右。下載好之后即可運(yùn)行?？梢哉ζ溥M(jìn)行提問。
輸入/? 查看常用指令
4.Open-webui實(shí)現(xiàn)可視化
官方github界面 ：https://github.com/open-webui/open-webui?tab=readme-ov-file官方文檔 ：https://docs.openwebui.com/getting-started/具體參考Quick Start 的內(nèi)容：https://docs.openwebui.com/getting-started/quick-start/
0.安裝anaconda并打開anaconda prompt
打開之后默認(rèn)使用的環(huán)境是base
1.創(chuàng)建一個名為open-webui 的Python3.11的環(huán)境：
conda create -n open-webui python=3.11安裝好之后可以通過conda env list來查看
2.切換并激活到這個環(huán)境
conda activate open-webui
3.安裝open-webui 庫
pip install open-webui花費(fèi)的時間比較長，10min左右。
4.啟動服務(wù)
open-webui serve初次啟動也需要花費(fèi)一點(diǎn)時間，啟動成功之后即可看到8080端口。
5.訪問webui界面
在瀏覽器里輸入localhost:8080 即可正常訪問。第一次登錄會要求輸入用戶名、郵箱和密碼，之后每次登錄都會要求輸入郵箱和密碼。
左上角可以切換安裝好的模型。
到此這篇關(guān)于Ollma本地部署Qwen2.5 14B(不使用docker)的文章就介紹到這了,更多相關(guān)Ollma本地部署Qwen內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Docker案例分析:搭建MySQL數(shù)據(jù)庫服務(wù)
這篇文章主要介紹了Docker案例分析:搭建MySQL數(shù)據(jù)庫服務(wù)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-12-12![基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控功能[附完整源碼下載]](http://img.jbzj.com/images/xgimg/bcimg1.png)
基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控功能[附完整源碼下載]
Docker 是一個開源的應(yīng)用容器引擎，和傳統(tǒng)的虛擬機(jī)技術(shù)相比，Docker 容器性能開銷極低，因此也廣受開發(fā)者喜愛。這篇文章主要介紹了基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控 ,需要的朋友可以參考下2019-06-06
本文主要介紹了Docker容器修改端口映射的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
Docker 端口映射允許我們將容器內(nèi)部的服務(wù)綁定到宿主機(jī)上的一個或多個端口,本文主要介紹了docker端口映射的實(shí)現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下2024-03-03
Docker容器在運(yùn)行期間有時可能會需要修改或者添加暴露的端口，但是有時候運(yùn)行的容器又不想再另外建立一個新的鏡像。接下來通過本文給大家分享Docker動態(tài)添加端口不需要重新建立鏡像的方法，感興趣的朋友一起看看吧2019-07-07
使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度
這篇文章主要為大家介紹了使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>2023-10-10
本地Docker部署Navidrome音樂服務(wù)器與遠(yuǎn)程訪問聽歌詳細(xì)教程(圖文詳解)
本文和大家分享一款目前在G站有11K+Star的開源跨平臺音樂服務(wù)器?Navidrome,如何在?Linux?環(huán)境本地使用?Docker?部署,并結(jié)合cpolar?內(nèi)網(wǎng)穿透工具配置公網(wǎng)地址,實(shí)現(xiàn)隨時隨地遠(yuǎn)程訪問本地存儲音樂的詳細(xì)流程,感興趣的朋友跟隨小編一起看看吧2024-08-08
docker images,info,-d等命令報(bào)錯的解決方法
最近剛接觸Docker，所以在學(xué)習(xí)的過程中出現(xiàn)了好多的問題，百度上不好找，谷歌的話，樓主不會翻墻。后來通過各方求助和細(xì)心研究解決了一些遇到的問題，現(xiàn)在將遇到的問題和解決方法分享給大家，有需要的朋友們可以參考借鑒。2016-11-11
一文教你如何通過 Docker 快速搭建各種測試環(huán)境
這篇文章主要介紹了一文教你如何通過 Docker 快速搭建各種測試環(huán)境，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Docker部署.NET6項(xiàng)目的實(shí)現(xiàn)步驟
Docker是現(xiàn)在比較流行的開源容器引擎,有了它讓我們部署和維護(hù)系統(tǒng)更加方便，本文主要介紹了Docker部署.NET6項(xiàng)目，具有一定的參考價值，感興趣的可以了解一下2023-12-12