Ollma本地部署Qwen2.5 14B的詳細(xì)過(guò)程(不使用docker)
部署機(jī)器硬件情況：內(nèi)存 :32GB顯卡 :3060
為什么不使用docker：1.網(wǎng)上教程大多以docker為主2.安裝docker的時(shí)間太長(zhǎng)，在等待的時(shí)候順便嘗試一下不用docker的部署
1.安裝Ollama
下載地址：https://ollama.com/
下載好之后默認(rèn)安裝即可。
Ollama常用命令
【跟docker差不多，初次安裝的話這邊可以忽略，先看下面的】ollama serve # 啟動(dòng)ollamaollama create # 從模型文件創(chuàng)建模型ollama show # 顯示模型信息ollama run # 運(yùn)行模型，會(huì)先自動(dòng)下載模型ollama pull # 從注冊(cè)倉(cāng)庫(kù)中拉取模型ollama push # 將模型推送到注冊(cè)倉(cāng)庫(kù)ollama list # 列出已下載模型ollama ps # 列出正在運(yùn)行的模型ollama cp # 復(fù)制模型ollama rm # 刪除模型
2.下載模型
Ollama模型庫(kù)類似于Docker托管鏡像的Docker Hub。鏈接：https://ollama.com/library/qwen2.5-coder:14b
復(fù)制這邊的命令來(lái)拉取模型并運(yùn)行。
第一次運(yùn)行的時(shí)候需要下載。
3.啟動(dòng)
ollama run qwen2.5-coder:14b正常啟動(dòng)大概15秒左右。下載好之后即可運(yùn)行?？梢哉?duì)其進(jìn)行提問(wèn)。
輸入/? 查看常用指令
4.Open-webui實(shí)現(xiàn)可視化
官方github界面 ：https://github.com/open-webui/open-webui?tab=readme-ov-file官方文檔 ：https://docs.openwebui.com/getting-started/具體參考Quick Start 的內(nèi)容：https://docs.openwebui.com/getting-started/quick-start/
0.安裝anaconda并打開(kāi)anaconda prompt
打開(kāi)之后默認(rèn)使用的環(huán)境是base
1.創(chuàng)建一個(gè)名為open-webui 的Python3.11的環(huán)境：
conda create -n open-webui python=3.11安裝好之后可以通過(guò)conda env list來(lái)查看
2.切換并激活到這個(gè)環(huán)境
conda activate open-webui
3.安裝open-webui 庫(kù)
pip install open-webui花費(fèi)的時(shí)間比較長(zhǎng)，10min左右。
4.啟動(dòng)服務(wù)
open-webui serve初次啟動(dòng)也需要花費(fèi)一點(diǎn)時(shí)間，啟動(dòng)成功之后即可看到8080端口。
5.訪問(wèn)webui界面
在瀏覽器里輸入localhost:8080 即可正常訪問(wèn)。第一次登錄會(huì)要求輸入用戶名、郵箱和密碼，之后每次登錄都會(huì)要求輸入郵箱和密碼。
左上角可以切換安裝好的模型。
到此這篇關(guān)于Ollma本地部署Qwen2.5 14B(不使用docker)的文章就介紹到這了,更多相關(guān)Ollma本地部署Qwen內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Docker案例分析:搭建MySQL數(shù)據(jù)庫(kù)服務(wù)
這篇文章主要介紹了Docker案例分析:搭建MySQL數(shù)據(jù)庫(kù)服務(wù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-12-12![基于spring-boot和docker-java實(shí)現(xiàn)對(duì)docker容器的動(dòng)態(tài)管理和監(jiān)控功能[附完整源碼下載]](http://img.jbzj.com/images/xgimg/bcimg1.png)
基于spring-boot和docker-java實(shí)現(xiàn)對(duì)docker容器的動(dòng)態(tài)管理和監(jiān)控功能[附完整源碼下載]
Docker 是一個(gè)開(kāi)源的應(yīng)用容器引擎，和傳統(tǒng)的虛擬機(jī)技術(shù)相比，Docker 容器性能開(kāi)銷極低，因此也廣受開(kāi)發(fā)者喜愛(ài)。這篇文章主要介紹了基于spring-boot和docker-java實(shí)現(xiàn)對(duì)docker容器的動(dòng)態(tài)管理和監(jiān)控 ,需要的朋友可以參考下2019-06-06
本文主要介紹了Docker容器修改端口映射的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
Docker 端口映射允許我們將容器內(nèi)部的服務(wù)綁定到宿主機(jī)上的一個(gè)或多個(gè)端口,本文主要介紹了docker端口映射的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03
Docker動(dòng)態(tài)添加端口不需要重新建立鏡像的方法
Docker容器在運(yùn)行期間有時(shí)可能會(huì)需要修改或者添加暴露的端口，但是有時(shí)候運(yùn)行的容器又不想再另外建立一個(gè)新的鏡像。接下來(lái)通過(guò)本文給大家分享Docker動(dòng)態(tài)添加端口不需要重新建立鏡像的方法，感興趣的朋友一起看看吧2019-07-07
使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度
這篇文章主要為大家介紹了使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>2023-10-10
本地Docker部署Navidrome音樂(lè)服務(wù)器與遠(yuǎn)程訪問(wèn)聽(tīng)歌詳細(xì)教程(圖文詳解)
本文和大家分享一款目前在G站有11K+Star的開(kāi)源跨平臺(tái)音樂(lè)服務(wù)器?Navidrome,如何在?Linux?環(huán)境本地使用?Docker?部署,并結(jié)合cpolar?內(nèi)網(wǎng)穿透工具配置公網(wǎng)地址,實(shí)現(xiàn)隨時(shí)隨地遠(yuǎn)程訪問(wèn)本地存儲(chǔ)音樂(lè)的詳細(xì)流程,感興趣的朋友跟隨小編一起看看吧2024-08-08
docker images,info,-d等命令報(bào)錯(cuò)的解決方法
最近剛接觸Docker，所以在學(xué)習(xí)的過(guò)程中出現(xiàn)了好多的問(wèn)題，百度上不好找，谷歌的話，樓主不會(huì)翻墻。后來(lái)通過(guò)各方求助和細(xì)心研究解決了一些遇到的問(wèn)題，現(xiàn)在將遇到的問(wèn)題和解決方法分享給大家，有需要的朋友們可以參考借鑒。2016-11-11
一文教你如何通過(guò) Docker 快速搭建各種測(cè)試環(huán)境
這篇文章主要介紹了一文教你如何通過(guò) Docker 快速搭建各種測(cè)試環(huán)境，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Docker部署.NET6項(xiàng)目的實(shí)現(xiàn)步驟
Docker是現(xiàn)在比較流行的開(kāi)源容器引擎,有了它讓我們部署和維護(hù)系統(tǒng)更加方便，本文主要介紹了Docker部署.NET6項(xiàng)目，具有一定的參考價(jià)值，感興趣的可以了解一下2023-12-12