Ollma本地部署Qwen2.5 14B的詳細(xì)過(guò)程(不使用docker)
部署機(jī)器硬件情況:內(nèi)存
:32GB顯卡
:3060
為什么不使用docker:1.網(wǎng)上教程大多以docker為主2.安裝docker的時(shí)間太長(zhǎng),在等待的時(shí)候順便嘗試一下不用docker的部署
1.安裝Ollama
下載地址:https://ollama.com/
下載好之后默認(rèn)安裝即可。
Ollama常用命令
【跟docker差不多,初次安裝的話這邊可以忽略,先看下面的】ollama serve # 啟動(dòng)ollamaollama create # 從模型文件創(chuàng)建模型ollama show # 顯示模型信息ollama run # 運(yùn)行模型,會(huì)先自動(dòng)下載模型ollama pull # 從注冊(cè)倉(cāng)庫(kù)中拉取模型ollama push # 將模型推送到注冊(cè)倉(cāng)庫(kù)ollama list # 列出已下載模型ollama ps # 列出正在運(yùn)行的模型ollama cp # 復(fù)制模型ollama rm # 刪除模型
2.下載模型
Ollama模型庫(kù)類似于Docker托管鏡像的Docker Hub。鏈接:https://ollama.com/library/qwen2.5-coder:14b
復(fù)制這邊的命令來(lái)拉取模型并運(yùn)行。
第一次運(yùn)行的時(shí)候需要下載。
3.啟動(dòng)
ollama run qwen2.5-coder:14b
正常啟動(dòng)大概15秒左右。下載好之后即可運(yùn)行??梢哉?duì)其進(jìn)行提問(wèn)。
輸入/?
查看常用指令
4.Open-webui實(shí)現(xiàn)可視化
官方github界面
:https://github.com/open-webui/open-webui?tab=readme-ov-file官方文檔
:https://docs.openwebui.com/getting-started/具體參考Quick Start
的內(nèi)容:https://docs.openwebui.com/getting-started/quick-start/
0.安裝anaconda并打開(kāi)anaconda prompt
打開(kāi)之后默認(rèn)使用的環(huán)境是base
1.創(chuàng)建一個(gè)名為open-webui 的Python3.11的環(huán)境:
conda create -n open-webui python=3.11
安裝好之后可以通過(guò)conda env list來(lái)查看
2.切換并激活到這個(gè)環(huán)境
conda activate open-webui
3.安裝open-webui 庫(kù)
pip install open-webui
花費(fèi)的時(shí)間比較長(zhǎng),10min左右。
4.啟動(dòng)服務(wù)
open-webui serve
初次啟動(dòng)也需要花費(fèi)一點(diǎn)時(shí)間,啟動(dòng)成功之后即可看到8080端口。
5.訪問(wèn)webui界面
在瀏覽器里輸入localhost:8080
即可正常訪問(wèn)。第一次登錄會(huì)要求輸入用戶名、郵箱和密碼,之后每次登錄都會(huì)要求輸入郵箱和密碼。
左上角可以切換安裝好的模型。
到此這篇關(guān)于Ollma本地部署Qwen2.5 14B(不使用docker)的文章就介紹到這了,更多相關(guān)Ollma本地部署Qwen內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Docker案例分析:搭建MySQL數(shù)據(jù)庫(kù)服務(wù)
這篇文章主要介紹了Docker案例分析:搭建MySQL數(shù)據(jù)庫(kù)服務(wù),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-12-12基于spring-boot和docker-java實(shí)現(xiàn)對(duì)docker容器的動(dòng)態(tài)管理和監(jiān)控功能[附完整源碼下載]
Docker 是一個(gè)開(kāi)源的應(yīng)用容器引擎,和傳統(tǒng)的虛擬機(jī)技術(shù)相比,Docker 容器性能開(kāi)銷極低,因此也廣受開(kāi)發(fā)者喜愛(ài)。這篇文章主要介紹了基于spring-boot和docker-java實(shí)現(xiàn)對(duì)docker容器的動(dòng)態(tài)管理和監(jiān)控 ,需要的朋友可以參考下2019-06-06Docker動(dòng)態(tài)添加端口不需要重新建立鏡像的方法
Docker容器在運(yùn)行期間有時(shí)可能會(huì)需要修改或者添加暴露的端口,但是有時(shí)候運(yùn)行的容器又不想再另外建立一個(gè)新的鏡像。接下來(lái)通過(guò)本文給大家分享Docker動(dòng)態(tài)添加端口不需要重新建立鏡像的方法,感興趣的朋友一起看看吧2019-07-07使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度
這篇文章主要為大家介紹了使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>2023-10-10本地Docker部署Navidrome音樂(lè)服務(wù)器與遠(yuǎn)程訪問(wèn)聽(tīng)歌詳細(xì)教程(圖文詳解)
本文和大家分享一款目前在G站有11K+Star的開(kāi)源跨平臺(tái)音樂(lè)服務(wù)器?Navidrome,如何在?Linux?環(huán)境本地使用?Docker?部署,并結(jié)合cpolar?內(nèi)網(wǎng)穿透工具配置公網(wǎng)地址,實(shí)現(xiàn)隨時(shí)隨地遠(yuǎn)程訪問(wèn)本地存儲(chǔ)音樂(lè)的詳細(xì)流程,感興趣的朋友跟隨小編一起看看吧2024-08-08docker images,info,-d等命令報(bào)錯(cuò)的解決方法
最近剛接觸Docker,所以在學(xué)習(xí)的過(guò)程中出現(xiàn)了好多的問(wèn)題,百度上不好找,谷歌的話,樓主不會(huì)翻墻。后來(lái)通過(guò)各方求助和細(xì)心研究解決了一些遇到的問(wèn)題,現(xiàn)在將遇到的問(wèn)題和解決方法分享給大家,有需要的朋友們可以參考借鑒。2016-11-11一文教你如何通過(guò) Docker 快速搭建各種測(cè)試環(huán)境
這篇文章主要介紹了一文教你如何通過(guò) Docker 快速搭建各種測(cè)試環(huán)境,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07Docker部署.NET6項(xiàng)目的實(shí)現(xiàn)步驟
Docker是現(xiàn)在比較流行的開(kāi)源容器引擎,有了它讓我們部署和維護(hù)系統(tǒng)更加方便,本文主要介紹了Docker部署.NET6項(xiàng)目,具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12