欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Ollma本地部署Qwen2.5 14B的詳細(xì)過程(不使用docker)

 更新時間:2024年11月27日 09:38:37   投稿:mrr  
本文介紹了如何在不使用Docker的情況下部署Ollama模型和Open-webui實(shí)現(xiàn)可視化界面,Ollama模型通過命令行操作,包括啟動、創(chuàng)建、運(yùn)行等,Open-webui則需要安裝Anaconda環(huán)境,安裝并啟動服務(wù)后,通過瀏覽器訪問即可使用,感興趣的朋友跟隨小編一起看看吧

部署機(jī)器硬件情況:內(nèi)存 :32GB顯卡 :3060

為什么不使用docker:1.網(wǎng)上教程大多以docker為主2.安裝docker的時間太長,在等待的時候順便嘗試一下不用docker的部署

1.安裝Ollama

下載地址:https://ollama.com/

下載好之后默認(rèn)安裝即可。

Ollama常用命令

【跟docker差不多,初次安裝的話這邊可以忽略,先看下面的】ollama serve # 啟動ollamaollama create # 從模型文件創(chuàng)建模型ollama show # 顯示模型信息ollama run # 運(yùn)行模型,會先自動下載模型ollama pull # 從注冊倉庫中拉取模型ollama push # 將模型推送到注冊倉庫ollama list # 列出已下載模型ollama ps # 列出正在運(yùn)行的模型ollama cp # 復(fù)制模型ollama rm # 刪除模型

2.下載模型

Ollama模型庫類似于Docker托管鏡像的Docker Hub。鏈接:https://ollama.com/library/qwen2.5-coder:14b

復(fù)制這邊的命令來拉取模型并運(yùn)行。

第一次運(yùn)行的時候需要下載。

3.啟動

ollama run qwen2.5-coder:14b正常啟動大概15秒左右。下載好之后即可運(yùn)行??梢哉ζ溥M(jìn)行提問。

輸入/? 查看常用指令

4.Open-webui實(shí)現(xiàn)可視化

官方github界面https://github.com/open-webui/open-webui?tab=readme-ov-file官方文檔https://docs.openwebui.com/getting-started/具體參考Quick Start 的內(nèi)容:https://docs.openwebui.com/getting-started/quick-start/

0.安裝anaconda并打開anaconda prompt

打開之后默認(rèn)使用的環(huán)境是base

1.創(chuàng)建一個名為open-webui 的Python3.11的環(huán)境:

conda create -n open-webui python=3.11安裝好之后可以通過conda env list來查看

2.切換并激活到這個環(huán)境

conda activate open-webui

3.安裝open-webui 庫

pip install open-webui花費(fèi)的時間比較長,10min左右。

4.啟動服務(wù)

open-webui serve初次啟動也需要花費(fèi)一點(diǎn)時間,啟動成功之后即可看到8080端口。

5.訪問webui界面

在瀏覽器里輸入localhost:8080 即可正常訪問。第一次登錄會要求輸入用戶名、郵箱和密碼,之后每次登錄都會要求輸入郵箱和密碼。

左上角可以切換安裝好的模型。

到此這篇關(guān)于Ollma本地部署Qwen2.5 14B(不使用docker)的文章就介紹到這了,更多相關(guān)Ollma本地部署Qwen內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Docker案例分析:搭建MySQL數(shù)據(jù)庫服務(wù)

    Docker案例分析:搭建MySQL數(shù)據(jù)庫服務(wù)

    這篇文章主要介紹了Docker案例分析:搭建MySQL數(shù)據(jù)庫服務(wù),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-12-12
  • 基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控功能[附完整源碼下載]

    基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控功能[附完整源碼下載]

    Docker 是一個開源的應(yīng)用容器引擎,和傳統(tǒng)的虛擬機(jī)技術(shù)相比,Docker 容器性能開銷極低,因此也廣受開發(fā)者喜愛。這篇文章主要介紹了基于spring-boot和docker-java實(shí)現(xiàn)對docker容器的動態(tài)管理和監(jiān)控 ,需要的朋友可以參考下
    2019-06-06
  • Docker容器修改端口映射的實(shí)現(xiàn)

    Docker容器修改端口映射的實(shí)現(xiàn)

    本文主要介紹了Docker容器修改端口映射的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-06-06
  • docker端口映射的實(shí)現(xiàn)示例

    docker端口映射的實(shí)現(xiàn)示例

    Docker 端口映射允許我們將容器內(nèi)部的服務(wù)綁定到宿主機(jī)上的一個或多個端口,本文主要介紹了docker端口映射的實(shí)現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下
    2024-03-03
  • Docker動態(tài)添加端口不需要重新建立鏡像的方法

    Docker動態(tài)添加端口不需要重新建立鏡像的方法

    Docker容器在運(yùn)行期間有時可能會需要修改或者添加暴露的端口,但是有時候運(yùn)行的容器又不想再另外建立一個新的鏡像。接下來通過本文給大家分享Docker動態(tài)添加端口不需要重新建立鏡像的方法,感興趣的朋友一起看看吧
    2019-07-07
  • 使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度

    使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度

    這篇文章主要為大家介紹了使用Dockerfile.dockerignore提升Docker鏡像構(gòu)建速度,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>
    2023-10-10
  • 本地Docker部署Navidrome音樂服務(wù)器與遠(yuǎn)程訪問聽歌詳細(xì)教程(圖文詳解)

    本地Docker部署Navidrome音樂服務(wù)器與遠(yuǎn)程訪問聽歌詳細(xì)教程(圖文詳解)

    本文和大家分享一款目前在G站有11K+Star的開源跨平臺音樂服務(wù)器?Navidrome,如何在?Linux?環(huán)境本地使用?Docker?部署,并結(jié)合cpolar?內(nèi)網(wǎng)穿透工具配置公網(wǎng)地址,實(shí)現(xiàn)隨時隨地遠(yuǎn)程訪問本地存儲音樂的詳細(xì)流程,感興趣的朋友跟隨小編一起看看吧
    2024-08-08
  • docker images,info,-d等命令報(bào)錯的解決方法

    docker images,info,-d等命令報(bào)錯的解決方法

    最近剛接觸Docker,所以在學(xué)習(xí)的過程中出現(xiàn)了好多的問題,百度上不好找,谷歌的話,樓主不會翻墻。后來通過各方求助和細(xì)心研究解決了一些遇到的問題,現(xiàn)在將遇到的問題和解決方法分享給大家,有需要的朋友們可以參考借鑒。
    2016-11-11
  • 一文教你如何通過 Docker 快速搭建各種測試環(huán)境

    一文教你如何通過 Docker 快速搭建各種測試環(huán)境

    這篇文章主要介紹了一文教你如何通過 Docker 快速搭建各種測試環(huán)境,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • Docker部署.NET6項(xiàng)目的實(shí)現(xiàn)步驟

    Docker部署.NET6項(xiàng)目的實(shí)現(xiàn)步驟

    Docker是現(xiàn)在比較流行的開源容器引擎,有了它讓我們部署和維護(hù)系統(tǒng)更加方便,本文主要介紹了Docker部署.NET6項(xiàng)目,具有一定的參考價值,感興趣的可以了解一下
    2023-12-12

最新評論