Docker安裝ollama過(guò)程解讀
一：ollama介紹
Ollama官網(wǎng)：https://ollama.com/，官方網(wǎng)站的介紹就一句話：
Get up and running with large language models. （開(kāi)始使用大語(yǔ)言模型。）
Ollama是一個(gè)開(kāi)源的 LLM（大型語(yǔ)言模型）服務(wù)工具，用于簡(jiǎn)化在本地運(yùn)行大語(yǔ)言模型、降低使用大語(yǔ)言模型的門檻，使得大模型的開(kāi)發(fā)者、研究人員和愛(ài)好者能夠在本地環(huán)境快速實(shí)驗(yàn)、管理和部署最新大語(yǔ)言模型，包括如Qwen2、Llama3、Phi3、Gemma2等開(kāi)源的大型語(yǔ)言模型。
因此：Ollama是大語(yǔ)言模型便捷的管理和運(yùn)維工具
二：docker安裝ollama
1.1 拉取鏡像
docker pull ollama/ollama
運(yùn)行容器(CPU)
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
說(shuō)明：D:\ollama 掛載自己機(jī)器的目錄
1.2 運(yùn)行容器（GPU）
docker run -d --gpus=all -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1.3 運(yùn)行模型
運(yùn)行模型前首先要到https://ollama.com/library選擇自己要加載的模型(上面有各種模型：llama3.2，llama3.1，gemma2，qwen2.5，等等），我們?cè)谶@選擇11ama3.2
從上圖可以看到下拉里面有幾個(gè)不同數(shù)據(jù)量的版本。選擇好了之后。我們會(huì)看對(duì)應(yīng)右邊文本框里面會(huì)有對(duì)應(yīng)的變化，我們現(xiàn)在選擇1b對(duì)應(yīng)的就是：ollama run llama3.2:1b
下一步：我們就把選擇這個(gè)模型運(yùn)行下。如果沒(méi)有下載他會(huì)自動(dòng)下載的。
docker exec -it ollama ollama run llama3.2:1b
docker exec 命令：
docker exec是用來(lái)在一個(gè)已經(jīng)運(yùn)行的容器內(nèi)執(zhí)行命令的。- 它允許你在容器內(nèi)部啟動(dòng)一個(gè)新的進(jìn)程，通常用于調(diào)試和管理。
it選項(xiàng)：
i（interactive）: 使容器的標(biāo)準(zhǔn)輸入保持打開(kāi)，以便你可以與容器內(nèi)的進(jìn)程進(jìn)行交互。t（tty）: 為容器分配一個(gè)偽終端，這使得你可以以終端模式運(yùn)行命令。
ollama：
- 這是正在運(yùn)行的容器的名稱。
- 剛剛通過(guò)
docker run命令啟動(dòng)了這個(gè)容器，并給它指定了名稱ollama。
ollama run llama3.2:1b：
- 這是在容器內(nèi)執(zhí)行的命令。
- 它調(diào)用了
ollama應(yīng)用程序，并加載llama3.2:1b模型（這個(gè)就是我們?cè)诠倬W(wǎng)上面選擇那個(gè)版本）
運(yùn)行圖片如下：
這樣你就可以用這個(gè)客戶端跟大模型對(duì)話。
最后：當(dāng)然我們需要一下web-ui跟大模型對(duì)話了。下一步講如何安裝Open WebUI
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
構(gòu)建一個(gè)簡(jiǎn)單的CaaS系統(tǒng)
本文主要介紹如何從零開(kāi)始構(gòu)建一個(gè)簡(jiǎn)易的CaaS（Container as a Service）系統(tǒng)。簡(jiǎn)單易懂，希望有想學(xué)習(xí)的小伙伴可以關(guān)注下2016-10-10
使用elasticsearch定時(shí)刪除索引數(shù)據(jù)
這篇文章主要介紹了使用elasticsearch定時(shí)刪除索引數(shù)據(jù)的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
詳解使用阿里云鏡像倉(cāng)庫(kù)構(gòu)建國(guó)外Docker鏡像
這篇文章主要介紹了詳解使用阿里云鏡像倉(cāng)庫(kù)構(gòu)建國(guó)外Docker鏡像，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
Docker可以使用?docker logs?命令來(lái)查看容器的日志,本文主要介紹了docker查看日志命令的實(shí)現(xiàn)步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-08-08
redis集群對(duì)于很多人來(lái)說(shuō)非常熟悉，雖然集群搭建的文章在網(wǎng)上很多，但是今天給大家介紹的是在docker上實(shí)現(xiàn)Redis集群搭建，感興趣的可以了解下2021-05-05
docker compose部署主從復(fù)制的實(shí)現(xiàn)
本文記錄了通過(guò) docker compose 搭建一主雙從的 Redis 服務(wù)。文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
Docker啟動(dòng)RabbitMQ實(shí)現(xiàn)生產(chǎn)者與消費(fèi)者的詳細(xì)過(guò)程
這篇文章主要介紹了Docker啟動(dòng)RabbitMQ，實(shí)現(xiàn)生產(chǎn)者與消費(fèi)者,通過(guò)Docker拉取鏡像并啟動(dòng)RabbitMQ，本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-02-02
這篇文章主要介紹了如何設(shè)置docker容器時(shí)區(qū)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07
將spring boot應(yīng)用打入docker中運(yùn)行的實(shí)現(xiàn)方法
這篇文章主要介紹了將spring boot應(yīng)用打入docker中運(yùn)行的實(shí)現(xiàn)方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
在Ubuntu 16.04上用Docker Swarm和DigitalOcean創(chuàng)建一個(gè)Docker容器集群的方法
這篇文章主要介紹了在Ubuntu 16.04上用Docker Swarm和DigitalOcean創(chuàng)建一個(gè)Docker容器集群的方法，需要的的朋友參考下吧2017-01-01