Docker安裝ollama過程解讀
一：ollama介紹
Ollama官網(wǎng)：https://ollama.com/，官方網(wǎng)站的介紹就一句話：
Get up and running with large language models. （開始使用大語言模型。）
Ollama是一個開源的 LLM（大型語言模型）服務工具，用于簡化在本地運行大語言模型、降低使用大語言模型的門檻，使得大模型的開發(fā)者、研究人員和愛好者能夠在本地環(huán)境快速實驗、管理和部署最新大語言模型，包括如Qwen2、Llama3、Phi3、Gemma2等開源的大型語言模型。
因此：Ollama是大語言模型便捷的管理和運維工具
二：docker安裝ollama
1.1 拉取鏡像
docker pull ollama/ollama
運行容器(CPU)
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
說明：D:\ollama 掛載自己機器的目錄
1.2 運行容器（GPU）
docker run -d --gpus=all -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1.3 運行模型
運行模型前首先要到https://ollama.com/library選擇自己要加載的模型(上面有各種模型：llama3.2，llama3.1，gemma2，qwen2.5，等等），我們在這選擇11ama3.2
從上圖可以看到下拉里面有幾個不同數(shù)據(jù)量的版本。選擇好了之后。我們會看對應右邊文本框里面會有對應的變化，我們現(xiàn)在選擇1b對應的就是：ollama run llama3.2:1b
下一步：我們就把選擇這個模型運行下。如果沒有下載他會自動下載的。
docker exec -it ollama ollama run llama3.2:1b
docker exec 命令：
docker exec是用來在一個已經(jīng)運行的容器內(nèi)執(zhí)行命令的。- 它允許你在容器內(nèi)部啟動一個新的進程，通常用于調(diào)試和管理。
it選項：
i（interactive）: 使容器的標準輸入保持打開，以便你可以與容器內(nèi)的進程進行交互。t（tty）: 為容器分配一個偽終端，這使得你可以以終端模式運行命令。
ollama：
- 這是正在運行的容器的名稱。
- 剛剛通過
docker run命令啟動了這個容器，并給它指定了名稱ollama。
ollama run llama3.2:1b：
- 這是在容器內(nèi)執(zhí)行的命令。
- 它調(diào)用了
ollama應用程序，并加載llama3.2:1b模型（這個就是我們在官網(wǎng)上面選擇那個版本）
運行圖片如下：
這樣你就可以用這個客戶端跟大模型對話。
最后：當然我們需要一下web-ui跟大模型對話了。下一步講如何安裝Open WebUI
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
本文主要介紹如何從零開始構(gòu)建一個簡易的CaaS（Container as a Service）系統(tǒng)。簡單易懂，希望有想學習的小伙伴可以關(guān)注下2016-10-10
使用elasticsearch定時刪除索引數(shù)據(jù)
這篇文章主要介紹了使用elasticsearch定時刪除索引數(shù)據(jù)的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了詳解使用阿里云鏡像倉庫構(gòu)建國外Docker鏡像，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
Docker可以使用?docker logs?命令來查看容器的日志,本文主要介紹了docker查看日志命令的實現(xiàn)步驟,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-08-08
redis集群對于很多人來說非常熟悉，雖然集群搭建的文章在網(wǎng)上很多，但是今天給大家介紹的是在docker上實現(xiàn)Redis集群搭建，感興趣的可以了解下2021-05-05
本文記錄了通過 docker compose 搭建一主雙從的 Redis 服務。文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
Docker啟動RabbitMQ實現(xiàn)生產(chǎn)者與消費者的詳細過程
這篇文章主要介紹了Docker啟動RabbitMQ，實現(xiàn)生產(chǎn)者與消費者,通過Docker拉取鏡像并啟動RabbitMQ，本文結(jié)合實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-02-02
這篇文章主要介紹了如何設置docker容器時區(qū)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-07-07
將spring boot應用打入docker中運行的實現(xiàn)方法
這篇文章主要介紹了將spring boot應用打入docker中運行的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
在Ubuntu 16.04上用Docker Swarm和DigitalOcean創(chuàng)建一個Docker容器集群的方法
這篇文章主要介紹了在Ubuntu 16.04上用Docker Swarm和DigitalOcean創(chuàng)建一個Docker容器集群的方法，需要的的朋友參考下吧2017-01-01