基于 Docker 搭建 Anythingllm的詳細過程
背景
嘗試搭建一個自己的知識庫增強生成模型(RAG),本文記錄的是完全在本地的搭建流程。但是由于太耗c盤了,跑過之后嘗試轉(zhuǎn)戰(zhàn)云部署,以防后續(xù)忘記關(guān)鍵步驟,遂總結(jié)為經(jīng)驗帖。
部署完成后 be like:
配置
系統(tǒng) | Windows 11 企業(yè)版 |
LLM | Ollama |
UI | Anythingllm |
部署 | 本地+Docker |
一、Ollama&Docker 安裝
這倆都很簡單,在官網(wǎng)直接下載安裝就好。
注意:Ollama 和 Docker 都是默認(rèn)下載進 C 盤的(沒有過程中可以瀏覽改地址的那種),加上后續(xù) anythingllm 的鏡像拉取接近 15G。本地部署至少要準(zhǔn)備 20G 的 C 盤余額。(似乎可以在安裝完成后遷移到 D 盤,但是作者沒做相關(guān)嘗試)
1. Ollama
官網(wǎng):https://ollama.com/
2. Docker
官網(wǎng):Docker: Accelerated Container Application Development
二、Anythingllm搭建
基于官方文檔:https://docs.anythingllm.com/installation-docker/local-docker
但是文檔寫的不算詳細,在拉取 Anythingllm
鏡像之前需要先下載三個小組件:yarn、node、PowerShell。
1. nodejs
下載地址:
Node.js — Download Node.js®
Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.
https://nodejs.org/en/download/package-manager/current
2. Yarn
在下載 nodejs 后,可以在 cmd 中執(zhí)行以下命令來安裝 Yarn:
npm install --global yarn
3. PowerShell
文檔里沒說,有一塊代碼必須在 PowerShell 里運行,不能在 cmd 里運行。
下載地址:
Installing PowerShell on Windows - PowerShell | Microsoft Learn
Information about installing PowerShell on Windows
https://learn.microsoft.com/en-us/powershell/scripting/install/installing-powershell-on-windows?view=powershell-7.4
4. Anythingllm
在 cmd 里執(zhí)行以下命令拉取 Anythingllm 的鏡像:
docker pull mintplexlabs/anythingllm
然后在 PowerShell 里執(zhí)行:
$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; ` If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; ` If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; ` docker run -d -p 3001:3001 ` --cap-add SYS_ADMIN ` -v "$env:STORAGE_LOCATION`:/app/server/storage" ` -v "$env:STORAGE_LOCATION\.env:/app/server/.env" ` -e STORAGE_DIR="/app/server/storage" ` mintplexlabs/anythingllm;
三、召喚和使用
1. 初次訪問
以上步驟都運行成功時,打開 Docker desktop,會看到 Containers 里已經(jīng)新增一個 3001 了。
點擊 Port 列,即可打開內(nèi)網(wǎng)訪問 Anythingllm。
或者直接訪問:http://localhost:3001/,也可以達到同樣效果。
2. 再次訪問
下次需要使用時,打開 Docker,點擊 Actions,知道 CPU 列的內(nèi)容加載為 “x%”,即可訪問。(直接訪問或者急了的話會出現(xiàn)無法訪問的情況,啟動后稍等一下即可)
到此這篇關(guān)于基于 Docker 搭建 Anythingllm的文章就介紹到這了,更多相關(guān)Docker 搭建 Anythingllm內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
docker-compose部署Java應(yīng)用和相關(guān)依賴方式
介紹如何使用docker-compose一鍵部署Java應(yīng)用及依賴,并實現(xiàn)MySQL數(shù)據(jù)庫的自動初始化2024-10-10Docker容器化應(yīng)用與結(jié)構(gòu)
本文詳細講解了Docker的容器化應(yīng)用與結(jié)構(gòu),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04詳解如何修改 Docker 默認(rèn)網(wǎng)橋地址
這篇文章主要介紹了詳解如何修改 Docker 默認(rèn)網(wǎng)橋地址,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-05-05docker 安裝nacos并配置數(shù)據(jù)庫的教程詳解
這篇文章主要介紹了docker 安裝nacos并配置數(shù)據(jù)庫的教程詳解,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-12-12docker運行PostgreSQL數(shù)據(jù)庫維護執(zhí)行腳本備份數(shù)據(jù)庫與更新表結(jié)構(gòu)的方法
這篇文章主要介紹了docker運行PostgreSQL數(shù)據(jù)庫維護,執(zhí)行腳本備份數(shù)據(jù)庫與更新表結(jié)構(gòu),本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-05-05