Nodejs本地部署DeepSeek的教程詳解
1.下載 Ollama
下載之后點擊安裝,等待安裝成功后,打開cmd窗口,輸入以下指令:
ollama -v
如果顯示了版本號,則代表已經(jīng)下載成功了。
2.下載DeepSeek模型
然后選擇自己對應配置的模型,在復制右側(cè)指令到cmd窗口,就可以把模型下載到本地了。
3.下載 ollama.js
npm下載方式:
npm i ollama
yarn下載方式:
yarn add ollama
pnpm下載方式:
pnpm i ollama
下載完成后,按照ollama.js 官方文檔指示則可使用,下面是一個最簡單的案例:
import { Ollama } from 'ollama' const ollama = new Ollama({ host: 'http://127.0.0.1:11434' }) const response = await ollama.chat({ model: 'deepseek-r1:1.5b', messages: [{ role: 'user', content: '你好' }], }) console.log(response.message.content)
輸出結(jié)果:
最后,如果大家不熟悉 Ollama 的指令,可以參考下文
4.ollama基本使用教程
Ollama 是一個開源的大型語言模型服務(wù)工具,能夠幫助用戶在本地運行大模型。通過簡單的安裝指令,用戶可以在本地運行開源的大型語言模型,如 Llama 21。
1. 安裝 Ollama
支持 macOS、Linux 和 Windows(通過 WSL)。
macOS 或 Linux
# 一鍵安裝腳本 curl -fsSL https://ollama.com/install.sh | sh
Windows (WSL2)
安裝 WSL2 和 Ubuntu。
在 WSL 終端中運行上述安裝腳本。
2. 基礎(chǔ)命令
啟動與停止
# 啟動 Ollama 服務(wù)(后臺運行) ollama serve # 停止服務(wù) ollama stop
更新 Ollama
ollama upgrade
3. 模型管理
下載預訓練模型
# 下載官方模型(如 llama2、mistral) ollama pull <model-name> # 示例 ollama pull llama2
運行模型
# 啟動交互式對話 ollama run <model-name> # 示例 ollama run llama2
查看已安裝模型
ollama list
刪除模型
ollama rm <model-name>
從 Modelfile 創(chuàng)建自定義模型
創(chuàng)建一個 Modelfile 文件:
FROM llama2 # 基礎(chǔ)模型 SYSTEM """你是一個友好的助手,用中文回答。""" PARAMETER temperature 0.7 # 控制生成隨機性(0-1)
構(gòu)建自定義模型:
ollama create my-model -f Modelfile
運行自定義模型:
ollama run my-model
4. 高級功能
服務(wù)器模式與 API
啟動 API 服務(wù)(默認端口 11434):
ollama serve
通過 HTTP 調(diào)用 API:
curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "你好,請介紹一下你自己", "stream": false }'
多會話管理
# 啟動一個會話并命名 ollama run llama2 --name chat1 # 在另一個終端啟動新會話 ollama run llama2 --name chat2
環(huán)境變量配置
# 更改默認端口 OLLAMA_HOST=0.0.0.0:8080 ollama serve # 使用 GPU 加速(需 NVIDIA 驅(qū)動) OLLAMA_GPU_METAL=1 ollama run llama2
5. 常見問題與技巧
加速模型下載
# 使用鏡像源(如中國用戶) OLLAMA_MODELS=https://mirror.example.com ollama pull llama2
查看日志
tail -f ~/.ollama/logs/server.log
模型參數(shù)調(diào)整
在 Modelfile 中可設(shè)置:
- temperature: 生成隨機性(0=確定,1=隨機)
- num_ctx: 上下文長度(默認 2048)
- num_gpu: 使用的 GPU 數(shù)量
模型導出與分享
# 導出模型 ollama export my-model > my-model.tar # 導入模型 ollama import my-model.tar
到此這篇關(guān)于Nodejs本地部署DeepSeek的教程詳解的文章就介紹到這了,更多相關(guān)Nodejs本地部署DeepSeek內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 如何在本地部署DeepSeek大模型實現(xiàn)聯(lián)網(wǎng)增強的AI應用
- deepseek本地部署使用步驟詳解
- 一文教你如何本地部署DeepSeek
- DeepSeek本地部署流程詳細指南
- deepseek本地部署流程(解決服務(wù)器繁忙以及隱私等問題)
- 在linux服務(wù)器本地部署Deepseek及在mac遠程web-ui訪問的操作
- Linux 服務(wù)器本地部署 DeepSeek-R1 大模型并在遠端Web-UI訪問保姆級教程
- 0基礎(chǔ)租個硬件玩deepseek,藍耘元生代智算云|本地部署DeepSeek?R1模型的操作流程
- MAC快速本地部署Deepseek的實現(xiàn)步驟
相關(guān)文章
Node.js中使用mongoose操作mongodb數(shù)據(jù)庫的方法
如何利用mongoose將數(shù)據(jù)寫入mongodb數(shù)據(jù)庫呢?操作方法很簡單,下面小編給大家分享Node.js中使用mongoose操作mongodb數(shù)據(jù)庫的方法,感興趣的朋友一起看看吧2017-09-09gulp加批處理(.bat)實現(xiàn)ng多應用一鍵自動化構(gòu)建
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實現(xiàn)ng多應用一鍵自動化構(gòu)建的相關(guān)資料,文中介紹的很詳細,需要的朋友可以參考借鑒,下面來一起看看吧。2017-02-02用nodeJS搭建本地文件服務(wù)器的幾種方法小結(jié)
本篇文章主要介紹了用nodeJS搭建本地文件服務(wù)器的幾種方法小結(jié),具有一定的參考價值,感興趣的小伙伴們可以參考一下。2017-03-03