Nodejs本地部署DeepSeek的教程詳解
1.下載 Ollama
下載之后點擊安裝,等待安裝成功后,打開cmd窗口,輸入以下指令:
ollama -v
如果顯示了版本號,則代表已經下載成功了。
2.下載DeepSeek模型
然后選擇自己對應配置的模型,在復制右側指令到cmd窗口,就可以把模型下載到本地了。
3.下載 ollama.js
npm下載方式:
npm i ollama
yarn下載方式:
yarn add ollama
pnpm下載方式:
pnpm i ollama
下載完成后,按照ollama.js 官方文檔指示則可使用,下面是一個最簡單的案例:
import { Ollama } from 'ollama' const ollama = new Ollama({ host: 'http://127.0.0.1:11434' }) const response = await ollama.chat({ model: 'deepseek-r1:1.5b', messages: [{ role: 'user', content: '你好' }], }) console.log(response.message.content)
輸出結果:
最后,如果大家不熟悉 Ollama 的指令,可以參考下文
4.ollama基本使用教程
Ollama 是一個開源的大型語言模型服務工具,能夠幫助用戶在本地運行大模型。通過簡單的安裝指令,用戶可以在本地運行開源的大型語言模型,如 Llama 21。
1. 安裝 Ollama
支持 macOS、Linux 和 Windows(通過 WSL)。
macOS 或 Linux
# 一鍵安裝腳本 curl -fsSL https://ollama.com/install.sh | sh
Windows (WSL2)
安裝 WSL2 和 Ubuntu。
在 WSL 終端中運行上述安裝腳本。
2. 基礎命令
啟動與停止
# 啟動 Ollama 服務(后臺運行) ollama serve # 停止服務 ollama stop
更新 Ollama
ollama upgrade
3. 模型管理
下載預訓練模型
# 下載官方模型(如 llama2、mistral) ollama pull <model-name> # 示例 ollama pull llama2
運行模型
# 啟動交互式對話 ollama run <model-name> # 示例 ollama run llama2
查看已安裝模型
ollama list
刪除模型
ollama rm <model-name>
從 Modelfile 創(chuàng)建自定義模型
創(chuàng)建一個 Modelfile 文件:
FROM llama2 # 基礎模型 SYSTEM """你是一個友好的助手,用中文回答。""" PARAMETER temperature 0.7 # 控制生成隨機性(0-1)
構建自定義模型:
ollama create my-model -f Modelfile
運行自定義模型:
ollama run my-model
4. 高級功能
服務器模式與 API
啟動 API 服務(默認端口 11434):
ollama serve
通過 HTTP 調用 API:
curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "你好,請介紹一下你自己", "stream": false }'
多會話管理
# 啟動一個會話并命名 ollama run llama2 --name chat1 # 在另一個終端啟動新會話 ollama run llama2 --name chat2
環(huán)境變量配置
# 更改默認端口 OLLAMA_HOST=0.0.0.0:8080 ollama serve # 使用 GPU 加速(需 NVIDIA 驅動) OLLAMA_GPU_METAL=1 ollama run llama2
5. 常見問題與技巧
加速模型下載
# 使用鏡像源(如中國用戶) OLLAMA_MODELS=https://mirror.example.com ollama pull llama2
查看日志
tail -f ~/.ollama/logs/server.log
模型參數(shù)調整
在 Modelfile 中可設置:
- temperature: 生成隨機性(0=確定,1=隨機)
- num_ctx: 上下文長度(默認 2048)
- num_gpu: 使用的 GPU 數(shù)量
模型導出與分享
# 導出模型 ollama export my-model > my-model.tar # 導入模型 ollama import my-model.tar
到此這篇關于Nodejs本地部署DeepSeek的教程詳解的文章就介紹到這了,更多相關Nodejs本地部署DeepSeek內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Node.js中使用mongoose操作mongodb數(shù)據庫的方法
如何利用mongoose將數(shù)據寫入mongodb數(shù)據庫呢?操作方法很簡單,下面小編給大家分享Node.js中使用mongoose操作mongodb數(shù)據庫的方法,感興趣的朋友一起看看吧2017-09-09gulp加批處理(.bat)實現(xiàn)ng多應用一鍵自動化構建
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實現(xiàn)ng多應用一鍵自動化構建的相關資料,文中介紹的很詳細,需要的朋友可以參考借鑒,下面來一起看看吧。2017-02-02