LM Studio是一個專注于本地大語言模型交互的桌面應(yīng)用程序，為在本地設(shè)備上運行大型語言模型提供了創(chuàng)新且高效的解決方案。LM Studio基于llama.cpp開發(fā)，提供圖形界面，無需命令行操作，專注桌面端用戶體驗。

什么是LM Studio？

LM Studio 是一個創(chuàng)新的人工智能平臺，專注于提供快速、安全的本地大型語言模型運行和下載服務(wù)。它支持多種先進的語言模型，如LLaMa、MPT和Gemma等，并且具備優(yōu)越的離線運行能力。通過這個工具，用戶可以在本地機器上高效地運行模型，從而避免了數(shù)據(jù)隱私問題和網(wǎng)絡(luò)延時所帶來的困擾。

軟件特色

模型管理：支持從Hugging Face等資源庫中拉取、存儲、運行各類GGUF格式模型，用戶可以在軟件內(nèi)方便地瀏覽、搜索和選擇自己需要的模型。

硬件協(xié)同優(yōu)化：依托l(wèi)lama.cpp底層架構(gòu)，針對NVIDIA系列GPU運用GPU卸載技術(shù)，合理分配運算任務(wù)，突破顯存局限；在內(nèi)存管理方面，借助模型量化手段降低內(nèi)存占用量，確保設(shè)備內(nèi)存有限的情況下也能平穩(wěn)加載運行大型模型。

參數(shù)調(diào)控：用戶可靈活調(diào)整“溫度”“重復(fù)懲罰”等參數(shù)，精準(zhǔn)定制模型輸出。比如“溫度”參數(shù)可調(diào)整輸出文本的靈活度，“重復(fù)懲罰”參數(shù)可把控文本多樣性。

文本嵌入強化檢索：借助POST/v1/embeddings端點生成文本嵌入向量，融入檢索增強生成（RAG）架構(gòu)體系，在海量文檔、知識庫搜索場景表現(xiàn)卓越。

內(nèi)置兼容OpenAI的本地服務(wù)器功能：無縫銜接既有基于OpenAI API搭建的應(yīng)用與本地模型，極大縮短開發(fā)適配周期，助力創(chuàng)新應(yīng)用高效落地。

 使用教程

1、打開LM studio程序

2、點擊右下角的設(shè)置，里面把語言選擇成為“簡體中文”

模型存放及部署設(shè)置

1、需要下載Deepseek-R1模型，當(dāng)我們下載好模型文件后，需要注意，不能隨便存放，因為需要讓安裝好的LM Studio來加載，而它對文件加載是有規(guī)定的，在客戶端里選擇”模型目錄“，然后我們選擇”更改“

2、這里我們把文件舉例放在D盤，新建一個文件夾，取名：models000，注意，這里的文件夾也不能有任何符號及中文

3、我們在models000下再建立一個文件夾001，在001里繼續(xù)建立一個文件夾 002，這樣002就處于三級目錄下了，我們把剛才下載的R1模型文件，復(fù)制在這個002文件夾內(nèi)就可以了

4、然后我們回到剛才LM studio的模型目錄里，就直接可以看到剛才已經(jīng)復(fù)制的模型了

5、點擊聊天界面，再點擊上面的模型選擇按鈕

6、選擇剛才的模型后，點擊加載等待完成即可，注意：這里可以選擇加一個“快速注意力”

更新日志

LM Studio 0.3.9

LM Studio 0.3.9 包括一個新的空閑 TTL 功能，支持 Hugging Face 存儲庫中的嵌套文件夾，以及一個實驗性 API，用于在聊天完成響應(yīng)的單獨字段中接收。reasoning_content

早期版本的 0.3.9 在流式處理 DeepSeek R1 聊天完成響應(yīng)時存在錯誤。請更新到最新版本 （5） 以解決此問題。

空閑 TTL 和自動移出

用例：假設(shè)您正在使用 Zed、Cline 或 Continue.dev 等應(yīng)用程序與 LM Studio 提供的 LLM 進行交互。這些應(yīng)用程序利用 JIT 在您首次使用模型時按需加載模型。

問題：當(dāng)您沒有主動使用模型時，您可能不希望它繼續(xù)加載到內(nèi)存中。

解決方案：為通過 API 請求加載的模型設(shè)置 TTL。每次模型收到請求時，空閑計時器都會重置，因此在您使用它時它不會消失。如果模型未執(zhí)行任何工作，則認為模型處于空閑狀態(tài)。當(dāng)空閑 TTL 過期時，模型會自動從內(nèi)存中卸載。

您可以在請求負載中設(shè)置以秒為單位的 TTL，或用于命令行使用。lms load --ttl <seconds>

在文檔文章中閱讀更多內(nèi)容：TTL 和自動驅(qū)逐。

在聊天完成響應(yīng)中分離reasoning_content

對于 DeepSeek R1，在單獨的字段中獲取推理內(nèi)容

DeepSeek R1 模型在標(biāo)簽內(nèi)生成內(nèi)容。此內(nèi)容是模型的 “推理” 過程。在聊天完成響應(yīng)中，您現(xiàn)在可以在一個名為 following the pattern in DeepSeek API 的單獨字段中接收此內(nèi)容。<think></think>reasoning_content

這適用于流式和非流式完成。您可以在 App Settings > Developer 中打開此功能。此功能目前處于試驗階段。

注意：根據(jù) DeepSeek 的文檔，您不應(yīng)在下一個請求中將推理內(nèi)容傳回給模型。

LM 運行時的自動更新

LM Studio 支持多種引擎變體（僅 CPU、CUDA、Vulkan、ROCm、Metal）以及 Apple MLX 引擎。這些引擎會頻繁更新，尤其是在發(fā)布新模型時。llama.cpp

為了減少手動更新多個片段的需要，我們?yōu)檫\行時引入了自動更新。默認情況下，此功能處于啟用狀態(tài)，但您可以在 App Settings 中將其關(guān)閉。

更新運行時后，您將看到一條通知，其中顯示了發(fā)行說明。您也可以在 runtimes 選項卡中自行管理：在 Windows/Linux 上，在 macOS 上。Ctrl + Shift + RCmd + Shift + R

LM 運行時將自動更新到最新版本。您可以在設(shè)置中關(guān)閉此功能

支持 Hugging Face 存儲庫中的嵌套文件夾

一個期待已久的功能：您現(xiàn)在可以從 Hugging Face 存儲庫中的嵌套文件夾下載模型。如果您最喜歡的模型發(fā)布者將其模型組織在子文件夾中，您現(xiàn)在可以直接在 LM Studio 中下載它們。

這使得下載 https://huggingface.co/unsloth/DeepSeek-R1-GGUF 等模型變得容易。也適用于。lms get <hugging face url>

# Warning: this is a very large model

lms get https://huggingface.co/unsloth/DeepSeek-R1-GGUF

0.3.9 - 完整更改日志

版本 6

修復(fù)了在包含圖像的聊天中使用純文本模型時出現(xiàn)的“無法讀取 undefined 的屬性”
修復(fù)了 Windows 上的路徑解析問題，該問題導(dǎo)致某些計算機上的 LM 運行時意外運行
CUDA 模型加載崩潰，“llm_engine_cuda.node.系統(tǒng)無法訪問該文件”
ROCm 亂碼模型生成
修復(fù)了使用舊版本應(yīng)用程序創(chuàng)建的聊天中的 RAG 消息不顯示的錯誤
修復(fù)了輸入法編輯器 （IME） 錯誤：現(xiàn)在，按 Enter 鍵時，除非完成合成，否則不會發(fā)送消息

構(gòu)建 5

修復(fù)了在流式傳輸 DeepSeek R1 聊天完成響應(yīng)時不遵循設(shè)置的 API 錯誤reasoning_content

版本 4

新的實驗性 API：在聊天完成響應(yīng)（流式和非流式）中的單獨字段中發(fā)送reasoning_content
適用于在標(biāo)簽內(nèi)生成內(nèi)容的模型（如 DeepSeek R1）<think></think>
在 App Settings > Developer 中打開

構(gòu)建 3

新增內(nèi)容：添加聊天外觀選項以自動擴展新添加的 Thinking UI 塊
新增內(nèi)容：當(dāng)應(yīng)用程序提供 insufficient system resources 錯誤通知時，顯示對護欄配置的快速訪問
修復(fù)了如果刪除非默認 models 目錄，則不會為新模型編制索引的錯誤
修復(fù)了硬件檢測中的一個錯誤，該錯誤在使用 Vulkan 后端時有時會錯誤地過濾掉多 GPU 設(shè)置中的 GPU
修復(fù)了模型加載 UI 中的一個錯誤，該錯誤導(dǎo)致沒有 Flash 注意的 F32 緩存類型無法被識別為 llama.cpp Metal 運行時的有效配置

構(gòu)建 2

新增內(nèi)容：添加了對從 Hugging Face 存儲庫中的嵌套文件夾下載模型的支持
改進了對直接使用 Hugging Face URL 進行搜索的支持
新增內(nèi)容：自動更新選定的運行時擴展包（您可以在設(shè)置中關(guān)閉此功能）
新增內(nèi)容：添加了使用 LM Studio 的 Hugging Face 代理的選項。這可以幫助無法直接訪問 Hugging Face 的用戶
新功能：MLX 模型的 KV 緩存量化（需要 mlx-engine/0.3.0）
我的模型選項卡刷新：更整潔的模型名稱和模型類型的側(cè)邊欄類別
可以切換回在“應(yīng)用程序設(shè)置”>“常規(guī)”中顯示完整文件名
要查看原始模型元數(shù)據(jù)（以前為：（i） 按鈕），請右鍵單擊模型名稱，然后選擇“查看原始元數(shù)據(jù)”
修復(fù)了清除 Sampling Settings 中的 Top K 會觸發(fā)錯誤的 bug

版本 1

新增內(nèi)容：TTL - 可選擇在一定時間后自動卸載未使用的 API 模型（請求有效負載中的字段）ttl
對于命令行使用：lms load --ttl <seconds>
API 參考：https://lmstudio.ai/docs/api/ttl-and-auto-evict
新增內(nèi)容：自動驅(qū)逐 - 可選擇在加載新 API 模型之前自動卸載之前加載的 API 模型（在應(yīng)用程序設(shè)置中控制）
修復(fù)了模型思維塊內(nèi)的方程式有時會在塊下方生成空白空間的錯誤
修復(fù)了 Toast 通知中的文本不可滾動的問題
修復(fù)了取消選中和選中 Structured Output JSON 會使架構(gòu)值消失的錯誤
修復(fù)了生成時自動滾動有時不允許向上滾動的錯誤
[開發(fā)商]將日志記錄選項移動到 Developer Logs 面板標(biāo)題（••• 菜單）
修復(fù)了聊天外觀字體大小選項在思考區(qū)塊中不縮放文本的問題