如何在本地部署 DeepSeek Janus Pro 文生圖大模型
Hello, 大家新年好。
在這個(gè)春節(jié)期間最火的顯然是 DeepSeek 了。據(jù)不負(fù)責(zé)統(tǒng)計(jì)朋友圈每天給我推送關(guān)于 DeepSeek 的文章超過20篇。打開知乎跟B站也全是 DeepSeek 相關(guān)的內(nèi)容。不過大部分的內(nèi)容都是關(guān)于 DeepSeek R1 推理模型有多牛逼。在這里就不多說關(guān)于 R1 的廢話了,因?yàn)榇蠹乙呀?jīng)看膩了。
R1 在本地用 ollama 跑了一下,太簡(jiǎn)單了,都沒必要寫個(gè)教程。除了 R1 今天還在本地部署成功了 DeepSeek 的 Janus Pro 模型。
什么是 Janus Pro
Janus-Pro是一種創(chuàng)新的自回歸框架,其統(tǒng)一了多模態(tài)理解與生成任務(wù)。該框架通過將視覺編碼解耦到不同的處理路徑(同時(shí)仍使用單一統(tǒng)一的Transformer架構(gòu)進(jìn)行信息處理),有效解決了先前方法的局限性。這種解耦機(jī)制不僅緩解了視覺編碼器在理解與生成雙重角色間的沖突,還顯著提升了框架的靈活性。Janus-Pro在性能上超越了以往的統(tǒng)一模型,并達(dá)到甚至超越了專用任務(wù)模型的表現(xiàn)水平。憑借其架構(gòu)簡(jiǎn)潔性、高度靈活性和卓越有效性,Janus-Pro有望成為下一代統(tǒng)一多模態(tài)模型的重要技術(shù)方向。
以上內(nèi)容來自 Janus Pro github 倉(cāng)庫(kù)的介紹,非常的學(xué)術(shù)。簡(jiǎn)單說它是文生圖的模型,類似 DALL-E 3, Stable Diffusion。
以下就讓我們看看這么在本地的 PC 電腦來運(yùn)行 Janus Pro 模型吧。
1. 安裝 conda
從以下地址下載 anaconda 的 windows 安裝包
https://www.anaconda.com/download
安裝完成后需要把安裝目錄配置到環(huán)境變量 PATH 上
2. 創(chuàng)建 python 虛擬環(huán)境
conda create -n janus_pro python=3.10 -y conda activate janus_pro
注意:Python 3.10是經(jīng)過驗(yàn)證的兼容版本,避免使用其他版本導(dǎo)致依賴沖突
3. 克隆 janus 倉(cāng)庫(kù)到本地
git clone https://github.com/deepseek-ai/Janus.git cd Janus
4. 安裝依賴
# 安裝基礎(chǔ)依賴 pip install -e .
注意:pip 安裝依賴的時(shí)候可能會(huì)遇到網(wǎng)絡(luò)問題,建議配置代理
5. 安裝 Gradio
pip install -e .[gradio]
到時(shí)候我們會(huì)通過 Gradio 的界面跟 janus 進(jìn)行交互
6. 使用 janus pro 1B 模型
janus pro 默認(rèn)啟動(dòng)的時(shí)候使用的是 7B 參數(shù)的模型,本地電腦跑起來的話太卡了。這里我們會(huì)修改成使用 1B 模型,這樣的話大概 8G 的顯存也能勉強(qiáng)跑一跑,7B 的話對(duì)顯存的要求會(huì)更高。
找到我們克隆下來的倉(cāng)庫(kù)。使用編輯器打開 demo/
把第15行改成:
model_path = "deepseek-ai/Janus-Pro-1B"
7. 啟動(dòng) Janus Pro
python demo/app_januspro.py
注意:?jiǎn)?dòng)期間會(huì)從 huggingface 拉取 1B 模型,大小大概 4G,所以還是需要指定代理。
啟動(dòng)成功后如下圖:
8. 使用 Gradio 界面進(jìn)行交互
啟動(dòng)成功后在瀏覽器里輸入: http://127.0.0.1:7860 即可訪問 Gradio 頁(yè)面。
9. 圖片理解
先來試試 janus pro 對(duì)圖片的理解。
This image is a humorous meme that uses the popular "buff Doge vs. sad Doge" format to compare two different approaches to visual encoding. ...
這個(gè)解釋到位的有點(diǎn)嚇人。
10. 文生圖
再來試試文字生成圖片
prompt:
A cute and adorable baby fox with big brown eyes, autumn leaves in the background enchanting,immortal,fluffy, shiny mane,Petals,fairyism,unreal engine 5 and Octane Render,highly detailed, photorealistic, cinematic, natural colors.
圖片是我從 Hugging Face 直接運(yùn)行得到的。在我本地運(yùn)行了30分鐘都沒出結(jié)果,我直接 ctrl-c 取消了??赡苁俏业娘@卡太垃圾了(RTX4060 Mobile)。
總結(jié)
以上我們?cè)诒镜?windows 上成功部署了 DeepSeek janus pro 模型。按照以上 step by step 的方式也沒什么難度。通過測(cè)試 janus pro 對(duì)圖片的理解非常到位。但是文生圖的測(cè)試失敗了,可能是我的顯卡太垃圾,如果有同學(xué)有 4090 這種顯卡可以試一試本地文生圖的性能。
到此這篇關(guān)于本地部署 DeepSeek Janus Pro 文生圖大模型的文章就介紹到這了,更多相關(guān)DeepSeek Janus Pro本地部署內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
最適合人工智能開發(fā)的5種編程語(yǔ)言 附人工智能入門書籍
這篇文章主要為大家詳細(xì)介紹了最適合人工智能開發(fā)的5種編程語(yǔ)言,并為大家推薦人工智能入門書籍,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-11-11解決Chrome在新版MacOS上報(bào)錯(cuò) NET::ERR_CERT_WEAK_KEY 的問題
這篇文章主要介紹了解決Chrome在新版MacOS上報(bào)錯(cuò) NET::ERR_CERT_WEAK_KEY 的問題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-05-05解決MobaXterm連接報(bào)錯(cuò)Network error:Connection timed 
這篇文章主要介紹了解決MobaXterm連接報(bào)錯(cuò)Network error:Connection timed out問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05