python使用devpi實(shí)現(xiàn)鏡像源代理完整指南
1、背景與目標(biāo)
背景1（訪問(wèn)速度優(yōu)化）：
- 直接用pip安裝包會(huì)訪問(wèn)官方源，在國(guó)內(nèi)速度很慢，通常用pip的清華/阿里云源替代。
- 但即便如此，這些遠(yuǎn)程pypi源網(wǎng)速也不穩(wěn)定，而且比如pytorch/tensorflow這種幾百兆的大型包，下載仍然費(fèi)時(shí)，如果給新人配環(huán)境，還要重復(fù)下載。
- 這就需要一個(gè)緩存pypi服務(wù)器來(lái)做中轉(zhuǎn)，在內(nèi)網(wǎng)中下載緩存包，相當(dāng)于直接拷貝，配環(huán)境速度起飛。
期望：
- 緩存機(jī)制：內(nèi)置緩存機(jī)制，提升包下載速度，節(jié)省帶寬（優(yōu)化訪問(wèn)速度）。
- 簡(jiǎn)易配置：通過(guò)簡(jiǎn)單的配置即可快速部署和使用，降低維護(hù)成本（考慮docker部署）。
- 靈活部署：支持多種部署方式，可單機(jī)使用，也支持多服務(wù)器分布式部署（支持掛載公共對(duì)象存儲(chǔ)、文件存儲(chǔ)）。
背景2（私有鏡像包）：
- 私有倉(cāng)庫(kù)：期望僅用于內(nèi)網(wǎng)，局域網(wǎng)的軟件包。
- 版本控制：更近于一步的，用戶期望創(chuàng)建和管理私人PyPI服務(wù)器上的索引，實(shí)現(xiàn)包的版本控制。
- 權(quán)限控制：提供用戶和權(quán)限管理，確保包的安全性。
技術(shù)選型：
常見(jiàn)的緩存代理方案：devpi 緩存代理, Nexus 緩存代理, JFrog Artifactory 緩存代理
Nexus：維護(hù)成本較高，雖然支持py以外的源但是目前用不上
JFrog Artifactory：需要商業(yè)授權(quán)，并且維護(hù)成本較高，僅支持集群部署
devpi：因此devpi是目前最合適的方案
pypi-server :官方推薦的一個(gè)服務(wù)器，但主要用做上傳私有包。上傳方便，直接拷貝安裝包到文件夾即可。但目前沒(méi)查到緩存已下載包的方法，使用時(shí)和其他源是并列關(guān)系。
bendersnatch : 功能也很強(qiáng)大，但會(huì)把源鏡像的包全部同步到本地，需要大量存儲(chǔ)空間。
2、devpi-server 服務(wù)端搭建
devpi的組成
需要python>=3.7
使用版本 devpi2.2.0, devpi-client5.2.3, devpi-server==6.4.0
雖然包名叫devpi，但在當(dāng)前版本（devpi-server==6.4.0），功能已經(jīng)被分為客戶端 devpi-client 和服務(wù)端 devpi-server
devpi-client： 直接使用devpi的命令調(diào)用的，專(zhuān)門(mén)管理已經(jīng)啟動(dòng)的服務(wù)（index，user等指令）
devpi-server： 加參數(shù)用來(lái)啟動(dòng)服務(wù)器的。只有先啟動(dòng)devpi服務(wù)，client才能控制（use指令）
devpi-web： 一個(gè)網(wǎng)頁(yè)版客戶端，和cli版本的功能互相補(bǔ)全（或者說(shuō)兩個(gè)客戶端功能都?xì)垙U）。
網(wǎng)頁(yè)地址和 index_url 相同。網(wǎng)頁(yè)上可以搜索包名，點(diǎn)擊對(duì)應(yīng)版本的安裝包可以直接下載。如果已經(jīng)緩存過(guò)，描述中會(huì)顯示文件大小，反之說(shuō)明沒(méi)有本地緩存。
devpi-init: 最新版本下（devpi-server 6.14.0），使用配置文件初始化devpi的方式。
devpi配置：目前還沒(méi)有找到一步到位配置devpi的方法。
首次啟動(dòng)服務(wù)器時(shí)，mirror_url不能通過(guò)config文件傳遞給程序，只能用上文方式登陸后再修改。但還好，只需要配置一次。這些配置文件會(huì)存放在server目錄中的數(shù)據(jù)庫(kù)文件。
devpi-server 服務(wù)搭建
# 虛擬環(huán)境 python3 -m venv devpi source devpi/bin/activate # 安裝 pip install devpi-server devpi-server --version # devpi-server 6.14.0 devpi --version # devpi-client 7.2.0 # 初始化 # devpi的配置和緩存安裝包的文件夾。不指定目錄默認(rèn)為~/.devpi/server # devpi-init --serverdir=[PATH] rm -rf ~/.devpi/server devpi-init --configfile devpi-server.yml devpi-server --configfile devpi-server.yml # 啟動(dòng)服務(wù) # http://localhost:3141/ devpi-server --host=[HOST] --port=[PORT] --serverdir=[PATH] devpi-server
手動(dòng)配置索引
# 切換到指定索引
devpi use http://localhost:3141
lsof -i :3141
# 用戶管理
devpi user -l # 查看用戶列表
devpi login root --password '' # 默認(rèn)用戶為root 密碼為空
devpi user -m root password=123 # 修改密碼為123
devpi user -c user1 password=123 # 創(chuàng)建新用戶
devpi login user1 --password=123
devpi logout
# 索引管理
# 第一次啟動(dòng)后，會(huì)自動(dòng)從python官方源下載索引
# 每個(gè)用戶可以創(chuàng)建多個(gè)index，index直接還可以繼承，默認(rèn)為root/pypi
devpi upload --index user1/thu # 上傳包
devpi index -c user1/thu bases=root/pypi # 創(chuàng)建索引
devpi use user1/thu # 使用索引
devpi index root/pypi # 查看索引配置
# http://localhost:3141/root/pypi:
# type=mirror
# volatile=False
# mirror_url=https://mirrors.aliyun.com/pypi/simple/
# mirror_web_url_fmt=https://mirrors.aliyun.com/pypi/simple/{name}/
# title=PyPI索引鏡像源切換
# 切換鏡像源地址=>阿里云
# 同步完成后，會(huì)刪除舊索引，索引都在indices文件夾中
# 網(wǎng)頁(yè)地址：http://localhost:3141/root/pypi ，或者看 devpi-server 的日志
devpi login root --password ''
devpi index root/pypi "mirror_web_url_fmt=https://mirrors.aliyun.com/pypi/simple/{name}/" "mirror_url=https://mirrors.aliyun.com/pypi/simple/"
devpi index root/pypi "mirror_web_url_fmt=https://pypi.tuna.tsinghua.edu.cn/simple/{name}/" "mirror_url=https://pypi.tuna.tsinghua.edu.cn/simple/"
# 嘗試切換多個(gè)源
devpi index --delete root/thu
devpi index -c root/thu
devpi index root/thu "mirror_web_url_fmt=https://pypi.tuna.tsinghua.edu.cn/simple/{name}/" "mirror_url=https://pypi.tuna.tsinghua.edu.cn/simple/"上傳私有包
devpi 的 index有兩種類(lèi)型，mirror 和 stage，前者就是默認(rèn)使用的，拉取遠(yuǎn)程鏡像，但不能傳文件到這個(gè) index中。
這時(shí)需要?jiǎng)?chuàng)建新的 index，指定 stage 類(lèi)型。然后 devpi use 這個(gè) index，再 devpi upload 本地包。（更多的操作例如本地發(fā)布包，也有對(duì)應(yīng)的指令）
當(dāng)我下載時(shí)，devpi 會(huì)先搜索上傳的包，如果沒(méi)有找到依然能通過(guò) mirror 的 index 來(lái)下載，則可以修改 bases，指向 root/pypi，這樣就串聯(lián)起來(lái)了。
可能的dockerfile
# 使用官方的帶有Python的Ubuntu鏡像 FROM python:3.9-slim # 設(shè)置工作目錄 WORKDIR /root/ # 安裝 supervisor 和 devpi 相關(guān)包 RUN pip install supervisor RUN mkdir /devpi RUN pip install devpi-server devpi-web devpi-lockdown \ && devpi-init \ && devpi-gen-config --host 0.0.0.0 --port 3141 # 安裝 Nginx RUN apt-get update \ && apt-get install -y nginx # 復(fù)制 Nginx 配置文件和啟動(dòng)腳本 COPY ./nginx-devpi.conf /etc/nginx/sites-enabled/default COPY ./run.sh /root/ # 暴露 devpi 和 Nginx 的端口 EXPOSE 3141 EXPOSE 80 # 設(shè)置啟動(dòng)腳本 ENTRYPOINT ["bash", "run.sh"]
3、devpi 鏡像源使用
pip config 配置，和使用阿里云/清華源一樣
1、臨時(shí)使用
在pip install后添加 index_url 和 trusted_host
# 語(yǔ)法 pip install requests -i 鏡像URL --trusted-host 信任的域名 pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn # 可選源 清華：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：https://mirrors.aliyun.com/pypi/simple/ 豆瓣：https://pypi.doubanio.com/simple/ # devpi pip install -i "http://[host]/root/dev/+simple/" [package] --trusted-host [host] pip install -i "http://[user]:[password]@[host]/root/dev/+simple/" [package] --trusted-host [host] # 例子 pip install -i http://localhost:3141/root/pypi ansible pip install -i http://user1:123@localhost:3141/user1/thu ansible
2、長(zhǎng)期使用
修改本地 pip.conf 文件，默認(rèn)在~/.pip/pip.conf。
[global]
trusted-host=[HOST]
index-url=http://[HOST]:[PORT]/root/pypi/
# extra-index-url=http://mirrors.aliyun.com/pypi/simple/
timeout=120
以上就是python使用devpi實(shí)現(xiàn)鏡像源代理完整指南的詳細(xì)內(nèi)容，更多關(guān)于python devpi代理鏡像源的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
一直以來(lái)python中文編碼是個(gè)及其頭大的問(wèn)題，需要好好學(xué)習(xí)下，我用python為例，簡(jiǎn)單介紹下python編程時(shí)如何處理好中文編碼的問(wèn)題，感興趣的朋友們可以參考下2021-06-06
Python中卷積神經(jīng)網(wǎng)絡(luò)(CNN)入門(mén)教程分分享
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）是一類(lèi)特別適用于處理圖像數(shù)據(jù)的深度學(xué)習(xí)模型，本文介紹了如何使用Keras創(chuàng)建一個(gè)簡(jiǎn)單的CNN模型，并用它對(duì)手寫(xiě)數(shù)字進(jìn)行分類(lèi)，需要的可以參考一下2023-05-05
深入flask之異步非堵塞實(shí)現(xiàn)代碼示例
這篇文章主要介紹了深入flask之異步非堵塞實(shí)現(xiàn)代碼示例,小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
Dataframe的字符串合并包括2種場(chǎng)景,1.合并df中其中幾列字符串；2.將df中的字符串與外部字符串合并,本文主要介紹在Python下對(duì)Dataframe進(jìn)行字符串合并操作的方法,感興趣的朋友跟隨小編一起看看吧2024-06-06
python超簡(jiǎn)單解決約瑟夫環(huán)問(wèn)題
這篇文章主要介紹了python超簡(jiǎn)單解決約瑟夫環(huán)問(wèn)題的方法,詳細(xì)描述的約瑟夫環(huán)問(wèn)題的描述與Python解決方法,需要的朋友可以參考下2015-05-05
python實(shí)現(xiàn)在cmd窗口顯示彩色文字
今天小編就為大家分享一篇python實(shí)現(xiàn)在cmd窗口顯示彩色文字，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
Python中defaultdict與lambda表達(dá)式用法實(shí)例小結(jié)
這篇文章主要介紹了Python中defaultdict與lambda表達(dá)式用法,結(jié)合實(shí)例形式分析了Python中defaultdict與lambda表達(dá)式的功能、使用方法及相關(guān)注意事項(xiàng),需要的朋友可以參考下2018-04-04
Python+OpenCV開(kāi)發(fā)一個(gè)視頻播放器
提到OpenCV,大家首先想到的可能是圖像處理、目標(biāo)檢測(cè)等,但你是否想過(guò)用OpenCV實(shí)現(xiàn)一個(gè)視頻播放器,下面小編就帶你深入掌握OpenCV的視頻處理能力吧2025-03-03
今天小編就為大家分享一篇numpy求平均值的維度設(shè)定的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
這篇文章主要介紹了如何用Python制作音樂(lè)海報(bào)，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01