打包發(fā)布Python模塊的方法詳解
前言
昨天把自己的VASP文件處理庫(kù)進(jìn)行了打包并上傳到PyPI，現(xiàn)在可以直接通過(guò)pip和easy_install來(lái)安裝VASPy啦（同時(shí)歡迎使用VASP做計(jì)算化學(xué)的童鞋們加星和參與進(jìn)來(lái)），
VASPy的GotHub地址：https://github.com/PytLab/VASPy
VASPy的PyPI地址：https://pypi.python.org/pypi/vaspy/
由于自己的記性真是不咋地，怕時(shí)間久了就忘了，于是在這里趁熱打鐵以自己的VASPy程序?yàn)槔龑?duì)python的打包和上傳進(jìn)行下總結(jié)。
VASPy包文件結(jié)構(gòu)
首先寫貼上來(lái)VASPy包的整個(gè)文件結(jié)構(gòu), 后面的內(nèi)容都是以此為例進(jìn)行說(shuō)明：
VASPy/ ├── LICENSE ├── MANIFEST ├── MANIFEST.in ├── README.rst ├── requirements.txt ├── scripts │ ├── change_incar_parameters.py │ ├── create_inputs.py │ └── ... ├── setup.cfg ├── setup.py ├── tests │ ├── incar_test.py │ ├── __init__.py │ ├── oszicar_test.py │ ├── outcar_test.py │ ├── testdata │ │ ├── CONTCAR │ │ ├── DOS_SUM │ │ ├── ELFCAR │ │ └── ... │ └── ... └── vaspy ├── __init__.py ├── iter.py ├── matstudio.py └── ... 4 directories, 54 files
打包和安裝第三方包的工具
這里我們需要借助setuptools和pip等工具進(jìn)行自己包的打包和發(fā)布以及安裝，如果需要構(gòu)建成wheel還需要安裝wheel模塊。如果python版本>=2.7.9或者>=3.4，setuptools和pip是已經(jīng)安裝好的，可能需要進(jìn)行更新到最新版本
pip install -U pip setuptools
可以使用包管理工具，例如
yum install pip sudo apt-get install pip
通過(guò)get-pip.py腳本安裝，如果檢測(cè)到?jīng)]有安裝wheel和setuptools也會(huì)自動(dòng)安裝
python get-pip.py
具體的工具安裝和介紹就不多講了，可以請(qǐng)參考requirements for installing packages
包中不同文件的作用
setup.py
這個(gè)文件是打包整個(gè)項(xiàng)目最重要的文件，它里面提供了兩個(gè)主要的功能：
setup()函數(shù)，此函數(shù)的參數(shù)指定了如何配置自己的項(xiàng)目。
命令行工具，包括打包，測(cè)試，發(fā)布等。可以通過(guò)下面的命令查看；
python setup.py --help-commands
setup.cfg
此文件包含了構(gòu)建時(shí)候的一些默認(rèn)參數(shù)例如構(gòu)建bdist_wheel的時(shí)候的--universal參數(shù)
[bdist_wheel] universal=1
這樣每次打包的時(shí)候就會(huì)默認(rèn)使用--universal參數(shù)了，效果類似：
python setup.py bdist_wheel --universal
README.rst
這個(gè)最初我是用markdown寫的，打包發(fā)布到PyPI之后發(fā)現(xiàn)PyPI不支持markdown的渲染，頁(yè)面上真是一片混亂，于是就用reStrutruedText的語(yǔ)法重新寫了一遍。畢竟標(biāo)記語(yǔ)言語(yǔ)法基本上可以秒上手，實(shí)在不行找個(gè)模板比葫蘆畫瓢就行。
reStructureText的語(yǔ)法規(guī)則可參考官方文檔:Quick reStructuredText
其實(shí)還有一種方法就是使用pandoc將markdown轉(zhuǎn)換成rst格式，一種省事的方式就是使用pyandoc模塊在發(fā)布的時(shí)候自動(dòng)轉(zhuǎn)換。
具體方法可以參考：Use Markdown README's in Python modules
MANIFEST.in
此文件在打包的時(shí)候告訴setuptools還需要額外打包那些文件，例如我VASPy中的單元測(cè)試的測(cè)試數(shù)據(jù)文件我就使用這個(gè)文件將其包含進(jìn)來(lái)。當(dāng)然README，LICENSE這些也可以通過(guò)它來(lái)一起打包進(jìn)來(lái)。
下面是我自己的MANIFEST.in的內(nèi)容：
include README.rst include requirements.txt include LICENSE recursive-include scripts * recursive-include tests *
具體的語(yǔ)法規(guī)則可以參考：The MANIFEST.in template
vaspy/
此文件夾就是vaspy源代碼所在的包。
tests/
此文件夾也是一個(gè)子包，包含了單元測(cè)試腳本，為了能使用python setup.py test進(jìn)行單元測(cè)試，特地添加了__init__.pys使其成為一個(gè)包。
setup()的參數(shù)
這里只介紹我使用的幾個(gè)參數(shù)，其他參數(shù)的具體使用可以參考：https://docs.python.org/3/distutils/setupscript.html
name
versions = "vaspy"
是整個(gè)項(xiàng)目的名字，打包后會(huì)使用此名字和版本號(hào)。
version
from vaspy import __version__ version = __version__
description
是一個(gè)簡(jiǎn)短的對(duì)項(xiàng)目的描述，一般一句話就好，會(huì)顯示在pypi上名字下端。
long_description
是一個(gè)長(zhǎng)的描述，相當(dāng)于對(duì)項(xiàng)目的一個(gè)簡(jiǎn)潔，如果此字符串是rst格式的，PyPI會(huì)自動(dòng)渲染成HTML顯示。這里可以直接讀取README.rst中的內(nèi)容。
url
包的連接，通常為GitHub上的鏈接或者readthedocs的鏈接。
packages
需要包含的子包列表，setuptools提供了find_packages()幫助我們?cè)诟窂较聦ふ野?，這個(gè)函數(shù)distutil是沒(méi)有的。
setup_requires
這個(gè)參數(shù)定義了VASPy安裝和順利運(yùn)行所需要的其他依賴項(xiàng)（最基本的），使用pip安裝的時(shí)候會(huì)對(duì)這些依賴項(xiàng)進(jìn)行安裝。
關(guān)于這個(gè)參數(shù)與requirements.txt的區(qū)別可以參考：install_requires vs Requirements files
classifier
這個(gè)參數(shù)提供了一系列的分類，在PyPI上會(huì)將其放入不同的目錄中講項(xiàng)目進(jìn)行歸類。
具體的categories的名稱和規(guī)則參考：https://pypi.python.org/pypi?%3Aaction=list_classifiers
test_suite
這個(gè)參數(shù)可以幫助我們使用
python setup.py test
來(lái)跑單元測(cè)試，再也不需要單獨(dú)再寫一個(gè)腳本例如run_tests.py這樣來(lái)跑單元測(cè)試了。
此參數(shù)的官方解釋：
A string naming a unittest.TestCase subclass (or a package or module containing one or more of them, or a method of such a subclass), or naming a function that can be called with no arguments and returns a unittest.TestSuite. If the named suite is a module, and the module has an additional_tests() function, it is called and the results are added to the tests to be run. If the named suite is a package, any submodules and subpackages are recursively added to the overall test suite.
也就是說(shuō)這個(gè)參數(shù)可以接受多種類型的參數(shù)：
接收unittest.TestCase子類，我們可以講所有單元測(cè)試寫入一個(gè)測(cè)試用例中，然后import進(jìn)來(lái)，再傳你給test_suite
接收函數(shù)對(duì)象，此函數(shù)對(duì)象沒(méi)有任何參數(shù)，且返回一個(gè)unittest.TestSuite.這樣我們就可以單獨(dú)寫一個(gè)函數(shù)，將多個(gè)測(cè)試用例合并成一個(gè)suite然后返回，然后再將函數(shù)import進(jìn)來(lái)傳給test_suite。
模塊和包名稱，我就是使用這種方式，之前自己的測(cè)試都是分開(kāi)的多個(gè)腳本，這樣我添加一個(gè)__init__.py就可以將其變成一個(gè)包，將包名傳給test_suite，setuptools就會(huì)神奇的將此包下的所有測(cè)試全部跑一邊，這樣我以后再加測(cè)試腳本的時(shí)候直接就添加新的腳本就好了，其他的都不需要改動(dòng)了。
運(yùn)行效果：
zjshao@SHAO-PC:/mnt/d/Dropbox/Code/CentOS_code/VASPy$ python setup.py test running test running egg_info creating vaspy.egg-info writing vaspy.egg-info/PKG-INFO writing top-level names to vaspy.egg-info/top_level.txt writing dependency_links to vaspy.egg-info/dependency_links.txt writing manifest file 'vaspy.egg-info/SOURCES.txt' reading manifest file 'vaspy.egg-info/SOURCES.txt' reading manifest template 'MANIFEST.in' writing manifest file 'vaspy.egg-info/SOURCES.txt' running build_ext test_compare (tests.incar_test.InCarTest) Make sure we can compare two InCar objects correctly. ... ok test_eq (tests.incar_test.InCarTest) Test __eq__() function. ... ok ... 此處省略若干輸出 ---------------------------------------------------------------------- Ran 22 tests in 3.574s OK
發(fā)布自己的python包
1. 首先先去PyPI注冊(cè)帳號(hào)
2. 配置~/.pypirc如下：
[distutils] index-servers = pypi pypitest [pypi] username:ShaoZhengjiang password:mypassword [pypitest] username:ShaoZhengjiang password:mypassword
3. 然后注冊(cè)并上傳自己的包到測(cè)試服務(wù)器
pypi提供了一個(gè)測(cè)試服務(wù)器，我們可以在這個(gè)測(cè)試服務(wù)器上做測(cè)試。
python setup.py register -r pypitest
然后
python setup.py sdist upload -r pypitest
若沒(méi)有問(wèn)題我們應(yīng)該不會(huì)得到任何錯(cuò)誤。
4. 上傳至PyPI
若上面的測(cè)試成功，我們就可以按照相同的步驟將包注冊(cè)并上傳。
python setup.py register -r pypi python setup.py sdist upload -r pypi
Ok,之后我們就可以在PyPI(https://pypi.python.org/pypi/vaspy/)上看到我們自己的包了。
相關(guān)文章
在django中form的label和verbose name的區(qū)別說(shuō)明
這篇文章主要介紹了在django中form的label和verbose name的區(qū)別說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
python3 實(shí)現(xiàn)自定義切片類為左閉右閉詳情
這篇文章主要介紹了python3 實(shí)現(xiàn)自定義切片類為左閉右閉詳情，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2021-12-12
將python圖片轉(zhuǎn)為二進(jìn)制文本的實(shí)例
今天小編就為大家分享一篇將python圖片轉(zhuǎn)為二進(jìn)制文本的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
今天小編就為大家分享一篇Python之列表的插入&替換修改方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
python讀取并繪制nc數(shù)據(jù)的保姆級(jí)教程
其實(shí)目前很多數(shù)據(jù)以nc格式存儲(chǔ),這篇文章主要給大家介紹了關(guān)于python讀取并繪制nc數(shù)據(jù)的保姆級(jí)教程,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-05-05
本文主要介紹了np.unique()的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
jupyter notebook 的工作空間設(shè)置操作
這篇文章主要介紹了jupyter notebook 的工作空間設(shè)置操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
Python?中的lambda匿名函數(shù)和三元運(yùn)算符
這篇文章主要介紹了Python?中的lambda匿名函數(shù)和三元運(yùn)算符，使用關(guān)鍵字???lambda???定義，所以匿名函數(shù)又稱之為lambda表達(dá)式，下面文章更多相關(guān)內(nèi)容需要的小伙伴可以參考一下2022-04-04
python爬取網(wǎng)頁(yè)轉(zhuǎn)換為PDF文件
這篇文章主要為大家詳細(xì)介紹了python爬取網(wǎng)頁(yè)轉(zhuǎn)換為PDF文件，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
大家好，本篇文章主要講的是python多線程互斥鎖與死鎖問(wèn)題詳解，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01