總結(jié)幾個(gè)非常實(shí)用的Python庫(kù)
自帶庫(kù)
一、datetime
datetime是Python處理日期和時(shí)間的標(biāo)準(zhǔn)庫(kù)。
1、獲取當(dāng)前日期和時(shí)間
>>> from datetime import datetime >>> now = datetime.now() >>> print(now) 2021-06-14 09:33:10.460192 >>> print(type(now)) <class 'datetime.datetime'>
2、獲取指定日期和時(shí)間
>>> from datetime import datetime >>> dt = datetime(2021,6,10,12,0) >>> print(dt) 2021-06-10 12:00:00
3、datetime轉(zhuǎn)換為timestamp
在計(jì)算機(jī)中，時(shí)間實(shí)際上是用數(shù)字表示的。我們把1970年1月1日 00:00:00 UTC+00:00時(shí)區(qū)的時(shí)刻稱為epoch time，記為0（1970年以前的時(shí)間timestamp為負(fù)數(shù)），當(dāng)前時(shí)間就是相對(duì)于epoch time的秒數(shù)，稱為timestamp（時(shí)間戳）。
>>> from datetime import datetime >>> now = datetime.now() >>> now datetime.datetime(2021, 6, 14, 9, 38, 34, 969006) >>> now.timestamp() #把datetime轉(zhuǎn)換為timestamp 1623634714.969006
4、timestamp轉(zhuǎn)換為datetime
>>> from datetime import datetime >>> timestamp = 1623634714.969006 >>> print(datetime.fromtimestamp(timestamp)) 2021-06-14 09:38:34.969006
5、str轉(zhuǎn)換為datetime
>>> from datetime import datetime
>>> day = datetime.strptime('2021-6-10 12:12:12','%Y-%m-%d %H:%M:%S')
>>> print(day)
2021-06-10 12:12:12
6、datetime轉(zhuǎn)換為str
>>> from datetime import datetime
>>> now = datetime.now()
>>> print(now)
2021-06-14 09:49:02.281820
>>> print(type(now))
<class 'datetime.datetime'>
>>> str_day = now.strftime('%Y-%m-%d %H:%M:%S')
>>> print(str_day)
2021-06-14 09:49:02
>>> print(type(str_day))
<class 'str'>
二、collections
collections是Python內(nèi)建的一個(gè)集合模塊，提供了許多有用的集合類，其中統(tǒng)計(jì)功能非常實(shí)用。
Counter
Counter是一個(gè)簡(jiǎn)單的計(jì)數(shù)器，例如，統(tǒng)計(jì)字符出現(xiàn)的個(gè)數(shù)
>>> from collections import Counter
>>> c = Counter()
>>> str = 'jdkjefwnewnfjqbefbqbefqbferbb28934`83278784727'
>>> c.update(str)
>>> c
Counter({'b': 6, 'e': 5, 'f': 5, '8': 4, '7': 4, 'j': 3, 'q': 3, '2': 3, 'w': 2, 'n': 2, '3': 2, '4': 2, 'd': 1, 'k': 1, 'r': 1, '9': 1, '`': 1})
三、base64
Base64是一種用64個(gè)字符來(lái)表示任意二進(jìn)制數(shù)據(jù)的方法。
用記事本打開(kāi)exe、jpg、pdf這些文件時(shí)，我們都會(huì)看到一大堆亂碼，因?yàn)槎M(jìn)制文件包含很多無(wú)法顯示和打印的字符，所以，如果要讓記事本這樣的文本處理軟件能處理二進(jìn)制數(shù)據(jù)，就需要一個(gè)二進(jìn)制到字符串的轉(zhuǎn)換方法。Base64是一種最常見(jiàn)的二進(jìn)制編碼方法。
>>> import base64 >>> base64.b64encode(b'binary\x00string') b'YmluYXJ5AHN0cmluZw==' >>> base64.b64decode(b'YmluYXJ5AHN0cmluZw==') b'binary\x00string'
四、hashlib
Python的hashlib提供了常見(jiàn)的摘要算法，如MD5，SHA1等等。
什么是摘要算法呢？摘要算法又稱哈希算法、散列算法。它通過(guò)一個(gè)函數(shù)，把任意長(zhǎng)度的數(shù)據(jù)轉(zhuǎn)換為一個(gè)長(zhǎng)度固定的數(shù)據(jù)串（通常用16進(jìn)制的字符串表示）。
我們以常見(jiàn)的摘要算法MD5為例，計(jì)算出一個(gè)字符串的MD5值：
>>> import hashlib
>>> md5 = hashlib.md5()
>>> md5.update("程序員唐丁".encode('utf-8'))
>>> print(md5.hexdigest())
05eb21a61d2cf0cf84e474d859c4c055
摘要算法能應(yīng)用到什么地方？舉個(gè)常用例子：
任何允許用戶登錄的網(wǎng)站都會(huì)存儲(chǔ)用戶登錄的用戶名和口令。如何存儲(chǔ)用戶名和口令呢？方法是存到數(shù)據(jù)庫(kù)表中。如果以明文保存用戶口令，如果數(shù)據(jù)庫(kù)泄露，所有用戶的口令就落入黑客的手里。此外，網(wǎng)站運(yùn)維人員是可以訪問(wèn)數(shù)據(jù)庫(kù)的，也就是能獲取到所有用戶的口令。正確的保存口令的方式是不存儲(chǔ)用戶的明文口令，而是存儲(chǔ)用戶口令的摘要，比如MD5，當(dāng)用戶登錄時(shí)，首先計(jì)算用戶輸入的明文口令的MD5，然后和數(shù)據(jù)庫(kù)存儲(chǔ)的MD5對(duì)比，如果一致，說(shuō)明口令輸入正確，如果不一致，口令肯定錯(cuò)誤。
第三方庫(kù)
一、requests
requests是一個(gè)Python第三方庫(kù)，處理URL資源特別方便。在之前的”爬蟲(chóng)簡(jiǎn)介“文章中我們已經(jīng)初步認(rèn)識(shí)了它。
1、安裝requests
如果安裝了Anaconda，requests就已經(jīng)可用了。否則，需要在命令行下通過(guò)pip安裝：
$ pip install requests
如果遇到Permission denied安裝失敗，請(qǐng)加上sudo重試。
2、通過(guò)GET訪問(wèn)豆瓣首頁(yè)，只需要幾行代碼：
>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首頁(yè)
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供圖書(shū)、電影、音樂(lè)唱片的推薦、評(píng)論和...'
3、對(duì)于帶參數(shù)的URL，傳入一個(gè)dict作為params參數(shù)：
>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 實(shí)際請(qǐng)求的URL
'https://www.douban.com/search?q=python&cat=1001'
4、requests自動(dòng)檢測(cè)編碼，可以使用encoding屬性查看：
>>> r.encoding 'utf-8'
5、無(wú)論響應(yīng)是文本還是二進(jìn)制內(nèi)容，我們都可以用content屬性獲得bytes對(duì)象：
>>> r.content b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
6、requests的方便之處還在于，對(duì)于特定類型的響應(yīng)，例如JSON，可以直接獲?。?/p>
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
7、需要傳入HTTP Header時(shí)，我們傳入一個(gè)dict作為headers參數(shù)：
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手機(jī)版)</title>...'
8、要發(fā)送POST請(qǐng)求，只需要把get()方法變成post()，然后傳入data參數(shù)作為POST請(qǐng)求的數(shù)據(jù)：
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
9、requests默認(rèn)使用application/x-www-form-urlencoded對(duì)POST數(shù)據(jù)編碼。如果要傳遞JSON數(shù)據(jù)，可以直接傳入json參數(shù)：
params = {'key': 'value'}
r = requests.post(url, json=params) # 內(nèi)部自動(dòng)序列化為JSON
10、類似的，上傳文件需要更復(fù)雜的編碼格式，但是requests把它簡(jiǎn)化成files參數(shù)：
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
在讀取文件時(shí)，注意務(wù)必使用'rb'即二進(jìn)制模式讀取，這樣獲取的bytes長(zhǎng)度才是文件的長(zhǎng)度。
把post()方法替換為put()，delete()等，就可以以PUT或DELETE方式請(qǐng)求資源。
11、除了能輕松獲取響應(yīng)內(nèi)容外，requests對(duì)獲取HTTP響應(yīng)的其他信息也非常簡(jiǎn)單。例如，獲取響應(yīng)頭：
>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'
12、requests對(duì)Cookie做了特殊處理，使得我們不必解析Cookie就可以輕松獲取指定的Cookie：
>>> r.cookies['ts'] 'example_cookie_12345'
13、要在請(qǐng)求中傳入Cookie，只需準(zhǔn)備一個(gè)dict傳入cookies參數(shù)：
>>> cs = {'token': '12345', 'status': 'working'}
>>> r = requests.get(url, cookies=cs)
14、最后，要指定超時(shí)，傳入以秒為單位的timeout參數(shù)：
>>> r = requests.get(url, timeout=2.5) # 2.5秒后超時(shí)
二、chardet
字符串編碼一直是令人非常頭疼的問(wèn)題，尤其是我們?cè)谔幚硪恍┎灰?guī)范的第三方網(wǎng)頁(yè)的時(shí)候。雖然Python提供了Unicode表示的str和bytes兩種數(shù)據(jù)類型，并且可以通過(guò)encode()和decode()方法轉(zhuǎn)換，但是，在不知道編碼的情況下，對(duì)bytes做decode()不好做。
對(duì)于未知編碼的bytes，要把它轉(zhuǎn)換成str，需要先“猜測(cè)”編碼。猜測(cè)的方式是先收集各種編碼的特征字符，根據(jù)特征字符判斷，就能有很大概率“猜對(duì)”。
當(dāng)然，我們肯定不能從頭自己寫(xiě)這個(gè)檢測(cè)編碼的功能，這樣做費(fèi)時(shí)費(fèi)力。chardet這個(gè)第三方庫(kù)正好就派上了用場(chǎng)。用它來(lái)檢測(cè)編碼，簡(jiǎn)單易用。
1、安裝chardet
如果安裝了Anaconda，chardet就已經(jīng)可用了。否則，需要在命令行下通過(guò)pip安裝：
$ pip install chardet
如果遇到Permission denied安裝失敗，請(qǐng)加上sudo重試。
2、當(dāng)我們拿到一個(gè)bytes時(shí)，就可以對(duì)其檢測(cè)編碼。用chardet檢測(cè)編碼，只需要一行代碼：
>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
三、psutil
用Python來(lái)編寫(xiě)腳本簡(jiǎn)化日常的運(yùn)維工作是Python的一個(gè)重要用途。在Linux下，有許多系統(tǒng)命令可以讓我們時(shí)刻監(jiān)控系統(tǒng)運(yùn)行的狀態(tài)，如ps，top，free等等。要獲取這些系統(tǒng)信息，Python可以通過(guò)subprocess模塊調(diào)用并獲取結(jié)果。但這樣做顯得很麻煩，尤其是要寫(xiě)很多解析代碼。
在Python中獲取系統(tǒng)信息的另一個(gè)好辦法是使用psutil這個(gè)第三方模塊，它不僅可以通過(guò)一兩行代碼實(shí)現(xiàn)系統(tǒng)監(jiān)控，還可以跨平臺(tái)使用，支持Linux／UNIX／OSX／Windows等，是系統(tǒng)管理員和運(yùn)維小伙伴不可或缺的必備模塊。
1、安裝psutil
如果安裝了Anaconda，psutil就已經(jīng)可用了。否則，需要在命令行下通過(guò)pip安裝：
$ pip install psutil
如果遇到Permission denied安裝失敗，請(qǐng)加上sudo重試。
2、獲取CPU信息
我們先來(lái)獲取CPU的信息：
>>> import psutil >>> psutil.cpu_count() # CPU邏輯數(shù)量 4 >>> psutil.cpu_count(logical=False) # CPU物理核心 2 # 2說(shuō)明是雙核超線程, 4則是4核非超線程
3、統(tǒng)計(jì)CPU的用戶／系統(tǒng)／空閑時(shí)間：
>>> psutil.cpu_times() scputimes(user=10963.31, nice=0.0, system=5138.67, idle=356102.45)
4、獲取內(nèi)存信息
使用psutil獲取物理內(nèi)存和交換內(nèi)存信息，分別使用：
>>> psutil.virtual_memory() svmem(total=8589934592, available=2866520064, percent=66.6, used=7201386496, free=216178688, active=3342192640, inactive=2650341376, wired=1208852480) >>> psutil.swap_memory() sswap(total=1073741824, used=150732800, free=923009024, percent=14.0, sin=10705981440, sout=40353792)
返回的是字節(jié)為單位的整數(shù)，可以看到，總內(nèi)存大小是8589934592 = 8 GB，已用7201386496 = 6.7 GB，使用了66.6%。
而交換區(qū)大小是1073741824 = 1 GB。
5、獲取磁盤(pán)信息
可以通過(guò)psutil獲取磁盤(pán)分區(qū)、磁盤(pán)使用率和磁盤(pán)IO信息：
>>> psutil.disk_partitions() # 磁盤(pán)分區(qū)信息
[sdiskpart(device='/dev/disk1', mountpoint='/', fstype='hfs', opts='rw,local,rootfs,dovolfs,journaled,multilabel')]
>>> psutil.disk_usage('/') # 磁盤(pán)使用情況
sdiskusage(total=998982549504, used=390880133120, free=607840272384, percent=39.1)
>>> psutil.disk_io_counters() # 磁盤(pán)IO
sdiskio(read_count=988513, write_count=274457, read_bytes=14856830464, write_bytes=17509420032, read_time=2228966, write_time=1618405)
好了，就先介紹這么多吧，更多實(shí)用的Python庫(kù)后面唐丁再給大家一一介紹
到此這篇關(guān)于總結(jié)幾個(gè)非常實(shí)用的Python庫(kù)的文章就介紹到這了,更多相關(guān)Python庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python數(shù)據(jù)結(jié)構(gòu)之棧詳解
棧和隊(duì)列是在程序設(shè)計(jì)中常見(jiàn)的數(shù)據(jù)類型，從數(shù)據(jù)結(jié)構(gòu)的角度來(lái)講，棧和隊(duì)列也是線性表，是操作受限的線性表。本文將詳細(xì)介紹一下Python中的棧，感興趣的可以了解一下2022-03-03
Python Numpy實(shí)現(xiàn)計(jì)算矩陣的均值和標(biāo)準(zhǔn)差詳解
NumPy（Numerical Python）是Python的一種開(kāi)源的數(shù)值計(jì)算擴(kuò)展。這種工具可用來(lái)存儲(chǔ)和處理大型矩陣，比Python自身的嵌套列表結(jié)構(gòu)要高效的多。本文主要介紹用NumPy實(shí)現(xiàn)計(jì)算矩陣的均值和標(biāo)準(zhǔn)差，感興趣的小伙伴可以了解一下2021-11-11
python部署chineseocr_lite的實(shí)現(xiàn)示例
本文主要介紹了python部署chineseocr_lite的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章主要介紹了python如何對(duì)鏈表操作，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-10-10
Python:一行代碼,導(dǎo)入Python所有庫(kù)
在本篇內(nèi)容里小編給大家分享如何用一行代碼,導(dǎo)入Python所有庫(kù)，有需要的朋友們可以學(xué)習(xí)下，希望能夠給你帶來(lái)幫助2021-10-10
這篇文章主要介紹了多場(chǎng)景下的Pandas使用技巧,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
今天小編就為大家分享一篇在Python中COM口的調(diào)用方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Django ORM判斷查詢結(jié)果是否為空,判斷django中的orm為空實(shí)例
這篇文章主要介紹了Django ORM判斷查詢結(jié)果是否為空,判斷django中的orm為空實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
Python利用雪花算法實(shí)現(xiàn)生成唯一ID
雪花算法是在一個(gè)項(xiàng)目體系中生成全局唯一ID標(biāo)識(shí)的一種方式，偶然間看到了Python使用雪花算法不盡感嘆真的是太便捷了。本文就來(lái)聊聊這具體的實(shí)現(xiàn)方法，感興趣的可以了解一下2022-11-11
這篇文章主要為大家詳細(xì)介紹了Python抓取框架，針對(duì)Scrapy的架構(gòu)進(jìn)行分析，感興趣的小伙伴們可以參考一下2016-08-08