python使用多線程備份數(shù)據(jù)庫的步驟
一、為什么要用線程池
1.多線程比單線程運行要快很多,比如在我工作中,每臺服務(wù)器至少8個庫以上,用單線程備份太慢了。
2.不是越多線程就會越好,而是根據(jù)服務(wù)器的資源來合理定義worker線程,否則會造成服務(wù)器嚴(yán)重負(fù)載,影響到線上業(yè)務(wù)。
3.備份數(shù)據(jù)庫都是消耗IO操作,用多線程比多進程稍微會更有優(yōu)勢。
從Python3.2開始,標(biāo)準(zhǔn)庫為我們提供了 concurrent.futures 模塊,它提供了 ThreadPoolExecutor (線程池)和ProcessPoolExecutor (進程池)兩個類。
相比 threading 等模塊,該模塊通過 submit 返回的是一個 future 對象,它是一個未來可期的對象,通過它可以獲悉線程的狀態(tài)主線程(或進程)中可以獲取某一個線程(進程)執(zhí)行的狀態(tài)或者某一個任務(wù)執(zhí)行的狀態(tài)及返回值:
主線程可以獲取某一個線程(或者任務(wù)的)的狀態(tài),以及返回值。
當(dāng)一個線程完成的時候,主線程能夠立即知道。
讓多線程和多進程的編碼接口一致。
二、線程池練習(xí)
演示例子1:使用submit方法
from concurrent.futures import ThreadPoolExecutor import time def test_thread(sec): time.sleep(sec) print(f"sleep {sec} done") return sec with ThreadPoolExecutor(max_workers=4) as t: # 創(chuàng)建一個最大容納數(shù)量為4的線程池 task1 = t.submit(test_thread, 1) task2 = t.submit(test_thread, 2) # 通過submit提交執(zhí)行的函數(shù)到線程池中 task3 = t.submit(test_thread, 3) print(f"task1: {task1.done()}") # 通過done來判斷線程是否完成 print(f"task2: {task2.done()}") print(f"task3: {task3.done()}") time.sleep(2.5) print(f"task1: {task1.done()}") print(f"task2: {task2.done()}") print(f"task3: {task3.done()}") print(task1.result()) # 通過result來獲取返回值
結(jié)果輸出:
task1: False task2: False task3: False sleep 1 done sleep 2 done task1: True task2: True task3: False 1 sleep 3 done
使用 with 語句 ,通過 ThreadPoolExecutor 構(gòu)造實例,同時傳入 max_workers 參數(shù)來設(shè)置線程池中最多能同時運行的線程數(shù)目。
使用 submit 函數(shù)來提交線程需要執(zhí)行的任務(wù)到線程池中,并返回該任務(wù)的句柄(類似于文件、畫圖),注意 submit() 不是阻塞的,而是立即返回。
通過使用 done() 方法判斷該任務(wù)是否結(jié)束。上面的例子可以看出,提交任務(wù)后立即判斷任務(wù)狀態(tài),顯示3個任務(wù)都未完成。在延時2.5后,task1 和 task2 執(zhí)行完畢,task3 仍在執(zhí)行中。
演示例子2:使用map方法
import time from concurrent.futures import ThreadPoolExecutor def spider(page): time.sleep(page) return page start = time.time() executor = ThreadPoolExecutor(max_workers=4) i = 1 for result in executor.map(spider, [2, 3, 1, 4]): print("task{}:{}".format(i, result)) i += 1
結(jié)果輸出:
task1:2 task2:3 task3:1 task4:4
from concurrent.futures import ThreadPoolExecutor有兩種方式,一種是submit()函數(shù),另一種是map()函數(shù),兩者的主要區(qū)別在于:
1.map可以保證輸出的順序, submit輸出的順序是亂的
2.如果你要提交的任務(wù)的函數(shù)是一樣的,就可以簡化成map。但是假如提交的任務(wù)函數(shù)是不一樣的,或者執(zhí)行的過程之可能出現(xiàn)異常(使用map執(zhí)行過程中發(fā)現(xiàn)問題會直接拋出錯誤)就要用到submit()
3.submit和map的參數(shù)是不同的,submit每次都需要提交一個目標(biāo)函數(shù)和對應(yīng)的參數(shù),map只需要提交一次目標(biāo)函數(shù),目標(biāo)函數(shù)的參數(shù)放在一個迭代器(列表,字典)里就可以。
三、線上數(shù)據(jù)庫測試
環(huán)境:centos6,數(shù)據(jù)庫版本5.7,數(shù)據(jù)備份2個1.7G、一個800M、一個200M
第一種:shell腳本for的方式備份4個數(shù)據(jù)庫
#!/bin/bash backup_path="/data/backup/" myuser="root" mypwd="123456" db_name="test_1000" current_time=$(date +%Y%m%d%H%M%S) for i in $(seq 4);do /usr/local/mysql/bin/mysqldump -u${myuser} -p${mypwd} --single-transaction --master-data=2 --set-gtid-purged=off "${db_name}${i}" | gzip > ${backup_path}/"${db_name}${i}"_${current_t ime}.sql.gz done
查看執(zhí)行時間
mysqldump: [Warning] Using a password on the command line interface can be insecure. mysqldump: [Warning] Using a password on the command line interface can be insecure. mysqldump: [Warning] Using a password on the command line interface can be insecure. mysqldump: [Warning] Using a password on the command line interface can be insecure. real 4m28.421s user 3m50.360s sys 0m5.962s
第二種方式:多線程備份
可以明顯看到優(yōu)勢
總結(jié):
在服務(wù)器上有需要備份多個數(shù)據(jù)庫時,使用python多線程的方式比傳統(tǒng)的shell腳本循環(huán)備份會更有優(yōu)勢,可以充分利用服務(wù)器上的資源,有效提升效率。
以上就是python使用多線程備份數(shù)據(jù)庫的步驟的詳細(xì)內(nèi)容,更多關(guān)于python 多線程備份數(shù)據(jù)庫的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
python分批定量讀取文件內(nèi)容,輸出到不同文件中的方法
今天小編就為大家分享一篇python分批定量讀取文件內(nèi)容,輸出到不同文件中的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12python dataframe實現(xiàn)統(tǒng)計行列中零值的個數(shù)
這篇文章主要介紹了python dataframe實現(xiàn)統(tǒng)計行列中零值的個數(shù),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-02-02python實戰(zhàn)練習(xí)之最新男女顏值打分小系統(tǒng)
前幾天不是出過一期Python美顏相機嘛?不知道大家現(xiàn)在還記不記得?這一期的話題還是緊接著那一期顏值方面來走,對大家的學(xué)習(xí)或工作具有一定的價值,需要的朋友可以參考下2021-09-09Python RobotFramework的安裝過程及應(yīng)用實戰(zhàn)教程
這篇文章主要介紹了RobotFramework的安裝過程及應(yīng)用實戰(zhàn)教程,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-08-08python實現(xiàn)指定字符串補全空格、前面填充0的方法
這篇文章主要介紹了python實現(xiàn)指定字符串補全空格、前面填充0的方法 ,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下2018-11-11python獲取外網(wǎng)IP并發(fā)郵件的實現(xiàn)方法
下面小編就為大家?guī)硪黄猵ython獲取外網(wǎng)IP并發(fā)郵件的實現(xiàn)方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-10-10