Python寫的一個定時重跑獲取數據庫數據
更新時間：2016年12月28日 10:03:21 投稿：mrr
本文給大家分享基于python寫的一個定時重跑獲取數據庫數據的方法，非常不錯，具有參考借鑒價值，需要的朋友參考下
做大數據的童鞋經常會寫定時任務跑數據，由于任務之間的依賴（一般都是下游依賴上游的數據產出），所以經常會導致數據獲取失敗，因為很多人發(fā)現數據失敗后
都會去查看日志，然后手動去執(zhí)行自己的任務。下面我實現了一個自動重復執(zhí)行去數據庫取數，如果失敗后自動重新去獲取，直到把數據獲取到。
建數據表：
CREATE TABLE `testtable` ( 2 `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 3 `name` varchar(20) NOT NULL, 4 PRIMARY KEY (`id`) 5 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
開始的時候數據表是空的，等到腳本重試第3秒的時候像數據庫插入數據。
以下是python代碼的實現
#!/usr/bin/env python #-*- coning:utf-8 -*- 3 4 import MySQLdb 5 from time import sleep 6 7 class GetData(object): 8 def __init__(self): 9 self.conn = '' 10 self.host = '127.0.0.1' 11 self.port = 3306 12 self.user = 'root' 13 self.passwd = '123456' 14 self.db = 'test' 15 self.cnum = 5 #set retry number 16 17 def init_connect(self): 18 self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port, 19 charset='utf8') 20 21 def get_data(self): 22 self.init_connect 23 cur = self.conn.cursor 24 sql = "select * from testtable" 25 cur.execute(sql) 26 rs = cur.fetchall 27 cur.close 28 self.conn.close 29 return rs 30 31 def run(self): 32 count = 1 33 while (count <= self.cnum): 34 rs = self.get_data 35 if len(rs) > 0: 36 print len(rs) 37 break 38 39 print count 40 sleep(10) 41 count += 1 42 43 if __name__ == '__main__': 44 gd = GetData 45 gd.run
自己可以手動執(zhí)行，在代碼執(zhí)行到第3秒的時候，執(zhí)行下面的sql
insert into testtable(`name`) values ('123'),('456'),('789'),('1111'),('3222'),('444');
下面是定時的任務的腳本
00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1
以上所述是小編給大家介紹的Python寫的一個定時重跑獲取數據庫數據，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！
相關文章
處理大文本文件是程序員經常遇到的挑戰(zhàn),特別是當我們需要把一個幾百MB甚至幾個GB的TXT文件分割成小塊時,下面我們來聊聊如何用Python自動完成這個任務吧2025-04-04
這篇文章主要介紹了python中的列表和元組區(qū)別分析,需要的朋友可以參考下2020-12-12
這篇文章主要介紹了PyCharm搭建一勞永逸的開發(fā)環(huán)境,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-04-04
這篇文章主要介紹了python檢查指定文件是否存在的方法,涉及Python基于os模塊判定文件的相關技巧,非常簡單實用,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Python3實現取圖片中特定的像素替換指定的顏色,涉及Python3針對圖片文件的讀取、轉換、生成等相關操作技巧,需要的朋友可以參考下2019-01-01
本篇文章給大家詳細分享了Python操作mongodb的詳細步驟以及實例代碼，有需要的朋友參考學習下吧。2018-06-06
Blueprint實現路由分組及Flask中session的使用詳解
這篇文章主要為大家介紹了Blueprint實現路由分組及Flask中session的使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-11-11
這篇文章主要介紹了Python實現去除代碼前行號的方法,實例分析了Python操作字符的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
這篇文章主要介紹了如何在scrapy中捕獲并處理各種異常，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
好久都沒玩過憤怒的小鳥了,今天咱自己做一個玩玩,文中有非常詳細的代碼示例,對想玩的小伙伴們很有用哦,需要的朋友可以參考下2021-06-06