python異步存儲數據詳解
在Python中，數據存儲方式分為同步存儲和異步存儲。同步寫入速度比較慢，而爬蟲速度比較快，有可能導致數據保存不完整，一部分數據沒有入庫。而異步可以將爬蟲和寫入數據庫操作分開執(zhí)行，互不影響，所以寫入速度比較快，能夠保證數據的完整性。
異步存儲數據庫大致看分為以下步驟：
1. 在settings中配置Mysql鏈接需要的參數(主機地址、用戶賬號、密碼、需要操作的表名、編碼格式等)
2. 自定義Pipeline，實現from_settings函數
3. from twisted.enterprise import adbapi 引入連接池模塊
4. from pymysql import cursors 引入游標模塊
5. 在from_settings中，準備鏈接數據庫參數，創(chuàng)建db_pool連接池，創(chuàng)建返回當前類的對象，傳入db_pool
6. 實現初始化函數,在初始化函數中,將db_pool賦值self的屬性
7. 實現process_item函數
7.1 query = self.db_pool.runInteraction(執(zhí)行插入數據操作的函數對象，函數需要參數)，并接受執(zhí)行返回結果
7.2 query.addErrback(錯誤回調函數，函數需要參數)，添加執(zhí)行sql失敗回調的函數，在回調函數中對錯誤數據進一步處理
8. 實現插入數據操作的函數，準備sql，執(zhí)行sql
9. 實現錯誤回調函數，在回調函數中對錯誤數據進一步處理
下面，我們以天堂圖片網為例，大致熟悉一下異步存儲：
1. 在存儲之前，可以選擇手動創(chuàng)建數據庫（表名、字段名、字段類型等自己定義），也可以選擇代碼創(chuàng)建。
2. 存儲數據之前還得先拿到數據
import scrapy
from ..items import ImgItem
class IvskySpider(scrapy.Spider):
name = 'ivsky'
allowed_domains = ['ivsky.com']
start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/']
def parse(self, response):
imgs = response.xpath('//div[@class="il_img"]/a/img')
for img in imgs:
alt = img.xpath('@alt').extract_first('')
src = img.xpath('@src').extract_first('')
item = ImgItem()
item['alt'] = alt
item['src'] = src
yield item
3. 自定義item，并把數據傳進去
import scrapy class IvskySpiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass class ImgItem(scrapy.Item): alt = scrapy.Field() src = scrapy.Field()
4. 接下來就是settings中的配置，代碼如下（robots協議記得改為False）：
MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8'
5. 再然后自定義pipeline，并把該pipeline在settings中配置（設置優(yōu)先級）：
from twisted.enterprise import adbapi
from pymysql import cursors
class TwistedMysqlPipeline(object):
# 在調用TwistedMysqlPipeline時，第一個調用該函數
@classmethod
def from_settings(cls, settings):
#準備需要用到的鏈接mysql的參數
db_prams = dict(
host=settings['MYSQL_HOST'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PW'],
db=settings['MYSQL_DB'],
port=3306,
use_unicode=True,
charset=settings['MYSQL_CHARSET'],
# 指定使用的游標類型
cursorclass=cursors.DictCursor
)
# 創(chuàng)建連接池對象，需要傳入兩個參數
# 1.使用操作mysql第三方包名
# 2.連接數據庫需要的參數
db_pool = adbapi.ConnectionPool('pymysql', **db_prams)
return cls(db_pool)
def __init__(self, db_pool):
# 將連接池對象賦值self.db_pool屬性
self.db_pool = db_pool
def process_item(self, item, spider):
# 準備sql
# 執(zhí)行sql
# 執(zhí)行一個將item數據寫入數據庫的動作
# 1.執(zhí)行操作的函數
# 2.執(zhí)行函數需要的參數....
query = self.db_pool.runInteraction(self.insert_item, item)
# 執(zhí)行sql出現異常錯誤時，回調的函數
query.addErrback(self.handle_error, item, spider)
return item
# 插入數據出現錯誤時，回調的函數
def handle_error(self, failure, item, spider):
print(failure)
print(item)
# 執(zhí)行插入數據的函數
def insert_item(self, cursor, item):
# 創(chuàng)建sql
sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)"
# 執(zhí)行sql
cursor.execute(sql,(item['alt'], item['src']))
6. pipeline在settings中的配置
ITEM_PIPELINES = {
# 'ivsky_spider.pipelines.MysqlPipeline': 300,
'ivsky_spider.pipelines.TwistedMysqlPipeline': 300,
}
代碼到這里就結束了。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
在本篇文章里小編給大家整理的是關于Python函數中的可變長參數的相關知識點內容，有需要的朋友們參考下。2019-09-09
這篇文章主要介紹了Python數據可視化制作全球地震散點圖，文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-08-08
在本文里我們給大家分享了關于python中嵌套函數的步驟圖文分解，有需要的朋友們跟著學習下。2019-02-02
這篇文章主要介紹了python—sys模塊之獲取參數的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
Python中條件語句、循環(huán)語句和pass語句的使用示例
Python條件語句是通過一條或多條語句的執(zhí)行結果（True或者False）來決定執(zhí)行的代碼塊,下面這篇文章主要給大家介紹了關于Python中條件語句、循環(huán)語句和pass語句使用的相關資料,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了Python接口自動化之request請求封裝源碼分析，文章圍繞主題的相關資料展開詳細的內容介紹，具有一定的參考價值，感興趣的小伙伴可以參考一下2022-06-06
詳解Pandas如何高效對比處理DataFrame的兩列數據
我們在用?pandas?處理數據的時候，經常會遇到用其中一列數據替換另一列數據的場景。這一類的需求估計很多人都遇到，當然還有其它更復雜的。解決這類需求的辦法有很多，這里我們來推薦幾個2022-09-09
這篇文章主要介紹了Python使用Pickle庫實現讀寫序列操作,結合實例形式分析了pickle模塊的功能、常用函數以及序列化與反序列化相關操作技巧,需要的朋友可以參考下2018-06-06
本文主要講解了canny邊緣檢測原理：計算梯度幅值和方向、根據角度對幅值進行非極大值抑制、用雙閾值算法檢測和連接邊緣以及python 實現2020-09-09
這篇文章主要介紹了在Python中如何讓字典保持有序，文章基于python的相關資料展開詳細內容，需要的小伙伴可以參考一下2022-04-04