欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用requests庫制作Python爬蟲

 更新時間：2018年03月25日 09:39:03   作者：豆芽菜橙  
Requests是用python語言基于urllib編寫的，采用的是Apache2 Licensed開源協(xié)議的HTTP庫,Requests它會比urllib更加方便，可以節(jié)約我們大量的工作。一句話，requests是python實現(xiàn)的最簡單易用的HTTP庫，建議爬蟲使用requests庫。

使用python爬蟲其實就是方便，它會有各種工具類供你來使用，很方便。Java不可以嗎？也可以，使用httpclient工具、還有一個大神寫的webmagic框架，這些都可以實現(xiàn)爬蟲，只不過python集成工具庫，使用幾行爬取，而Java需要寫更多的行來實現(xiàn)，但目的都是一樣。

下面介紹requests庫簡單使用：

#!/usr/local/env python
# coding:utf-8

import requests

#下面開始介紹requests的使用，環(huán)境語言是python3，使用下面的網(wǎng)址作為參考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府債券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#設(shè)置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#設(shè)置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要請求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#設(shè)置請求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本響應(yīng)內(nèi)容
print(response.text)
#json格式響應(yīng)內(nèi)容
print(response.json())
#二進制響應(yīng)內(nèi)容
print(response.content)
#原始格式
print(response.raw)

相關(guān)文章

最新評論