Python使用requests模塊爬取百度翻譯

更新時間：2020年08月25日 10:51:23 作者：Keep__Studying

這篇文章主要介紹了Python使用requests模塊爬取百度翻譯,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

requests模塊：

python中原生的一款基于網(wǎng)絡(luò)請求的模塊，功能非常強大，簡單便捷，效率極高。

作用：模擬瀏覽器發(fā)請求。

提示：老版使用 urllib模塊，但requests比urllib模塊要簡單好用，現(xiàn)在學習requests模塊即可！

requests模塊編碼流程

指定url

1.1 UA偽裝

1.2 請求參數(shù)的處理

2.發(fā)起請求

3.獲取響應(yīng)數(shù)據(jù)

4.持久化存儲

環(huán)境安裝：

pip install requests

案例一：破解百度翻譯（post請求）

1.代碼如下：

#爬取百度翻譯
#導入模塊
import requests
import json

#UA偽裝：將對應(yīng)的User-Agent封裝到一個字典中
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/57.0.2987.98 Safari/537.36'}

  #網(wǎng)頁訪問連接
 url='https://fanyi.baidu.com/sug'
 #處理url攜帶的參數(shù)：封裝到字典中
word=input("input a word: ")
data={
  'kw': word
}

#請求發(fā)送
res=requests.post(url=url,data=data,headers=headers)
#獲取響應(yīng)數(shù)據(jù):json()方法返回的是obj（如果確認響應(yīng)數(shù)據(jù)是json類型的，才可以使用json（））
dic_obj=res.json()

#持久化存儲
filename=word+'.json'
fp=open(filename,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)

#打印完成提示
print('finish')

其中：

https://fanyi.baidu.com/sug 這個url的定位如下圖：

2.運行結(jié)果

案例二：爬取搜狗頁面數(shù)據(jù)（get請求）

1.代碼如下

import requests
if __name__ == "__main__":
  #step_1:指定url
  url = 'https://www.sogou.com/'
  #step_2:發(fā)起請求
  #get方法會返回一個響應(yīng)對象
  response = requests.get(url=url)
  #step_3:獲取響應(yīng)數(shù)據(jù).text返回的是字符串形式的響應(yīng)數(shù)據(jù)
  page_text = response.text
  print(page_text)
  #step_4:持久化存儲
  with open('./sogou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
  print('爬取數(shù)據(jù)結(jié)束?。?！')

2.運行結(jié)果如下：