Python爬蟲基礎之requestes模塊
更新時間：2021年04月26日 09:59:57 作者：世界的隱喻
這篇文章主要介紹了Python爬蟲基礎之requestes模塊,文中有非常詳細的代碼示例,對正在學習python爬蟲的小伙伴們有非常好的幫助,需要的朋友可以參考下
一、爬蟲的流程
開始學習爬蟲，我們必須了解爬蟲的流程框架。在我看來爬蟲的流程大概就是三步，即不論我們爬取的是什么數(shù)據(jù)，總是可以把爬蟲的流程歸納總結為這三步：
1.指定 url,可以簡單的理解為指定要爬取的網址
2.發(fā)送請求。requests 模塊的請求一般為 get 和 post
3.將爬取的數(shù)據(jù)存儲
二、requests模塊的導入
因為 requests 模塊屬于外部庫，所以需要我們自己導入庫
導入的步驟：
1.右鍵Windows圖標
2.點擊“運行”
3.輸入“cmd”打開命令面板
4.輸入“pip install requests”,等待下載完成
如圖：
如果還是下載失敗，我的建議是百度一下，你就知道（我也是邊學邊寫，是在是水平有限）
歐克，既然導入成功后我們就簡單的來爬取一下搜狗的首頁吧！
三、完整代碼
import requests
if __name__ == "__main__":
# 指定url
url = "https://www.sougou.com/"
# 發(fā)起請求
# get方法會返回一個響應數(shù)據(jù)
response = requests.get(url)
# 獲取響應數(shù)據(jù)
page_txt = response.text # text返回一個字符串的響應數(shù)據(jù)
# print(page_txt)
# 存儲
with open("./sougou.html", "w", encoding = "utf-8") as fp:
fp.write(page_txt)
print("爬取數(shù)據(jù)結束?。?！")
我們打開保存的文件，如圖
歐克，這就是最基本的爬取，如果學會了，那就試一試爬取 B站 的首頁吧。
到此這篇關于Python爬蟲基礎之requestes模塊的文章就介紹到這了,更多相關Python requestes模塊內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了python自動結束mysql慢查詢會話,主要涉及到了mysql慢查詢會話查詢，定時任務的相關知識，本文通過實例代碼給大家介紹的非常詳細，需要的朋友可以參考下2019-10-10
tensorflow中的數(shù)據(jù)類型dtype用法說明
這篇文章主要介紹了tensorflow中的數(shù)據(jù)類型dtype用法說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要介紹了簡單了解Pandas缺失值處理方法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了python遍歷目錄的方法,總結分析了Python常用的兩種目錄遍歷技巧,需要的朋友可以參考下2016-04-04
使用Python?matplotlib繪制簡單的柱形圖、折線圖和直線圖
Matplotlib是Python的繪圖庫, 它可與NumPy一起使用,提供了一種有效的MatLab開源替代方案,下面這篇文章主要給大家介紹了關于使用Python?matplotlib繪制簡單的柱形圖、折線圖和直線圖的相關資料,需要的朋友可以參考下2022-08-08
Python實現(xiàn)定時執(zhí)行任務的三種方式簡單示例
這篇文章主要介紹了Python實現(xiàn)定時執(zhí)行任務的三種方式,結合簡單實例形式分析了Python使用time,os,sched等模塊定時執(zhí)行任務的相關操作技巧,需要的朋友可以參考下2019-03-03
這篇文章主要介紹了簡單了解python字符串前面加r,u的含義,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
Matplotlib是Python的一個很好的繪圖包，但是其本身并不支持中文（貌似其默認配置中沒有中文字體），所以如果繪圖中出現(xiàn)了中文，就會出現(xiàn)亂碼2017-05-05
這篇文章主要介紹了python實戰(zhàn)技巧之去除列表中的空值元素,搜集針對python高效處理數(shù)據(jù)的核心代碼，今天是實現(xiàn)去除列表中的空值元素，需要的朋友可以參考下2023-02-02
這篇文章主要為大家介紹了Python實現(xiàn)原神抽卡的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12