Python Requests爬蟲(chóng)之求取關(guān)鍵詞頁(yè)面詳解
需求:爬取搜狗首頁(yè)的頁(yè)面數(shù)據(jù)
import requestsif __name__=='__main__': #step 1:搜索Url url='https://123.sogou.com/' #step 2:發(fā)起請(qǐng)求 #get方法會(huì)返回一個(gè)響應(yīng)對(duì)象 response=requests.get(url=url) #step 3:獲取響應(yīng)數(shù)據(jù),text返回的是字符串形式的響應(yīng)數(shù)據(jù) page_text=response.text print(page_text) #step 4:持久化存儲(chǔ) with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) print("爬取數(shù)據(jù)結(jié)束")import requests if __name__=='__main__': #step 1:搜索Url url='https://123.sogou.com/' #step 2:發(fā)起請(qǐng)求 #get方法會(huì)返回一個(gè)響應(yīng)對(duì)象 response=requests.get(url=url) #step 3:獲取響應(yīng)數(shù)據(jù),text返回的是字符串形式的響應(yīng)數(shù)據(jù) page_text=response.text print(page_text) #step 4:持久化存儲(chǔ) with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) print("爬取數(shù)據(jù)結(jié)束")
使用UA偽裝 求取關(guān)鍵詞頁(yè)面
import requests if __name__=='__main__': #UA偽裝:將對(duì)應(yīng)的User-Agent封裝到一個(gè)字典中 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.9 Safari/537.36' } url='https://www.sogou.com/sie?' #處理url攜帶的參數(shù):封裝到字典中 kw=input('enter a word:') param={ 'query':kw } #對(duì)指定的url發(fā)起的請(qǐng)求對(duì)應(yīng)的url是攜帶參數(shù)的,并且請(qǐng)求過(guò)程中處理了參數(shù) response=requests.get(url=url,params=param,headers=headers)#headers是偽裝 params輸入關(guān)鍵詞 page_text=response.text#以文本的形式輸出 fileName=kw+'.html'#存儲(chǔ)為網(wǎng)頁(yè)形式 with open(fileName,'w+',encoding='utf-8') as fp: fp.write(page_text)#寫(xiě)入fp print(fileName,"保存成功??!")
總結(jié)
本篇文章就到這里了,希望能夠給你帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
python字符串駐留機(jī)制的使用范圍知識(shí)點(diǎn)詳解
在本篇文章里小編給大家整理的是一篇關(guān)于python字符串駐留機(jī)制的使用范圍相關(guān)知識(shí)點(diǎn)內(nèi)容,有興趣的朋友們可以學(xué)習(xí)下。2021-09-09python銀行卡號(hào)碼校驗(yàn)Luhn模10算法
這篇文章主要為大家介紹了python銀行卡號(hào)碼校驗(yàn)Luhn模10算法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05python web.py開(kāi)發(fā)httpserver解決跨域問(wèn)題實(shí)例解析
這篇文章主要介紹了python web.py開(kāi)發(fā)httpserver解決跨域問(wèn)題實(shí)例解析,分享了相關(guān)代碼示例,小編覺(jué)得還是挺不錯(cuò)的,具有一定借鑒價(jià)值,需要的朋友可以參考下2018-02-02mac 安裝python網(wǎng)絡(luò)請(qǐng)求包requests方法
今天小編就為大家分享一篇mac 安裝python網(wǎng)絡(luò)請(qǐng)求包requests方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06python3使用diagrams繪制架構(gòu)圖的步驟
這篇文章主要介紹了python3使用diagrams生成架構(gòu)圖的步驟,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下2021-04-04舉例講解Python面相對(duì)象編程中對(duì)象的屬性與類(lèi)的方法
這篇文章主要介紹了Python面相對(duì)象編程中對(duì)象的屬性與類(lèi)的方法,類(lèi)和對(duì)象以及方法這些都是面相對(duì)象的編程語(yǔ)言所具有的基礎(chǔ)內(nèi)容,需要的朋友可以參考下2016-01-01Pygame游戲開(kāi)發(fā)之太空射擊實(shí)戰(zhàn)盾牌篇
相信大多數(shù)8090后都玩過(guò)太空射擊游戲,在過(guò)去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了,今天我們來(lái)自己動(dòng)手實(shí)現(xiàn)它,在編寫(xiě)學(xué)習(xí)中回顧過(guò)往展望未來(lái),在本課中,我們將為玩家添加一個(gè)盾牌以及一個(gè)用于顯示盾牌等級(jí)的欄2022-08-08