欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python Requests爬蟲(chóng)之求取關(guān)鍵詞頁(yè)面詳解

 更新時(shí)間:2022年02月16日 10:10:18   作者:那人獨(dú)釣寒江雪.  
這篇文章主要為大家詳細(xì)介紹了Python Requests爬蟲(chóng)之求取關(guān)鍵詞頁(yè)面,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助

需求:爬取搜狗首頁(yè)的頁(yè)面數(shù)據(jù)

import requestsif __name__=='__main__':    #step 1:搜索Url    url='https://123.sogou.com/'    #step 2:發(fā)起請(qǐng)求    #get方法會(huì)返回一個(gè)響應(yīng)對(duì)象    response=requests.get(url=url)    #step 3:獲取響應(yīng)數(shù)據(jù),text返回的是字符串形式的響應(yīng)數(shù)據(jù)    page_text=response.text    print(page_text)    #step 4:持久化存儲(chǔ)    with open('./sogou.html','w',encoding='utf-8') as fp:        fp.write(page_text)    print("爬取數(shù)據(jù)結(jié)束")import requests
if __name__=='__main__':
    #step 1:搜索Url
    url='https://123.sogou.com/'
    #step 2:發(fā)起請(qǐng)求
    #get方法會(huì)返回一個(gè)響應(yīng)對(duì)象
    response=requests.get(url=url)
    #step 3:獲取響應(yīng)數(shù)據(jù),text返回的是字符串形式的響應(yīng)數(shù)據(jù)
    page_text=response.text
    print(page_text)
    #step 4:持久化存儲(chǔ)
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print("爬取數(shù)據(jù)結(jié)束")

請(qǐng)?zhí)砑訄D片描述

使用UA偽裝 求取關(guān)鍵詞頁(yè)面

import requests
if __name__=='__main__':
    #UA偽裝:將對(duì)應(yīng)的User-Agent封裝到一個(gè)字典中
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.9 Safari/537.36'
    }
    url='https://www.sogou.com/sie?'
    #處理url攜帶的參數(shù):封裝到字典中
    kw=input('enter a word:')
    param={
        'query':kw
    }
    #對(duì)指定的url發(fā)起的請(qǐng)求對(duì)應(yīng)的url是攜帶參數(shù)的,并且請(qǐng)求過(guò)程中處理了參數(shù)
    response=requests.get(url=url,params=param,headers=headers)#headers是偽裝 params輸入關(guān)鍵詞

    page_text=response.text#以文本的形式輸出
    fileName=kw+'.html'#存儲(chǔ)為網(wǎng)頁(yè)形式
    with open(fileName,'w+',encoding='utf-8') as fp:
        fp.write(page_text)#寫(xiě)入fp
    print(fileName,"保存成功??!")

請(qǐng)?zhí)砑訄D片描述

總結(jié)

本篇文章就到這里了,希望能夠給你帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!         

相關(guān)文章

  • python字符串駐留機(jī)制的使用范圍知識(shí)點(diǎn)詳解

    python字符串駐留機(jī)制的使用范圍知識(shí)點(diǎn)詳解

    在本篇文章里小編給大家整理的是一篇關(guān)于python字符串駐留機(jī)制的使用范圍相關(guān)知識(shí)點(diǎn)內(nèi)容,有興趣的朋友們可以學(xué)習(xí)下。
    2021-09-09
  • python銀行卡號(hào)碼校驗(yàn)Luhn模10算法

    python銀行卡號(hào)碼校驗(yàn)Luhn模10算法

    這篇文章主要為大家介紹了python銀行卡號(hào)碼校驗(yàn)Luhn模10算法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • 解讀什么是npy文件,為什么要用npy格式保存文件

    解讀什么是npy文件,為什么要用npy格式保存文件

    這篇文章主要介紹了什么是npy文件,為什么要用npy格式保存文件這個(gè)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • python基礎(chǔ)梳理(一)(推薦)

    python基礎(chǔ)梳理(一)(推薦)

    這篇文章主要介紹了python基礎(chǔ)梳理,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-04-04
  • python web.py開(kāi)發(fā)httpserver解決跨域問(wèn)題實(shí)例解析

    python web.py開(kāi)發(fā)httpserver解決跨域問(wèn)題實(shí)例解析

    這篇文章主要介紹了python web.py開(kāi)發(fā)httpserver解決跨域問(wèn)題實(shí)例解析,分享了相關(guān)代碼示例,小編覺(jué)得還是挺不錯(cuò)的,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-02-02
  • mac 安裝python網(wǎng)絡(luò)請(qǐng)求包requests方法

    mac 安裝python網(wǎng)絡(luò)請(qǐng)求包requests方法

    今天小編就為大家分享一篇mac 安裝python網(wǎng)絡(luò)請(qǐng)求包requests方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-06-06
  • python3使用diagrams繪制架構(gòu)圖的步驟

    python3使用diagrams繪制架構(gòu)圖的步驟

    這篇文章主要介紹了python3使用diagrams生成架構(gòu)圖的步驟,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下
    2021-04-04
  • 舉例講解Python面相對(duì)象編程中對(duì)象的屬性與類(lèi)的方法

    舉例講解Python面相對(duì)象編程中對(duì)象的屬性與類(lèi)的方法

    這篇文章主要介紹了Python面相對(duì)象編程中對(duì)象的屬性與類(lèi)的方法,類(lèi)和對(duì)象以及方法這些都是面相對(duì)象的編程語(yǔ)言所具有的基礎(chǔ)內(nèi)容,需要的朋友可以參考下
    2016-01-01
  • Python中的配對(duì)函數(shù)zip()解讀

    Python中的配對(duì)函數(shù)zip()解讀

    這篇文章主要介紹了Python中的配對(duì)函數(shù)zip()解讀,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-11-11
  • Pygame游戲開(kāi)發(fā)之太空射擊實(shí)戰(zhàn)盾牌篇

    Pygame游戲開(kāi)發(fā)之太空射擊實(shí)戰(zhàn)盾牌篇

    相信大多數(shù)8090后都玩過(guò)太空射擊游戲,在過(guò)去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了,今天我們來(lái)自己動(dòng)手實(shí)現(xiàn)它,在編寫(xiě)學(xué)習(xí)中回顧過(guò)往展望未來(lái),在本課中,我們將為玩家添加一個(gè)盾牌以及一個(gè)用于顯示盾牌等級(jí)的欄
    2022-08-08

最新評(píng)論