欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲采集Tripadvisor數(shù)據(jù)案例實現(xiàn)

 更新時間：2022年06月02日 14:27:07   作者：松鼠愛吃餅干  
這篇文章主要為大家介紹了Python爬蟲采集Tripadvisor數(shù)據(jù)案例實現(xiàn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

前言

Tripadvisor是全球領(lǐng)先的旅游網(wǎng)站，主要提供來自全球旅行者的點評和建議，全面覆蓋全球的酒店、景點、餐廳、航空公司 ，以及旅行規(guī)劃和酒店、景點、餐廳預(yù)訂功能。
Tripadvisor及旗下網(wǎng)站在全球49個市場設(shè)有分站，月均獨立訪問量達4.15億。

第三方庫

requests >>> pip install requests
parsel >>> pip install parsel

開發(fā)環(huán)境

版 本: python 3.8

編輯器: pycharm 2021.2

開始代碼

請求數(shù)據(jù)

headers = {
    'cookie': 'TADCID=foOmU9bDp6JGIXg2ABQCFdpBzzOuRA-9xvCxaMyI12wTEaQSQ4euq_1sNSDmJybFCMezFLrAnKRGZ_uvGNNO_9cSzuJeK8RQlE4; TAUnique=%1%enc%3AHARC1EMLan58P07MI4ZMcqI%2BzHGWuLGBt6TE6zQDNwk%3D; TASSK=enc%3AAL%2Bm9xwFy7%2BjYONIRS%2F2kEbA%2FtOrlDbcW%2FwCSHs44XP9R3ddE%2BKJxi3FiDuozLe0Ov2ujtnFah8i0sN%2FRdUxZGis0TClwsaz7%2B7Uv8dh%2BvHM%2FfH9C%2FcEYLBYBtn1yLmBNg%3D%3D; ServerPool=A; PMC=V2*MS.2*MD.20220311*LD.20220311; TART=%1%enc%3AfD9OzCOGTHLKxR1qLNfmGZurd9xliidHT5bmQw2z505WnDQeBJdPDWc64WFlxikpNox8JbUSTxk%3D; TATravelInfo=V2*A.2*MG.-1*HP.2*FL.3*RS.1; TASID=9CCF4EA45B4141A8B5E4F03D36821474; ak_bmsc=31083286436C157F558D959D23D94849~000000000000000000000000000000~YAAQqF1kX6lPsVF/AQAAhTyqdw8F4+OoWZwjJCqsKUS/ykkFQHkXml5We7WY4q6KDUeIkm36a0Fs41jt7Jx6MFwnzloND2Iry1Iuwnj5I7oPxsI1RTjfGXSr408rscnzKPJHpRIXwuuiL+SNZxp233DOhrqrbTQ2cDTiGPk8qAYcLYq1OHpyOjLpc6L2zPbiSdvfDAuz2ujLUbWZV33YVrUd1UcmBMKJOSS/C12JeFdLCcjOihJvc4Zlu5HMYQUBdjTaV4zll3YO9YWxdm5pUT57vjI3WjxNhLwOXS93F3ogo/VOzmvk2n4rptCDH1vffz7Dpmp4yRn0dnX8RtiKiolFV00rBs0yC9Nxa67F0qPkJMMS6t6pNo+08PIre7VIiAIxQoWUNNiBiNDXeQ==; PAC=AHc5Ocqizh5jbN81AnjCtcF7k5P54vojrezhxeu8s4DdhkIZSMBuxXUioaVGVVo99Ysr_IbYXqNKjsddfzI8psluCp1NwuwQiBOvmdhP_r8ntVPeHXBc5u782Y8i4KrpV0a29aTnmykzihOxeEfilEfHZOGZxkWN8GRLwHay1MUpBazo7e4Pdtl3tndoYnNIDWcRtHzZJIDE9odWhqOzUE0%3D; TAReturnTo=%1%%2FRestaurants-g188590-Amsterdam_North_Holland_Province.html; roybatty=TNI1625!AJyUZ5ejQVombB9Jv3PVhqqhyMhwsanzT2C6omYz8l6mQNt%2FP5v6CLnnlymNXfhMwolnHznm%2BAmT81YSeygcVxnWHERn16eR747rX9fmWmeCMoris6ffxKTbJ6%2BjObZ6rmffv7I5wEGZ009WzKMlVA%2BXJAheGoIKHOD3gUDLVYlY%2C1; TATrkConsent=eyJvdXQiOiIiLCJpbiI6IkFMTCJ9; TASession=V2ID.9CCF4EA45B4141A8B5E4F03D36821474*SQ.9*LS.PageMoniker*GR.82*TCPAR.12*TBR.1*EXEX.98*ABTR.74*PHTB.27*FS.67*CPU.8*HS.recommended*ES.popularity*DS.5*SAS.popularity*FPS.oldFirst*LF.en*FA.1*DF.0*TRA.false*LD.188590*EAU._; TAUD=LA-1646980142821-1*RDD-1-2022_03_11*LG-863371-2.1.F.*LD-863372-.....; _pbjs_userid_consent_data=3524755945110770; _li_dcdm_c=.tripadvisor.com; _lc2_fpi=b140173de591--01fxvvhm5q52dte42gshbn1234; __gads=ID=887c76ae8964a5bc:T=1646981079:S=ALNI_MYwTZNsJPdidCGF3BTM3pOV79wAUg; _lr_sampling_rate=100; _lr_retry_request=true; _lr_env_src_ats=false; __li_idex_cache=%7B%7D; pbjs_li_nonid=%7B%7D; __vt=bI5Nl4_3wIiyQqd-ABQCIf6-ytF7QiW7ovfhqc-AvRvwyUuxl21BvNUgBcewLtYtxhD9pK8plYHHUPpFuGJQzlL9HjsNiQXGwLu0f-XidRXohA9m08ary-La12XkjuKCU2QeR3ijnhWjQ8bnjvOcAaUKoA; bm_sv=867C80B13B2E8AE707E1A411B950E849~HDnKV8jbSFu9eHNiLb/p3fK3KqcxdMjPpLXFMD9YvvwLoQEuDGPgZZwEDhQeezJZJhdrUxX02mvzmDqkV7615Fm508wASvLcLsXmW/6+1K9pDp2UuCDIYbuZgv/2m76YS7Og/SBcU6xkIVnHhMVqpxWfro/1T3kO1LdXuFuprhA=; OptanonConsent=isGpcEnabled=0&datestamp=Fri+Mar+11+2022+14%3A53%3A51+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&version=6.30.0&isIABGlobal=false&hosts=&consentId=cc7e2f72-5007-428f-a72e-392f9741b69d&interactionCount=1&landingPath=https%3A%2F%2Fwww.tripadvisor.com%2FRestaurants-g188590-Amsterdam_North_Holland_Province.html&groups=C0001%3A1%2CC0002%3A1%2CC0003%3A1%2CC0004%3A1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36',
}
url = 'https://www.tripadvisor.com/Restaurants-g188590-Amsterdam_North_Holland_Province.html'
response = requests.get(url, headers=headers)

2. 獲取數(shù)據(jù)(網(wǎng)頁源代碼)

html_data = response.text

3. 解析數(shù)據(jù)(提取我們想要的數(shù)據(jù)內(nèi)容 詳情頁鏈接)

selector = parsel.Selector(html_data)
# 提取標(biāo)簽的屬性內(nèi)容 ::attr(href) 鏈接
link_list = selector.css('.bHGqj.Cj.b::attr(href)').getall()
for link in link_list:
    link = 'https://www.tripadvisor.com/' + link

4. 發(fā)送請求(訪問所有的詳情頁鏈接) 獲取數(shù)據(jù)

detail_html = requests.get(link, headers=headers).text

5. 解析數(shù)據(jù)

detail_selector = parsel.Selector(detail_html)
store_name = detail_selector.css('.fHibz::text').get()
comment_count = detail_selector.css('.eSAOV.H3:nth-child(2) .eBTWs::text').get()
address = detail_selector.css('.eSAOV.H3:nth-child(3) .dyeJW.dUpPX:nth-child(1) .fhGHT::text').get()
city = detail_selector.css('.breadcrumbs li:nth-child(4) span::text').get()
phone = detail_selector.css('.eSAOV.H3:nth-child(3) .dyeJW.dUpPX:nth-child(2) .fhGHT a::text').get()
score = detail_selector.css('.eEwDq .fdsdx::text').get()
website = re.findall(',"website":"(http.*?)"', detail_html)[0]
print(store_name, comment_count, city, address, phone, score, link, website)

6.保存數(shù)據(jù)

with open('tripadvisor.csv', mode='a', newline='', encoding='utf-8') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow([store_name, comment_count, city, address, phone, score, link, website])

7.得到數(shù)據(jù)

以上就是Python爬蟲采集Tripadvisor數(shù)據(jù)案例實現(xiàn)的詳細內(nèi)容，更多關(guān)于Python爬蟲采集Tripadvisor數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • python中對正則表達式re包的簡單引用方式

    python中對正則表達式re包的簡單引用方式

    這篇文章主要介紹了python中對正則表達式re包的簡單引用方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
    2022-02-02
  • python正則匹配查詢港澳通行證辦理進度示例分享

    python正則匹配查詢港澳通行證辦理進度示例分享

    分享原創(chuàng)的一段查詢港澳通行證辦理進度查詢的python 3.3代碼。利用socket請求相關(guān)網(wǎng)站，獲得結(jié)果后利用正則找出辦理進度
    2013-12-12
  • 在Python中執(zhí)行和調(diào)用JavaScript的多種方法小結(jié)

    在Python中執(zhí)行和調(diào)用JavaScript的多種方法小結(jié)

    JavaScript（JS）是一種常用的腳本語言,通常用于網(wǎng)頁開發(fā),但有時也需要在Python中執(zhí)行或調(diào)用JavaScript代碼,本文將詳細介紹Python中執(zhí)行和調(diào)用JavaScript的多種方法,每種方法都將附有示例代碼,方便理解如何在Python中與JavaScript進行互動,需要的朋友可以參考下
    2023-11-11
  • 如何利用Python實現(xiàn)自動打卡簽到的實踐

    如何利用Python實現(xiàn)自動打卡簽到的實踐

    簽到，都是規(guī)律性的操作，何嘗不寫一個程序加到Windows實現(xiàn)自動簽到呢，本文就主要介紹了如何利用Python實現(xiàn)自動打卡簽到的實踐，具有一定的參考價值，感興趣的可以了解一下
    2021-12-12
  • Python基于pandas繪制散點圖矩陣代碼實例

    Python基于pandas繪制散點圖矩陣代碼實例

    這篇文章主要介紹了Python基于pandas繪制散點圖矩陣代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-06-06
  • Python yield 小結(jié)和實例

    Python yield 小結(jié)和實例

    yield的作用就是把一個函數(shù)變成一個 generator，帶有 yield 的函數(shù)不再是一個普通函數(shù)，Python 解釋器會將其視為一個 generator（不知道什么是generator要先去理解一下Python的generator的了）
    2014-04-04
  • python3 webp轉(zhuǎn)gif格式的實現(xiàn)示例

    python3 webp轉(zhuǎn)gif格式的實現(xiàn)示例

    這篇文章主要介紹了python3 webp轉(zhuǎn)gif格式的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-12-12
  • 在dataframe兩列日期相減并且得到具體的月數(shù)實例

    在dataframe兩列日期相減并且得到具體的月數(shù)實例

    今天小編就為大家分享一篇在dataframe兩列日期相減并且得到具體的月數(shù)實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • python flask中靜態(tài)文件的管理方法

    python flask中靜態(tài)文件的管理方法

    下面小編就為大家分享一篇python flask中靜態(tài)文件的管理方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-03-03
  • Python之PyQt6對話框的實現(xiàn)

    Python之PyQt6對話框的實現(xiàn)

    這篇文章主要介紹了Python之PyQt6對話框的實現(xiàn)，文章內(nèi)容詳細，簡單易懂，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
    2023-01-01

最新評論