如何基于Python爬蟲爬取美團酒店信息

更新時間：2020年11月03日 11:38:28 作者：松鼠愛吃餅干

這篇文章主要介紹了如何基于Python爬蟲爬取美團酒店信息,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

一、分析網頁

網站的頁面是 JavaScript 渲染而成的，我們所看到的內容都是網頁加載后又執(zhí)行了JavaScript代碼之后才呈現出來的，因此這些數據并不存在于原始 HTML 代碼中，而 requests 僅僅抓取的是原始 HTML 代碼。抓取這種類型網站的頁面數據，解決方案如下：

分析 Ajax，很多數據可能是經過 Ajax 請求時候獲取的，所以可以分析其接口。

在XHR里可以找到，Request URL有幾個關鍵參數，uuid和cityId是城市標識，offset偏移量可以控制翻頁，分析網頁發(fā)現，第x頁的offset為：(x-1)*20，limit表示每頁有20條信息，startDay和endDay為當前的日期。

在Preview里可以找到每頁的20條信息

模擬JavaScript渲染過程，直接抓取渲染后的結果。

selenium和pyppeteer爬蟲就是用的這種方法

二、爬取酒店信息

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
url = "https://ihotel.meituan.com/hbsearch/HotelSearch"
headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36",
  "Referer": "https://hotel.meituan.com/chengdu"
}
wb = openpyxl.Workbook()
sheet = wb.active
sheet.append(['酒店名稱', '酒店地址', '酒店類型', '最低價', '評價', '評論數', '經度', '緯度'])


def hotel_data(x):
  data = {
    'utm_medium': 'pc',
    'version_name': 999.9,
    'cateId': 20,
    'attr_28': 129,
    'uuid': '5D4E443EC83DDD49B73F317921EAE16C7B492A634A67FA261773890F730A5932@1600263777783',
    'cityId': 59,
    'offset': x * 20,
    'limit': 20,
    'startDay': 20200916,
    'endDay': 20200916,
    'q': '', 'sort': 'defaults',
    'X-FOR-WITH': '47zbBAV+k1e7QrnKt4lEVXrmtOE9w2OpFfGsKf539CDdXIw4r2V/qICcWVeNACGHWNbD6iL4huPyRVdkNJJwR6dqcoQMyzjUE3cQGWr6YZOwANQOlCSrZ7m1+aahwcnh/dTfaJLMZfxWaJQEISBuKbiMgDC8Vr4eaeWiYASkLl0ByB96MOUz7gfjUTbhlV0ZXvZ/ucwNcK3zxTQjmoBINsAY4HwpKQLpOV2IqV1CtPg=',
  }
  res = requests.get(url, headers=headers, params=data)
  time.sleep(random.randint(1, 3))
  results = json.loads(res.text)['data']['searchresult']
  for con in results:
    name = con['name']       # 酒店名稱
    addr = con['addr']       # 酒店地址
    star = con['hotelStar']     # 酒店類型
    price = con['lowestPrice']   # 最低價
    scoreIntro = con['scoreIntro'] # 評價
    comments = con['commentsCountDesc'] # 評論數
    lng, lat = con['lng'], con['lat']  # 經緯度
    data = [name, addr, star, price, scoreIntro, comments, lng, lat]
    sheet.append(data)
    logging.info(data)

程序運行成功，酒店信息保存到了Excel。