欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬蟲_微信公眾號(hào)推送信息爬取的實(shí)例

 更新時(shí)間:2017年10月23日 10:03:08   作者:ChaseChoi  
下面小編就為大家?guī)硪黄猵ython爬蟲_微信公眾號(hào)推送信息爬取的實(shí)例。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧

問題描述

利用搜狗的微信搜索抓取指定公眾號(hào)的最新一條推送,并保存相應(yīng)的網(wǎng)頁至本地。

注意點(diǎn)

搜狗微信獲取的地址為臨時(shí)鏈接,具有時(shí)效性。

公眾號(hào)為動(dòng)態(tài)網(wǎng)頁(JavaScript渲染),使用requests.get()獲取的內(nèi)容是不含推送消息的,這里使用selenium+PhantomJS處理

代碼

#! /usr/bin/env python3
from selenium import webdriver
from datetime import datetime
import bs4, requests
import os, time, sys

# 獲取公眾號(hào)鏈接
def getAccountURL(searchURL):
 res = requests.get(searchURL)
 res.raise_for_status()
 soup = bs4.BeautifulSoup(res.text, "lxml")
 # 選擇第一個(gè)鏈接
 account = soup.select('a[uigs="account_name_0"]')
 return account[0]['href']

# 獲取首篇文章的鏈接,如果有驗(yàn)證碼返回None
def getArticleURL(accountURL):
 browser = webdriver.PhantomJS("/Users/chasechoi/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs")
 # 進(jìn)入公眾號(hào)
 browser.get(accountURL)
 # 獲取網(wǎng)頁信息
 html = browser.page_source
 accountSoup = bs4.BeautifulSoup(html, "lxml")
 time.sleep(1)
 contents = accountSoup.find_all(hrefs=True)
 try:
  partitialLink = contents[0]['hrefs']
  firstLink = base + partitialLink
 except IndexError:
  firstLink = None 
  print('CAPTCHA!')
 return firstLink

# 創(chuàng)建文件夾存儲(chǔ)html網(wǎng)頁,以時(shí)間命名
def folderCreation():
 path = os.path.join(os.getcwd(), datetime.now().strftime('%Y-%m-%d_%H-%M-%S'))
 try:
  os.makedirs(path)
 except OSError as e:
  if e.errno != errno.EEXIST:
   raise
  print("folder not exist!")
 return path

# 將html頁面寫入本地
def writeToFile(path, account, title):
 myfile = open("{}/{}_{}.html".format(path, account, title), 'wb')
 myfile.write(res.content)
 myfile.close()

base ='https://mp.weixin.qq.com'
accountList = ['央視新聞', '新浪新聞','鳳凰新聞','羊城晚報(bào)']
query = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query='

path = folderCreation()

for index, account in enumerate(accountList):
 searchURL = query + account
 accountURL = getAccountURL(searchURL)
 time.sleep(10)
 articleURL = getArticleURL(accountURL)
 if articleURL != None:
  print("#{}({}/{}): {}".format(account, index+1, len(accountList), accountURL))
  # 讀取第一篇文章內(nèi)容
  res = requests.get(articleURL)
  res.raise_for_status()
  detailPage = bs4.BeautifulSoup(res.text, "lxml")
  title = detailPage.title.text
  print("標(biāo)題: {}\n鏈接: {}\n".format(title, articleURL))
  writeToFile(path, account, title)
 else:
  print('{} files successfully written to {}'.format(index, path))
  sys.exit()

print('{} files successfully written to {}'.format(len(accountList), path))

參考輸出

Terminal輸出

Finder

分析

鏈接獲取

首先進(jìn)入搜狗的微信搜索頁面,在地址欄中提取需要的部分鏈接,字符串連接公眾號(hào)名稱,即可生成請(qǐng)求鏈接

針對(duì)靜態(tài)網(wǎng)頁,利用requests獲取html文件,再用BeautifulSoup選擇需要的內(nèi)容

針對(duì)動(dòng)態(tài)網(wǎng)頁,利用selenium+PhantomJS獲取html文件,再用BeautifulSoup選擇需要的內(nèi)容

遇到驗(yàn)證碼(CAPTCHA),輸出提示。此版本代碼沒有對(duì)驗(yàn)證碼做實(shí)際處理,需要人為訪問后,再跑程序,才能避開驗(yàn)證碼。

文件寫入

使用os.path.join()構(gòu)造存儲(chǔ)路徑可以提高通用性。比如Windows路徑分隔符使用back slash(\), 而OS X 和 Linux使用forward slash(/),通過該函數(shù)能根據(jù)平臺(tái)進(jìn)行自動(dòng)轉(zhuǎn)換。

open()使用b(binary mode)參數(shù)同樣為了提高通用性(適應(yīng)Windows)

使用datetime.now()獲取當(dāng)前時(shí)間進(jìn)行命名,并通過strftime()格式化時(shí)間(函數(shù)名中的f代表format),

具體使用參考下表(摘自 Automate the Boring Stuff with Python)

以上這篇python爬蟲_微信公眾號(hào)推送信息爬取的實(shí)例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python調(diào)用Tkinter示例淺析

    Python調(diào)用Tkinter示例淺析

    這篇文章主要介紹了Python調(diào)用Tkinter示例,通過在Python程序中設(shè)計(jì)按鈕,可以方便用戶調(diào)用Python程序,從而達(dá)到快速、自動(dòng)化、高效的目的,提高用戶體驗(yàn)和工作效率
    2023-02-02
  • 進(jìn)一步理解Python中的函數(shù)編程

    進(jìn)一步理解Python中的函數(shù)編程

    這篇文章主要介紹了進(jìn)一步理解Python中的函數(shù)編程,本文進(jìn)一步討論了Python中函數(shù)編程的一些要點(diǎn),來自IBM官方技術(shù)文檔,需要的朋友可以參考下
    2015-04-04
  • Python實(shí)現(xiàn)網(wǎng)站表單提交和模板

    Python實(shí)現(xiàn)網(wǎng)站表單提交和模板

    今天小編就為大家分享一篇關(guān)于Python實(shí)現(xiàn)網(wǎng)站表單提交和模板,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧
    2019-01-01
  • python中sub-pub機(jī)制實(shí)現(xiàn)Redis的訂閱與發(fā)布

    python中sub-pub機(jī)制實(shí)現(xiàn)Redis的訂閱與發(fā)布

    本文主要介紹了python中sub-pub機(jī)制實(shí)現(xiàn)Redis的訂閱與發(fā)布,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • Python3實(shí)現(xiàn)取圖片中特定的像素替換指定的顏色示例

    Python3實(shí)現(xiàn)取圖片中特定的像素替換指定的顏色示例

    這篇文章主要介紹了Python3實(shí)現(xiàn)取圖片中特定的像素替換指定的顏色,涉及Python3針對(duì)圖片文件的讀取、轉(zhuǎn)換、生成等相關(guān)操作技巧,需要的朋友可以參考下
    2019-01-01
  • Python字符串和其常用函數(shù)合集

    Python字符串和其常用函數(shù)合集

    這篇文章主要給大介紹Python字符串和分享其常用函數(shù)合集,字符串、首字母大寫定義、所有字母大寫、所有字母小寫等函數(shù),具有一定的參考價(jià)值,需要的朋友可以參考一下
    2022-03-03
  • 淺析Python中else語句塊的使用技巧

    淺析Python中else語句塊的使用技巧

    這篇文章主要介紹了淺析Python中else語句塊的使用技巧的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2016-06-06
  • Selenium多窗口切換解決方案

    Selenium多窗口切換解決方案

    本文主要介紹了Selenium多窗口切換解決方案,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-07-07
  • 介紹一款python類型檢查工具pyright(推薦)

    介紹一款python類型檢查工具pyright(推薦)

    這篇文章主要介紹了介紹一款python類型檢查工具pyright(推薦),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • 基于python實(shí)現(xiàn)微信收紅包自動(dòng)化測試腳本(測試用例)

    基于python實(shí)現(xiàn)微信收紅包自動(dòng)化測試腳本(測試用例)

    這篇文章主要介紹了基于python實(shí)現(xiàn)微信收紅包自動(dòng)化測試腳本,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
    2021-07-07

最新評(píng)論