快捷導(dǎo)航

Python實(shí)現(xiàn)爬取逐浪小說(shuō)的方法

更新時(shí)間：2015年07月07日 15:14:52 作者：wucl202000

這篇文章主要介紹了Python實(shí)現(xiàn)爬取逐浪小說(shuō)的方法,基于Python的正則匹配功能實(shí)現(xiàn)爬取小說(shuō)頁(yè)面標(biāo)題、鏈接及正文等功能,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)爬取逐浪小說(shuō)的方法。分享給大家供大家參考。具體分析如下：

本人喜歡在網(wǎng)上看小說(shuō)，一直使用的是小說(shuō)下載閱讀器，可以自動(dòng)從網(wǎng)上下載想看的小說(shuō)到本地，比較方便。最近在學(xué)習(xí)Python的爬蟲，受此啟發(fā)，突然就想到寫一個(gè)爬取小說(shuō)內(nèi)容的腳本玩玩。于是，通過(guò)在逐浪上面分析源代碼，找出結(jié)構(gòu)特點(diǎn)之后，寫了一個(gè)可以爬取逐浪上小說(shuō)內(nèi)容的腳本。

具體實(shí)現(xiàn)功能如下：輸入小說(shuō)目錄頁(yè)的url之后，腳本會(huì)自動(dòng)分析目錄頁(yè)，提取小說(shuō)的章節(jié)名和章節(jié)鏈接地址。然后再?gòu)恼鹿?jié)鏈接地址逐個(gè)提取章節(jié)內(nèi)容?，F(xiàn)階段只是將小說(shuō)從第一章開始，每次提取一章內(nèi)容，回車之后提取下一章內(nèi)容。其他網(wǎng)站的結(jié)果可能有不同，需要做一定修改。在逐浪測(cè)試過(guò)正常。

現(xiàn)分享此代碼，一是做個(gè)記錄，方便自己以后回顧。二么也想拋磚引玉，希望各路大神不吝賜教。

#-*-coding:utf8-*-
#!/usr/bin/python
# Python:   2.7.8
# Platform:  Windows
# Program:   Get Novels From Internet
# Author:   wucl
# Description: Get Novels
# Version:   1.0
# History:   2015.5.27 完成目錄和url提取
#       2015.5.28 完成目錄中正則提取第*章，提取出章節(jié)鏈接并下載。在逐浪測(cè)試下載無(wú)誤。
from bs4 import BeautifulSoup
import urllib2,re
def get_menu(url):
  """Get chapter name and its url"""
  user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0"
  headers = {'User-Agent':user_agent}
  req = urllib2.Request(url,headers = headers)
  page = urllib2.urlopen(req).read()
  soup = BeautifulSoup(page)
  novel = soup.find_all('title')[0].text.split('_')[0]
  # 提取小說(shuō)名
  menu = []
  all_text = soup.find_all('a',target="_blank")
  # 提取記載有小說(shuō)章節(jié)名和鏈接地址的模塊
  regex=re.compile(ur'\u7b2c.+\u7ae0')
  # 中文正則匹配第..章，去除不必要的鏈接
  for title in all_text:
    if re.findall(regex,title.text):
      name = title.text
      x = [name,title['href']]
      menu.append(x)
      # 把記載有小說(shuō)章節(jié)名和鏈接地址的列表插入列表中
  return menu,novel
def get_chapter(name,url):
  """Get every chapter in menu"""
  html=urllib2.urlopen(url).read()
  soup=BeautifulSoup(html)
  content=soup.find_all('p') # 提取小說(shuō)正文
  return content[0].text
if __name__=="__main__":
  url=raw_input("""Input the main page's url of the novel in ZhuLang\n    Then Press Enter to Continue\n""")
  if url:
    menu,title=get_menu(url)
    print title,str(len(menu))+'\n   Press Enter To Continue  \n' 
    # 輸出獲取到的小說(shuō)名和章節(jié)數(shù)
    for i in menu:
      chapter=get_chapter(i[0],i[1])
      raw_input()
      print '\n'+i[0]+'\n'    
      print chapter
      print '\n'

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章: