快捷導(dǎo)航

Python 爬蟲(chóng)爬取指定博客的所有文章

更新時(shí)間：2016年02月17日 13:04:29 投稿：mdxy-dxy

因?yàn)镚oogle App Engine 被墻，我無(wú)法繼續(xù)完善我的Moven project 還有20＋天才回去，怕到時(shí)候會(huì)忘記project的進(jìn)度和細(xì)節(jié)就趁著個(gè)冷的什么都不想干的時(shí)候，大概的總結(jié)一下

自上一篇文章 Z Story : Using Django with GAE Python 后臺(tái)抓取多個(gè)網(wǎng)站的頁(yè)面全文后，大體的進(jìn)度如下：
1.增加了Cron：用來(lái)告訴程序每隔30分鐘讓一個(gè)task 醒來(lái)，跑到指定的那幾個(gè)博客上去爬取最新的更新
2.用google 的 Datastore 來(lái)存貯每次爬蟲(chóng)爬下來(lái)的內(nèi)容。。只存貯新的內(nèi)容。。

就像上次說(shuō)的那樣，這樣以來(lái) 性能有了大幅度的提高：原來(lái)的每次請(qǐng)求后，爬蟲(chóng)才被喚醒所以要花大約17秒的時(shí)間才能從后臺(tái)輸出到前臺(tái)而現(xiàn)在只需要2秒不到

3.對(duì)爬蟲(chóng)進(jìn)行了優(yōu)化

1. Cron.yaml 來(lái)安排每個(gè)程序醒來(lái)的時(shí)間

經(jīng)過(guò)翻文檔，問(wèn)問(wèn)題終于弄明白google的cron的工作原理－－實(shí)際上只是google每隔指定的時(shí)間虛擬地訪問(wèn)一個(gè)我們自己指定的url…
因此在Django 下，根本不需要寫一個(gè)純的python 程序一定不要寫：
if __name__=="__main__":
只需要自己配置一個(gè)url 放在views.py里：

def updatePostsDB(request):
  #deleteAll()
  SiteInfos=[]
  SiteInfo={}
  SiteInfo['PostSite']="L2ZStory"
  SiteInfo['feedurl']="feed://l2zstory.wordpress.com/feed/"
  SiteInfo['blog_type']="wordpress"
  SiteInfos.append(SiteInfo)
  SiteInfo={}
  SiteInfo['PostSite']="YukiLife"
  SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1583902832.xml"
  SiteInfo['blog_type']="sina"
  SiteInfos.append(SiteInfo)
  SiteInfo={}
  SiteInfo['PostSite']="ZLife"
  SiteInfo['feedurl']="feed://ireallife.wordpress.com/feed/"
  SiteInfo['blog_type']="wordpress"
  SiteInfos.append(SiteInfo)
  SiteInfo={}
  SiteInfo['PostSite']="ZLife_Sina"
  SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1650910587.xml"
  SiteInfo['blog_type']="sina"
  SiteInfos.append(SiteInfo)
  
  try:
    for site in SiteInfos:
      feedurl=site['feedurl']
      blog_type=site['blog_type']
      PostSite=site['PostSite']
      PostInfos=getPostInfosFromWeb(feedurl,blog_type)
      recordToDB(PostSite,PostInfos)
    Msg="Cron Job Done..." 
  except Exception,e:
    Msg=str(e)  
  return HttpResponse(Msg)

cron.yaml 要放在跟app.yaml同一個(gè)級(jí)別上：
cron:
- description: retrieve newest posts
url: /task_updatePosts/
schedule: every 30 minutes

在url.py 里只要指向這個(gè)把task_updatePostsDB 指向url就好了

調(diào)試這個(gè)cron的過(guò)程可以用慘烈來(lái)形容。。。在stackoverflow上有很多很多人在問(wèn)為什么自己的cron不能工作。。。我一開(kāi)始也是滿頭是汗，找不著頭腦。。。最后僥幸弄好了，大體步驟也是空泛的很。。但是很樸實(shí)：
首先，一定要確保自己的程序沒(méi)有什么syntax error….然后可以自己試著手動(dòng)訪問(wèn)一下那個(gè)url 如果cron 正常的話，這個(gè)時(shí)候任務(wù)應(yīng)該已經(jīng)被執(zhí)行了最后實(shí)在不行的話多看看log…

2. Datastore的配置和利用－－Using Datastore with Django

我的需求在這里很簡(jiǎn)單－－沒(méi)有join…所以我就直接用了最簡(jiǎn)陋的django-helper..
這個(gè)models.py 是個(gè)重點(diǎn)：

復(fù)制代碼代碼如下:

from appengine_django.models import BaseModel
from google.appengine.ext import db

classPostsDB(BaseModel):
    link=db.LinkProperty()
    title=db.StringProperty()
    author=db.StringProperty()
    date=db.DateTimeProperty()
    description=db.TextProperty()
    postSite=db.StringProperty()

前兩行是重點(diǎn)中的重點(diǎn)。。。。我一開(kāi)始天真沒(méi)寫第二行。。。結(jié)果我花了2個(gè)多小時(shí)都沒(méi)明白是怎么回事。。得不償失。。。
讀寫的時(shí)候，千萬(wàn)別忘了。。。PostDB.put()

一開(kāi)始的時(shí)候，我為了省事，就直接每次cron被喚醒，就刪除全部的數(shù)據(jù)，然后重新寫入新爬下來(lái)的數(shù)據(jù)。。。
結(jié)果。。。一天過(guò)后。。。有4萬(wàn)條讀寫紀(jì)錄。。。。而每天免費(fèi)的只有5萬(wàn)條。。。。
所以就改為在插入之前先看看有沒(méi)有更新，有的話就寫，沒(méi)的話就不寫。?？偹惆褦?shù)據(jù)庫(kù)這部分搞好了。。。

3.爬蟲(chóng)的改進(jìn)：
一開(kāi)始的時(shí)候，爬蟲(chóng)只是去爬feed里給的文章。。這樣一來(lái)，如果一個(gè)博客有24＊30篇文章的話。。。最多只能拿到10篇。。。。
這次，改進(jìn)版能爬所有的文章。。我分別拿孤獨(dú)川陵，韓寒， Yuki和Z的博客做的試驗(yàn)。。成功的很。。。其中孤獨(dú)川陵那里有720＋篇文章。。。無(wú)遺漏掉的被爬下來(lái)了。。

import urllib
#from BeautifulSoup import BeautifulSoup
from pyquery import PyQuery as pq
def getArticleList(url):
  lstArticles=[]
  url_prefix=url[:-6]
  Cnt=1
  
  response=urllib.urlopen(url)
  html=response.read()
  d=pq(html)
  try:
    pageCnt=d("ul.SG_pages").find('span')
    pageCnt=int(d(pageCnt).text()[1:-1])
  except:
    pageCnt=1
  for i in range(1,pageCnt+1):
    url=url_prefix+str(i)+".html"
    #print url
    response=urllib.urlopen(url)
    html=response.read()
    d=pq(html)
    title_spans=d(".atc_title").find('a')
    date_spans=d('.atc_tm')
    
    for j in range(0,len(title_spans)):
      titleObj=title_spans[j]
      dateObj=date_spans[j]
      article={}
      article['link']= d(titleObj).attr('href')
      article['title']= d(titleObj).text()
      article['date']=d(dateObj).text()
      article['desc']=getPageContent(article['link'])
      lstArticles.append(article)
  return lstArticles
  
def getPageContent(url):
  #get Page Content
  response=urllib.urlopen(url)
  html=response.read()
  d=pq(html)
  pageContent=d("div.articalContent").text()
  #print pageContent
  return pageContent
def main():
  url='http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html'#Han Han
  url="http://blog.sina.com.cn/s/articlelist_1225833283_0_1.html"#Gu Du Chuan Ling
  url="http://blog.sina.com.cn/s/articlelist_1650910587_0_1.html"#Feng
  url="http://blog.sina.com.cn/s/articlelist_1583902832_0_1.html"#Yuki
  lstArticles=getArticleList(url)
  for article in lstArticles:
    f=open("blogs/"+article['date']+"_"+article['title']+".txt",'w')
    f.write(article['desc'].encode('utf-8')) ＃特別注意對(duì)中文的處理
    f.close()
    #print article['desc']
    
if __name__=='__main__':
  main()

對(duì)PyQuery的推薦。。
很遺憾的說(shuō)， BueautifulSoup讓我深深的失望了。。。在我寫上篇文章的時(shí)候，當(dāng)時(shí)有個(gè)小bug..一直找不到原因。。在我回家后，又搭上了很多時(shí)間試圖去弄明白為什么BueautifulSoup一直不能抓到我想要的內(nèi)容。。。后來(lái)大體看了看它selector部分的源代碼覺(jué)得應(yīng)該是它對(duì)于很多還有<script>tag的不規(guī)范html頁(yè)面的解析不準(zhǔn)確。。。

我放棄了這個(gè)庫(kù)，又試了lxml..基于xpath 很好用。。但是xpath的東西我老是需要查文檔。。。所以我又找了個(gè)庫(kù)PyQuery…可以用jQuery選擇器的工具。。。非常非常非常好用。。。。具體的用法就看上面吧。。。這個(gè)庫(kù)有前途。。。

隱憂
因?yàn)閜yquery基于lxml…而lxml的底層又是c…所以估計(jì)在gae上用不了。。。我這個(gè)爬蟲(chóng)只能現(xiàn)在在我的電腦上爬好東西。。。然后push到server上。。。

總結(jié)

一句話，我愛(ài)死Python了
兩句話，我愛(ài)死Python了，我愛(ài)死Django了
三句話，我愛(ài)死Python了，我愛(ài)死Django了，我愛(ài)死jQuery了。。。
四句號(hào)，我愛(ài)死Python了，我愛(ài)死Django了，我愛(ài)死jQuery了，我愛(ài)死pyQuery了。。。

您可能感興趣的文章: