快捷導(dǎo)航

python實(shí)現(xiàn)的一只從百度開始不斷搜索的小爬蟲

更新時(shí)間：2013年08月13日 12:39:05 作者：

這是我第三天學(xué)python了，想寫一個(gè)東西紀(jì)念一下吧，于是寫了一直爬蟲，但是不是好的蟲，只能講網(wǎng)頁(yè)的關(guān)鍵詞存到本地，但是我覺得基本上算是一只小蟲了

文中用到了BeautifulSoup這個(gè)庫(kù)，目的是處理html文檔分析的，因?yàn)槲抑皇翘崛×藅itle的關(guān)鍵字，所以可以用正則表達(dá)式代替，還有一個(gè)庫(kù)是jieba，這個(gè)庫(kù)是中文分詞的作用，再有一個(gè)庫(kù)是 chardet，用來判斷字符的編碼，本想多線程的，但是自認(rèn)為被搞糊涂了，就放棄了

復(fù)制代碼代碼如下:

#coding:utf-8
import re
import urllib
import urllib2
import sys
import time
import Queue
import thread
import threading
import jieba
import chardet
from BeautifulSoup import BeautifulSoup as BS

DEEP = 1000
LOCK = threading.Lock()
PATH = "c:\\test\\"
urlQueue = Queue.Queue()
def pachong():
url = 'http://www.baidu.com'
return url

def getPageUrl(html):
reUrl = re.compile(r'<\s*[Aa]{1}\s+[^>]*?[Hh][Rr][Ee][Ff]\s*=\s*[\"\']?([^>\"\']+)[\"\']?.*?>')
urls = reUrl.findall(html)
for url in urls:
  if len(url) > 10:
   if url.find('javascript') == -1:
    urlQueue.put(url)

def getContents(url):
try:
  url = urllib2.quote(url.split('#')[0].encode('utf-8'), safe = "%/:=&?~#+!$,;'@()*[]")
  req = urllib2.urlopen(url)
  res = req.read()
  code = chardet.detect(res)['encoding']
  #print
  #print code
  res = res.decode(str(code), 'ignore')
  res = res.encode('gb2312', 'ignore')
  code = chardet.detect(res)['encoding']
  #print code
  #print res
  return res
except urllib2.HTTPError, e:
  print e.code
  return None
except urllib2.URLError, e:
  print str(e)
  return None

def writeToFile(html, url):
fp = file(PATH + str(time.time()) + '.html', 'w')
fp.write(html)
fp.close()

def getKeyWords(html):
code = chardet.detect(html)['encoding']
if code == 'ISO-8859-2':
  html.decode('gbk', 'ignore').encode('gb2312', 'ignore')
code = chardet.detect(html)['encoding']
soup = BS(html, fromEncoding="gb2312")
titleTag = soup.title
titleKeyWords = titleTag.contents[0]
cutWords(titleKeyWords)

def cutWords(contents):
print contents
res = jieba.cut_for_search(contents)
res = '\n'.join(res)
print res
res = res.encode('gb2312')
keyWords = file(PATH + 'cutKeyWors.txt', 'a')
keyWords.write(res)
keyWords.close()

def start():

while urlQueue.empty() == False:
  url = urlQueue.get()
  html = getContents(url)
  getPageUrl(html)
  getKeyWords(html)
  #writeToFile(html, url)