欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python代理抓取并驗證使用多線程實現

 更新時間:2013年05月03日 17:03:16   作者:  
這里沒有使用隊列只是采用多線程分發(fā)對代理量不大的網頁還行但是幾百幾千性能就很差了,感興趣的朋友可以了解下,希望對你有所幫助
沒有使用隊列,也沒有線程池還在學習只是多線程
復制代碼 代碼如下:

#coding:utf8
import urllib2,sys,re
import threading,os
import time,datetime
'''''
這里沒有使用隊列 只是采用多線程分發(fā)對代理量不大的網頁還行但是幾百幾千性能就很差了
'''
def get_proxy_page(url):
'''''解析代理頁面 獲取所有代理地址'''
proxy_list = []
p = re.compile(r'''''<div>(.+?)<span class="Apple-tab-span" style="white-space:pre">.*?</span>(.+?)<span class="Apple-tab-span" style="white-space:pre">.+?</span>(.+?)(<span.+?)?</div>''')
try:
res = urllib2.urlopen(url)
except urllib2.URLError:
print 'url Error'
sys.exit(1)
pageinfo = res.read()
res = p.findall(pageinfo) #取出所有的
#組合成所有代理服務器列表成一個符合規(guī)則的list
for i in res:
ip = i[0]
port = i[1]
addr = i[2]
l = (ip,port,addr)
proxy_list.append(l)
return proxy_list
#同步鎖裝飾器
lock = threading.Lock()
def synchronous(f):
def call(*args, **kw):
lock.acquire()
try:
return f(*args, **kw)
finally:
lock.release()
return call
#時間計算器
def sumtime(f):
def call(*args, **kw):
t1 = time.time()
try:
return f(*args, **kw)
finally:
print u'總共用時 %s' % (time.time() - t1)
return call
proxylist = []
reslist = []
#獲取單個代理并處理
@synchronous
def getoneproxy():
global proxylist
if len(proxylist)>0:
return proxylist.pop()
else:
return ''
#添加驗證成功的代理
@synchronous
def getreslist(proxy):
global reslist
if not (proxy in reslist):
reslist.append(proxy)
def handle():
timeout = 10
test_url = r'http://www.baidu.com'
test_str = '030173'
while 1:
proxy = getoneproxy()
#最后一個返回是空
if not proxy:
return
print u"正在驗證 : %s" %proxy[0]
#第一步啟用 cookie
cookies = urllib2.HTTPCookieProcessor()
proxy_server = r'http://%s:%s' %(proxy[0],proxy[1])
#第二步 裝載代理
proxy_hander = urllib2.ProxyHandler({"http":proxy_server})
#第三步 組合request
try:
opener = urllib2.build_opener(cookies, proxy_hander)
pass
except urllib2.URLError:
print u'url設置錯誤'
continue
#配置request
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1')]
#發(fā)送請求
urllib2.install_opener(opener)
t1 = time.time()
try:
req = urllib2.urlopen(test_url,timeout=timeout)
result = req.read()
pos = result.find(test_str)
timeused = time.time() - t1
if pos>1:
#保存到列表中
getreslist((proxy[0],proxy[1],proxy[2],timeused))
print u'成功采集',proxy[0],timeused
else:
continue
except Exception,e:
print u'采集失敗 %s :timeout' %proxy[0]
continue
def save(reslist):
path = os.getcwd()
filename = path + '/Proxy-'+datetime.datetime.now().strftime(r'%Y%m%d%H%M%S')+'.txt'
f = open(filename,'w+')
for proxy in reslist:
f.write('%s %s %s %s \r\n'%(proxy[0],proxy[1],proxy[2],proxy[3]))
f.close()
@sumtime
def main():
url = r'http://www.free998.net/daili/httpdaili/8949.html'
global proxylist,reslist
#獲取所有線程
proxylist = get_proxy_page(url)
print u'一共獲取 %s 個代理' %len(proxylist)
#print proxylist
print '*'*80
#線程創(chuàng)建和分發(fā)任務
print u'開始創(chuàng)建線程處理.....'
threads = []
proxy_num = len(proxylist)
for i in range(proxy_num):
th = threading.Thread(target=handle, args=())
threads.append(th)
for thread in threads:
thread.start()
for thread in threads:
threading.Thread.join(thread)
print u'獲取有效代理 %s 個,現在開始排序和保存 '%len(reslist)
reslist = sorted(reslist,cmp=lambda x,y:cmp(x[3],y[3]))
save(reslist)
if __name__=='__main__':
main()

輸出:
一共獲取 31 個代理
********************************************************************************
開始創(chuàng)建線程處理.....
正在驗證 : 122.10.48.13
正在驗證 : 122.72.76.121
正在驗證 : 122.72.11.129
正在驗證 : 222.89.159.131
正在驗證 : 218.5.74.174
正在驗證 : 218.203.107.165
正在驗證 : 219.224.101.81
正在驗證 : 221.176.169.14
正在驗證 : 112.5.254.85
正在驗證 : 113.106.73.210
正在驗證 : 114.247.21.212
正在驗證 : 122.72.76.122
正在驗證 : 219.239.26.23
正在驗證 : 222.89.154.14
正在驗證 : 58.67.147.197
正在驗證 : 222.188.88.26
正在驗證 : 103.247.16.241
正在驗證 : 183.221.250.141
正在驗證 : 183.221.250.137
正在驗證 : 122.72.80.108
正在驗證 : 122.72.76.125
正在驗證 : 122.72.11.131
正在驗證 : 122.72.80.101
正在驗證 : 122.72.120.41
正在驗證 : 122.72.120.38
正在驗證 : 122.72.120.35
正在驗證 : 218.203.105.26
正在驗證 : 221.130.18.211
正在驗證 : 110.77.236.48
正在驗證 : 218.91.206.146
正在驗證 : 211.162.16.210
成功采集 114.247.21.212 0.300999879837
成功采集 218.203.105.26 0.306999921799
成功采集 221.176.169.14 0.417000055313
成功采集 122.72.120.35 0.369999885559
采集失敗 218.5.74.174 :timeout
成功采集 122.72.120.38 0.40900015831
成功采集 183.221.250.137 0.608999967575
成功采集 122.72.11.131 0.679999828339
成功采集 183.221.250.141 0.791000127792
成功采集 113.106.73.210 0.891000032425
成功采集 122.72.76.121 1.40299987793
成功采集 122.72.80.108 1.4470000267
成功采集 211.162.16.210 1.625
成功采集 122.72.76.125 1.6819999218
成功采集 112.5.254.85 1.74399995804
成功采集 122.72.80.101 1.79799985886
成功采集 122.72.11.129 2.00900006294
成功采集 122.72.120.41 1.99099993706
采集失敗 222.188.88.26 :timeout
成功采集 122.72.76.122 3.49100017548
成功采集 218.91.206.146 3.66000008583
成功采集 122.10.48.13 3.91799998283
成功采集 222.89.154.14 3.93499994278
成功采集 222.89.159.131 3.99699997902
成功采集 221.130.18.211 3.99500012398
采集失敗 219.224.101.81 :timeout采集失敗 218.203.107.165 :timeout
采集失敗 58.67.147.197 :timeout
采集失敗 103.247.16.241 :timeout
采集失敗 110.77.236.48 :timeout
成功采集 219.239.26.23 12.2809998989
獲取有效代理 24 個,現在開始排序和保存
總共用時 13.2810001373

相關文章

  • 基于PyQT5制作英雄聯盟全皮膚下載器

    基于PyQT5制作英雄聯盟全皮膚下載器

    這篇文章主要介紹了基于PyQt5制作的簡易英雄聯盟全皮膚下載器,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起動手嘗試一下
    2022-02-02
  • python讀寫Excel表格的實例代碼(簡單實用)

    python讀寫Excel表格的實例代碼(簡單實用)

    這篇文章主要介紹了python讀寫Excel表格的方法,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-12-12
  • Python 如何創(chuàng)建一個線程池

    Python 如何創(chuàng)建一個線程池

    這篇文章主要介紹了Python 如何創(chuàng)建一個線程池,文中講解非常細致,代碼幫助大家更好的理解和學習,感興趣的朋友可以了解下
    2020-07-07
  • python檢測空間儲存剩余大小和指定文件夾內存占用的實例

    python檢測空間儲存剩余大小和指定文件夾內存占用的實例

    今天小編就為大家分享一篇python檢測空間儲存剩余大小和指定文件夾內存占用的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06
  • bpython 功能強大的Python shell

    bpython 功能強大的Python shell

    bpython是一個不錯的Python解釋器的界面,本文帶著大家了解認識一下bpython,感興趣的小伙伴們可以參考一下
    2016-02-02
  • 詳細介紹Scrapy?shell的使用教程

    詳細介紹Scrapy?shell的使用教程

    Scrapy?shell是一個非常有用的工具,可以幫助開發(fā)者快速地測試和調試Scrapy的爬蟲代碼,這篇文章主要介紹了詳細介紹Scrapy?shell的使用,需要的朋友可以參考下
    2023-05-05
  • 使用python怎樣產生10個不同的隨機數

    使用python怎樣產生10個不同的隨機數

    這篇文章主要介紹了使用python實現產生10個不同的隨機數方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Python中re模塊的常用方法總結

    Python中re模塊的常用方法總結

    這篇文章主要給大家介紹了關于Python中re模塊的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-04-04
  • python文件處理筆記之文本文件

    python文件處理筆記之文本文件

    相信大家在測試任務過程中都或多或少遇到自己處理文本文件的情況,這篇文章主要給大家介紹了關于python文件處理筆記之文本文件的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2021-08-08
  • Python中asyncore異步模塊的用法及實現httpclient的實例

    Python中asyncore異步模塊的用法及實現httpclient的實例

    asyncore即是一個異步的socket封裝,特別是dispatcher類中包含了很多異步調用的socket操作方法,非常犀利,下面我們就來講解Python中asyncore異步模塊的用法及實現httpclient的實例
    2016-06-06

最新評論