https://cn.bing.com/search?q=內(nèi)容&first=0 第一頁(yè)
https://cn.bing.com/search?q=內(nèi)容&first=10 第二頁(yè)
https://cn.bing.com/search?q=內(nèi)容&first=20 第三頁(yè)

頁(yè)數(shù) = First*10

分析完畢，我們來(lái)請(qǐng)求看一下

def req():
    url = 'https://cn.bing.com/search?q=小陳&first=0'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
    req = requests.get(url,headers=headers)
    html = req.content
    print html

Ok，沒(méi)毛病

00x3：分析需要采集的url

分析需要采集的url在哪個(gè)位置

得出正則：(.*?)

正則表達(dá)式學(xué)習(xí)：（百度搜：python 正則表達(dá)式）

def reurl():
    urlr = r'<cite>(.*?)</cite>'
    reurl = re.findall(urlr,html)
    print reurl

就在我請(qǐng)求第二頁(yè)的時(shí)候發(fā)現(xiàn)了問(wèn)題

可以看到請(qǐng)求內(nèi)容和第一頁(yè)一樣，有某種驗(yàn)證機(jī)制

一般情況下驗(yàn)證機(jī)制，表示特定參數(shù)

經(jīng)過(guò)多次測(cè)試，發(fā)現(xiàn)缺少 Cookie: _EDGE_V=1;

請(qǐng)求正常，大致已經(jīng)完成

接下來(lái)只需要給關(guān)鍵詞和頁(yè)數(shù)變量就ok了

00x4：搜索

再搜索site:baidu.com 又出現(xiàn)了問(wèn)題

于是修改正則為：

'target="_blank" href="(http.*?\..*?\..*?)" h="'

有很多我們不想要的結(jié)果，我們?cè)賮?lái)遍歷下采集的urls

做一下處理

正則為：

(http[s]?://.*?)/

代碼為：

def url():
    for url in urls:
        urlr = r'(http[s]?://.*?)/'
        url = re.findall(urlr,url)
        print url

print url 改為 print url[0] 再進(jìn)行處理一下

可以看到下面還有重復(fù)的url，對(duì)url去重一下

def qc():#去重復(fù)
    for url in url_ok:
        if url in url_bing:
            continue
        url_bing.append(url)

00x5：自動(dòng)保存

接下來(lái)我們要讓他自動(dòng)保存到url_bing.txt

with open('url_bing.txt','a+')as f:
    for url in url_bing:
        print url
        f.write(url+"\n")
    print "Save as url_bing.txt"

00x6：完整代碼

 
#!/usr/bin/python
#-*- coding:utf-8 -*-
import requests
import re
urls = []
url_ok = []
url_bing=[]
def req(q,first):
    global html
    url = 'https://cn.bing.com/search?q=%s&first=%s'%(q,first)
    print url
    headers = {
        'Host':'cn.bing.com',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0',
        'Cookie': '_EDGE_V=1;'
    }
    req = requests.get(url,headers=headers)
    html = req.content
def reurl():#正則匹配url
    urlr = r'target="_blank" href="(http.*?\..*?\..*?)" h="'
    reurl = re.findall(urlr,html)
    for url in reurl:
        if url not in urls:
            urls.append(url)
def url():#url二次處理
    for url in urls:
        urlr = r'(http[s]?://.*?)/'
        url = re.findall(urlr,url)
        url_ok.append(url[0])
def qc():#去重復(fù)
    for url in url_ok:
        if url in url_bing:
            continue
        url_bing.append(url)
if __name__ == '__main__':
    q = raw_input('\nkey:')
    page = input('page:')
    for first in range(0, page):
        req(q, first * 10)
        reurl()
    url()
    qc()
    with open('url_bing.txt','a+')as f:
        for url in url_bing:
            print url
            f.write(url+"\n")
        print "Save as url_bing.txt"

以上就是PyHacker編寫URL批量采集器的詳細(xì)內(nèi)容，更多關(guān)于PyHacker批量采集URL的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: