#vim keyword.py 
import urllib,urllib2,cookielib,re,sys,os,time,random 
cj = cookielib.CookieJar() 
vibramkey=['cheap+five+fingers','vibram+five+fingers'] 
beatskey=['beats+by+dre','beats+by+dre+cheap'] 
vibramweb=['vibramforshoes.com','vibramfivetoeshoes.net','vibramfivefingersshoesx.com '] 
beatsweb=['beatsbydre.com','justlovebeats.com'] 
allweb=['vibramweb','beatsweb'] 
def serchkey(key,start): 
    url="http://www.google.com/search?hl=en&q=%s&revid=33815775&sa=X&ei=X6CbT4GrIoOeiQfth43GAw&ved=0CIgBENUCKAY&start=%s" %(key,start) 
    try: 
        opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
        opener.addheaders = [('User-agent', 'Opera/9.23')] 
        urllib2.install_opener(opener) 
        req=urllib2.Request(url) 
        response =urllib2.urlopen(req) 
        content = response.read() 
        f=open('google','w') 
        f.write(content) 
        tiqu=os.popen("grep -ioP '(?<=<cite>).*?(?=</cite>)' google|sed -r 's/(<*\/*cite>|<\/*b>)//g'").readlines() 
    except: 
        changeip() 
    else: 
        for yuming in pinpai: 
                a=1 
                for shouyuming in tiqu: 
                    real=shouyuming.find(yuming) 
                    if real>0: 
                        if start==0: 
                            page=1 
                        elif start==10: 
                            page=2 
                        elif start==20: 
                            page=3 
                        elif start==30: 
                            page=4 
                        else: 
                            page=5 
                        lastkey=key.replace("+"," ") 
                        xinxi="%s\t\t %s\t\t page%s,%s<br>\n" %(yuming,lastkey,page,a) 
                        xinxifile=open('index.html','a') 
                        xinxifile.write(xinxi) 
                        xinxifile.close() 
                    a=a+1 
def changeip(): 
    ip=random.randint(0,2) 
    de="route del -host google.com" 
    add="route add -host google.com eth1:%s" %ip 
    os.system(de) 
    os.system(add) 
    print "changip to %s" %ip 
pinpaiid=0 
for x in vibramkey,beatskey: 
    if  pinpaiid == 0: 
        pinpai=vibramweb 
    elif pinpaiid == 1: 
        pinpai=beatsweb 
pinpaiid=pinpaiid+1 
    for key in x: 
        for start in 0,10,20,30,40: 
            serchkey(key,start) 
    changeip()    
os.system("sh paiban.sh") 

#vim paiban.sh 
#! /bin/bash 
sort index.html -o index.html 
line=`wc -l index.html|awk '{print $1}'` 
yuming2=`sed -n 1p index.html|awk '{print $1}'` 
for i in `seq 2 $line` 
do 
yuming=`sed -n "$i"p index.html|awk '{print $1}'` 
if [ $yuming == $yuming2 ];then 
sed -i ""$i"s/"$yuming"/\t\t/g" index.html 
else 
yuming2=$yuming 
fi 
done 

import urllib,urllib2,cookielib,re,sys,os,time,random  #加載模塊 
cj = cookielib.CookieJar() 
vibramkey=['cheap+five+fingers','vibram+five+fingers'] #定義要查詢(xún)的關(guān)鍵詞組1，里面的單引號(hào)里面就是要查詢(xún)的關(guān)鍵詞。 
beatskey=['beats+by+dre','beats+by+dre+cheap']    #同上，定義關(guān)鍵詞組2，這個(gè)是另一組關(guān)鍵詞。 
vibramweb=['vibramforshoes.com','vibramfivetoeshoes.net','vibramfivefingersshoesx.com '] 
#定義關(guān)健詞組1要查詢(xún)的網(wǎng)站 
beatsweb=[' beatsbydre.com',' justlovebeats.com'] #定義關(guān)健詞組2要查詢(xún)的網(wǎng)站 
allweb=['vibramweb','beatsweb']  #這里定義了一個(gè)所有網(wǎng)站的組，下面好調(diào)用。 
def serchkey(key,start): #這里定義一個(gè)函數(shù)，key為查詢(xún)的關(guān)健詞，start為頁(yè)面，通過(guò)google查詢(xún)頁(yè)面可以看出來(lái)每個(gè)頁(yè)面除ads外只有十條記錄，start=0時(shí)顯示為第一個(gè)頁(yè)面第一至第十條記錄，start=10時(shí)，顯示第二頁(yè)的第一至十條記錄，以些類(lèi)推。 
    url="http://www.google.com/search?hl=en&q=%s&revid=33815775&sa=X&ei=X6CbT4GrIoOeiQfth43GAw&ved=0CIgBENUCKAY&start=%s" %(key,start)  #這個(gè)定義了查詢(xún)的URL 
    try: 
        opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
        opener.addheaders = [('User-agent', 'Opera/9.23')] #模擬瀏覽器訪(fǎng)問(wèn) 
        urllib2.install_opener(opener) 
        req=urllib2.Request(url) #用urllib2訪(fǎng)問(wèn) 
        response =urllib2.urlopen(req) 
        content = response.read()#這塊是模擬瀏覽器進(jìn)行訪(fǎng)問(wèn)url的頁(yè)面并讀取源代碼 
        f=open('google','w') 
        f.write(content) #將讀取出來(lái)的內(nèi)容保存到google的一個(gè)頁(yè)面里。 
        tiqu=os.popen("grep -ioP '(?<=<cite>).*?(?=</cite>)' google|sed -r 's/(<*\/*cite>|<\/*b>)//g'").readlines() #這里利用了系統(tǒng)命令了。利用正則的零寬斷言提直接取出第一到第十位的網(wǎng)站域名。 
    except: 
        changeip() #這邊是怕訪(fǎng)問(wèn)過(guò)多被google封了。所以這里有一個(gè)換ip的函數(shù)，下面有定義。上面如果try失敗了，就執(zhí)行換ip的動(dòng)作。 
    else: 
        for yuming in pinpai:    #循環(huán)讀取要查找的網(wǎng)站 
                a=1 
                for shouyuming in tiqu:  #循環(huán)讀取查找出來(lái)的網(wǎng)站 
                    real=shouyuming.find(yuming)  #將查找出來(lái)的網(wǎng)站與需要查找的網(wǎng)站進(jìn)行比對(duì) 
                    if real>0: 
                        if start==0: 
                            page=1 
                        elif start==10: 
                            page=2 
                        elif start==20: 
                            page=3 
                        elif start==30: 
                            page=4 
                        else: 
                            page=5 
         #這里的查看域名在google搜索后的哪一頁(yè)。 
                        lastkey=key.replace("+"," ") #將定義的關(guān)鍵詞中間的加號(hào)去掉。 
                        print yuming,lastkey,page,a 
                        xinxi="%s\t\t %s\t\t 第%s頁(yè),排名%s\n" %(yuming,lastkey,page,a) 
                        xinxifile=open('index.html','a') 
                        xinxifile.write(xinxi) 
                        xinxifile.close() #將查找出來(lái)的信息寫(xiě)入到index.html文件里 
                    aa=a+1 
def changeip():  #這里是定義查詢(xún)時(shí)換ip的函數(shù)。如果機(jī)器只有一個(gè)ip那就不用這段了。 
    ip=random.randint(0,10)         #隨機(jī)生成0-10的數(shù) 
    del="route del -host google.com"      #刪除路由命令 
    add="route add -host google.com eth1:%s" %ip #添加路由命令 
    os.system(del)                #執(zhí)行刪除路由命令 
    os.system(add)   #執(zhí)行添加路由命令 
    print "changip to %s" %ip           #打印更改路由信息 
pinpaiid=0  
for x in vibramkey,beatskey:     #循環(huán)所有的關(guān)鍵詞組 
    if  pinpaiid == 0:     # 對(duì)應(yīng)關(guān)鍵詞組與要查詢(xún)的網(wǎng)站組 
        pinpai=vibramweb 
    elif pinpaiid == 1: 
        pinpai=beatsweb 
pinpaiidpinpaiid=pinpaiid+1 
    for key in x:        #循環(huán)關(guān)鍵詞組里的關(guān)鍵詞 
        for start in 0,10,20,30,40:    #定義所要查找的google的頁(yè)面 
            serchkey(key,start)   
    changeip()              #更改ip函數(shù)。在每一組關(guān)鍵詞查詢(xún)完畢后更改ip. 

#sh  paiban.sh 
#cat index.html 
beatsbydre.com          beats by dre cheap       page 2,rank 2 
                 beats by dre cheap       page 2,rank 3 
                 beats by dre cheap       page 5,rank 10 
                 beats by dre          page 1,rank 1 
justlovebeats.com        beats by dre          page 5,rank 7 
vibramfivetoeshoes.net      cheap five fingers       page 5,rank 5 
                 vibram five fingers       page 5,rank 10 
vibramforshoes.com        cheap five fingers       page 1,rank 3 
                 vibram five fingers       page 1,rank 6 

#vim paiban.sh 
#! /bin/bash 
sort index.html -o index.html          #先把index.html文件排下序，再寫(xiě)入index.html 
line=`wc -l index.html|awk '{print $1}'`     #統(tǒng)計(jì)行 
yuming2=`sed -n 1p index.html|awk '{print $1}'`  #取第一行的域名 給yuming2 
for i in `seq 2 $line`              #從第二行開(kāi)始了取域名 
do 
yuming=`sed -n "$i"p index.html|awk '{print $1}'` 
if [ $yuming == $yuming2 ];then        
sed -i ""$i"s/"$yuming"/\t\t/g" index.html    #如果下一行域名與yuming2域名相同，就把下一行域名替換成空 
else 
yuming2=$yuming                  #如果不相等，就把下一行的域名給yuming2變量       
fi 
done