import time
import requests
import parsel
#新建一個(gè)列表用來存儲(chǔ)完整ip數(shù)據(jù)
proxies_list = []
for page in range(1,8):
    print(f"===========正在爬取第{page}====================")
    time.sleep(1)
    url = 'http://www.ip3366.net/free/?stype=1&page={page_turn}'.format(page_turn=page) #服務(wù)器獲取數(shù)據(jù)
#瀏覽器的身份標(biāo)識(shí)
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url,headers=headers)
    #指定一個(gè)編碼 = 獲取一個(gè)編碼
    response.encoding = response.apparent_encoding
    html_data = response.text

#3.數(shù)據(jù)解析 使用xpath 方法，xpath專門用于解析html頁面
    selector = parsel.Selector(html_data) #轉(zhuǎn)換數(shù)據(jù)類型
    # print(selector)
    trs = selector.xpath('//table/tbody/tr')
    # print(trs)
    #將拼接好的完整地址保存在一個(gè)名為proxies_list的列表中
    #遍歷每一個(gè)tr標(biāo)簽
    for tr in trs:
        ip = tr.xpath('./td[1]/text()').get()
        adr = tr.xpath('./td[2]/text()').get()
        # print(ip,adr)

proxies_dict = {
            #字符串的拼接
            "http":"http://"+ip+":"+adr,
            "https":"https://"+ip+":"+adr,
        }

proxies_list.append(proxies_dict)

def check_ip(proxies_list):
    """ 代理檢測(cè)"""
    #將高質(zhì)量可用代理存儲(chǔ)起來
    can_user= []
    for proxie in proxies_list:
        #發(fā)送一個(gè)請(qǐng)求以便得到該代理的狀態(tài)碼
        try:
            response = proxie.get(url='https://www.baidu.com',proxies=proxie,timeout=2)
            if response.status_code == 200: #如果該IP訪問百度后，返回的狀態(tài)碼為200時(shí)，說明該地阿里可以使用
                #將該代理保存起來
                can_user.append(proxie)
        except:
            print('當(dāng)前代理:',proxie,'請(qǐng)求時(shí)間過長(zhǎng)不可用')
        #如果代理可用則執(zhí)行else中的語句
        else:
            print('當(dāng)前代理:', proxie, '可以使用')
    return can_user

response.status_code == 200

can_user = check_ip(proxies_list)
print('可以使用的代理:',can_user)
print('可以使用的代理數(shù)量為:',len(can_user))

#建立步驟：
'''
爬取提供免費(fèi)代理的網(wǎng)站數(shù)據(jù)（ip地址 端口號(hào)，地址信息）
  1.尋找數(shù)據(jù)地址
  2.發(fā)送請(qǐng)求
  3.需要的數(shù)據(jù)（頁面解析保存下來），或者不需要的數(shù)據(jù)（剔除）
  4.需要的數(shù)據(jù)保存（IP地址，端口，拼接https://）
'''
import time
import requests
# 安裝parsel時(shí)報(bào)錯(cuò)，經(jīng)過排查應(yīng)該是鏡像源的問題（網(wǎng)絡(luò)上說是盡量使用國(guó)內(nèi)鏡像源，國(guó)外網(wǎng)速不行，我使用的就是阿里云的鏡像）應(yīng)該是阿里云的鏡像不行，我換了一個(gè)豆瓣的鏡像源
#具體使用辦法在安裝包的后面添加上，通過那個(gè)鏡像源：pip install parsel -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com   把”庫(kù)包名“換成你要安裝的包的名稱即可；
import parsel
#使用代理：
#定義一個(gè)函數(shù)：
def check_ip(proxies_list):
    """ 代理檢測(cè)"""
    #將高質(zhì)量可用代理存儲(chǔ)起來
    can_user= []
    for proxie in proxies_list:
        #發(fā)送一個(gè)請(qǐng)求以便得到該代理的狀態(tài)碼
        try:
            response = proxie.get(url='https://www.baidu.com',proxies=proxie,timeout=2)
            if response.status_code == 200: #如果該IP訪問百度后，返回的狀態(tài)碼為200時(shí)，說明該地阿里可以使用
                #將該代理保存起來
                can_user.append(proxie)
        except:
            print('當(dāng)前代理:',proxie,'請(qǐng)求時(shí)間過長(zhǎng)不可用')
        #如果代理可用則執(zhí)行else中的語句
        else:
            print('當(dāng)前代理:', proxie, '可以使用')
    return can_user
 
#1.尋找數(shù)據(jù)的地址
proxies_list = []
for page in range(1,8):
    print(f"===========正在爬取第{page}====================")
    time.sleep(1)
    url = 'http://www.ip3366.net/free/?stype=1&page={page_turn}'.format(page_turn=page) #服務(wù)器獲取數(shù)據(jù)
#瀏覽器的身份標(biāo)識(shí)
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url,headers=headers)
    #指定一個(gè)編碼 = 獲取一個(gè)編碼
    response.encoding = response.apparent_encoding
    html_data = response.text
    #3.數(shù)據(jù)解析 使用xpath 方法，xpath專門用于解析html頁面
    selector = parsel.Selector(html_data) #轉(zhuǎn)換數(shù)據(jù)類型
    # print(selector)
    trs = selector.xpath('//table/tbody/tr')
    # print(trs)
    #將拼接好的完整地址保存在一個(gè)名為proxies_list的列表中
    #遍歷每一個(gè)tr標(biāo)簽
    for tr in trs:
        ip = tr.xpath('./td[1]/text()').get()
        adr = tr.xpath('./td[2]/text()').get()
        # print(ip,adr)
        proxies_dict = {
            #字符串的拼接
            "http":"http://"+ip+":"+adr,
            "https":"https://"+ip+":"+adr,
        }
        proxies_list.append(proxies_dict)
        print('獲取成功',proxies_dict)
 
    #break 次break是為了檢測(cè)第一頁數(shù)據(jù)返回是否正常，其實(shí)我獲取的所有免費(fèi)代理
print(proxies_list)
print('獲取的代理數(shù)據(jù)為：',len(proxies_list))
    # proxies_list.append(proxies_dict)
print('==========================正在檢測(cè)代理======================')
can_user = check_ip(proxies_list)
print('可以使用的代理:',can_user)
print('可以使用的代理數(shù)量為:',len(can_user))