proxies_dict = {
    "http": "http://" + ip:端口,
    "https": "http://" + ip:端口,
}

# 導(dǎo)入數(shù)據(jù)請(qǐng)求模塊
import requests  # 數(shù)據(jù)請(qǐng)求模塊 第三方模塊 pip install requests
# 導(dǎo)入 正則表達(dá)式模塊
import re  # 內(nèi)置模塊
# 導(dǎo)入數(shù)據(jù)解析模塊
import parsel  # 數(shù)據(jù)解析模塊 第三方模塊 pip install parsel  >>> 這個(gè)是scrapy框架核心組件


lis = []
lis_1 = []

# 1. 發(fā)送請(qǐng)求, 對(duì)于目標(biāo)網(wǎng)址發(fā)送請(qǐng)求 https://www.kuaidaili.com/free/
for page in range(11, 21):
    url = f'https://www.kuaidaili.com/free/inha/{page}/'  # 確定請(qǐng)求url地址
    """
    headers 請(qǐng)求頭 作用偽裝python代碼
    """
    # 用requests模塊里面get 方法 對(duì)于url地址發(fā)送請(qǐng)求, 最后用response變量接收返回?cái)?shù)據(jù)
    response = requests.get(url)
    # <Response [200]>  請(qǐng)求之后返回response響應(yīng)對(duì)象, 200狀態(tài)碼表示請(qǐng)求成功
    # 2. 獲取數(shù)據(jù), 獲取服務(wù)器返回響應(yīng)數(shù)據(jù)(網(wǎng)頁(yè)源代碼)  response.text 獲取響應(yīng)體文本數(shù)據(jù)
    # print(response.text)
    # 3. 解析數(shù)據(jù), 提取我們想要的數(shù)據(jù)內(nèi)容
    """
    解析數(shù)據(jù)方式方法:
        正則: 可以直接提取字符串?dāng)?shù)據(jù)內(nèi)容
    需要把獲取下來(lái)html字符串?dāng)?shù)據(jù) 進(jìn)行轉(zhuǎn)換
        xpath: 根據(jù)標(biāo)簽節(jié)點(diǎn) 提取數(shù)據(jù)內(nèi)容
        css選擇器: 根據(jù)標(biāo)簽屬性提取數(shù)據(jù)內(nèi)容 
        
        哪一種方面用那種, 那是喜歡用那種
    """
    # 正則表達(dá)式提取數(shù)據(jù)內(nèi)容
    """
    # 正則提取數(shù)據(jù) re.findall() 調(diào)用模塊里面的方法
    # 正則 遇事不決 .*? 可以匹配任意字符(除了換行符\n以外) re.S
    
    ip_list = re.findall('<td data-title="IP">(.*?)</td>', response.text, re.S)
    port_list = re.findall('<td data-title="PORT">(.*?)</td>', response.text, re.S)
    print(ip_list)
    print(port_list)
    """
    # css選擇器:
    """
    # css選擇器提取數(shù)據(jù) 需要把獲取下來(lái)html字符串?dāng)?shù)據(jù)(response.text) 進(jìn)行轉(zhuǎn)換
    # 我不會(huì)css 或者 xpath 怎么辦
    # #list > table > tbody > tr > td:nth-child(1)
    # //*[@id="list"]/table/tbody/tr/td[1]
    selector = parsel.Selector(response.text) # 把html 字符串?dāng)?shù)據(jù)轉(zhuǎn)成 selector 對(duì)象
    ip_list = selector.css('#list tbody tr td:nth-child(1)::text').getall()
    port_list = selector.css('#list tbody tr td:nth-child(2)::text').getall()
    print(ip_list)
    print(port_list)
    """
    # xpath 提取數(shù)據(jù)
    selector = parsel.Selector(response.text) # 把html 字符串?dāng)?shù)據(jù)轉(zhuǎn)成 selector 對(duì)象
    ip_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[1]/text()').getall()
    port_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[2]/text()').getall()
    # print(ip_list)
    # print(port_list)
    for ip, port in zip(ip_list, port_list):
        # print(ip, port)
        proxy = ip + ':' + port
        proxies_dict = {
            "http": "http://" + proxy,
            "https": "http://" + proxy,
        }
        # print(proxies_dict)
        lis.append(proxies_dict)
        # 4.檢測(cè)IP質(zhì)量
        try:
            response = requests.get(url=url, proxies=proxies_dict, timeout=1)
            if response.status_code == 200:
                print('當(dāng)前代理IP: ', proxies_dict,  '可以使用')
                lis_1.append(proxies_dict)
        except:
            print('當(dāng)前代理IP: ', proxies_dict,  '請(qǐng)求超時(shí), 檢測(cè)不合格')



print('獲取的代理IP數(shù)量: ', len(lis))
print('獲取可用的IP代理數(shù)量: ', len(lis_1))
print('獲取可用的IP代理: ', lis_1)

dit = {
    'http': 'http://110.189.152.86:40698',
    'https': 'http://110.189.152.86:40698'
}