import aiohttp
import threading
from collections import Counter
# 定義一個(gè)全局變量，用于存儲(chǔ)分類(lèi)結(jié)果
categories = Counter()
# 定義一個(gè)函數(shù)，用于根據(jù)文本內(nèi)容進(jìn)行分類(lèi)
def classify(text):
    # 這里可以使用任何文本分類(lèi)的方法，例如正則表達(dá)式、機(jī)器學(xué)習(xí)等
    # 這里為了簡(jiǎn)單起見(jiàn)，只使用了簡(jiǎn)單的字符串匹配
    if "Python" in text:
        return "Python"
    elif "Java" in text:
        return "Java"
    elif "C++" in text:
        return "C++"
    else:
        return "Other"
async def fetch_page(url, proxy):
    # 創(chuàng)建一個(gè) aiohttp 的 ClientSession 對(duì)象，并指定代理IP和端口
    async with aiohttp.ClientSession(proxy=proxy) as session:
        # 使用 session.get 方法發(fā)送請(qǐng)求，并獲取響應(yīng)對(duì)象
        async with session.get(url) as response:
            # 返回響應(yīng)的文本內(nèi)容
            return await response.text()
async def main():
    urls = ["https://www.baidu.com/s?wd=" + str(i) for i in range(10)] # 生成十個(gè)百度搜索網(wǎng)址
    # 假設(shè)有一個(gè)文件 16yun.txt，每行存儲(chǔ)一個(gè)代理host和端口，例如 www.16yun.cn:3333
    # 讀取文件中的所有代理，并存儲(chǔ)在一個(gè)列表中
    with open("16yun.txt") as f:
        proxies = [line.strip() for line in f]
    tasks = [] # 創(chuàng)建一個(gè)空列表，用于存儲(chǔ) task 對(duì)象
    # 遍歷 urls 和 proxies 列表，為每個(gè) url 配對(duì)一個(gè) proxy，并創(chuàng)建 task 對(duì)象
    for url, proxy in zip(urls, proxies):
        task = asyncio.create_task(fetch_page(url, proxy))
        tasks.append(task)
    results = await asyncio.gather(*tasks) # 同時(shí)運(yùn)行所有 task 并獲取結(jié)果
    # 創(chuàng)建一個(gè)線(xiàn)程池，用于執(zhí)行分類(lèi)任務(wù)
    pool = threading.ThreadPoolExecutor(max_workers=4)
    for result in results:
        print(result[:100]) # 打印每個(gè)網(wǎng)頁(yè)的前 100 個(gè)字符
        # 使用線(xiàn)程池提交一個(gè)分類(lèi)任務(wù)，并更新全局變量 categories
        category = pool.submit(classify, result).result()
        categories[category] += 1
    # 關(guān)閉線(xiàn)程池并等待所有任務(wù)完成
    pool.shutdown(wait=True)
    # 打印最終的分類(lèi)結(jié)果
    print(categories)
asyncio.run(main()) # 運(yùn)行主協(xié)程