# 返回一個(gè)可用代理，格式為ip:端口
  # 該接口直接調(diào)用github代理池項(xiàng)目給的例子，故不保證該接口實(shí)時(shí)可用
  # 建議自己搭建一個(gè)本地代理池，這樣獲取代理的速度更快
  # 代理池搭建github地址https://github.com/1again/ProxyPool
  # 搭建完畢后，把下方的proxy.1again.cc改成你的your_server_ip，本地搭建的話可以寫成127.0.0.1或者localhost
  def get_proxy():
    data_json = requests.get("http://proxy.1again.cc:35050/api/v1/proxy/?type=2").text
    data = json.loads(data_json)
    return data['data']['proxy']

  # 將所有基金代碼放入先進(jìn)先出FIFO隊(duì)列中
  # 隊(duì)列的寫入和讀取都是阻塞的，故在多線程情況下不會(huì)亂
  # 在不使用框架的前提下，引入多線程，提高爬取效率
  # 創(chuàng)建一個(gè)隊(duì)列
  fund_code_queue = queue.Queue(len(fund_code_list))
  # 寫入基金代碼數(shù)據(jù)到隊(duì)列
  for i in range(len(fund_code_list)):
    #fund_code_list[i]也是list類型，其中該list中的第0個(gè)元素存放基金代碼
    fund_code_queue.put(fund_code_list[i][0])

  # 獲取基金數(shù)據(jù)
  def get_fund_data():

    # 當(dāng)隊(duì)列不為空時(shí)
    while (not fund_code_queue.empty()):

      # 從隊(duì)列讀取一個(gè)基金代碼
      # 讀取是阻塞操作
      fund_code = fund_code_queue.get()

      # 獲取一個(gè)代理，格式為ip:端口
      proxy = get_proxy()

      # 獲取一個(gè)隨機(jī)user_agent和Referer
      header = {'User-Agent': random.choice(user_agent_list),
           'Referer': random.choice(referer_list)
      }
      try:
        req = requests.get("http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js", proxies={"http": proxy}, timeout=3, headers=header)
      except Exception:
        # 訪問(wèn)失敗了，所以要把我們剛才取出的數(shù)據(jù)再放回去隊(duì)列中
        fund_code_queue.put(fund_code)
        print("訪問(wèn)失敗，嘗試使用其他代理訪問(wèn)")

  # 申請(qǐng)獲取鎖，此過(guò)程為阻塞等待狀態(tài)，直到獲取鎖完畢
  mutex_lock.acquire()
  # 追加數(shù)據(jù)寫入csv文件，若文件不存在則自動(dòng)創(chuàng)建
  with open('./fund_data.csv', 'a+', encoding='utf-8') as csv_file:
    csv_writer = csv.writer(csv_file)
    data_list = [x for x in data_dict.values()]
    csv_writer.writerow(data_list)
  # 釋放鎖
  mutex_lock.release()

  # user_agent列表
  user_agent_list = [
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36'
  ]
  # referer列表
  referer_list = [
    'http://fund.eastmoney.com/110022.html',
    'http://fund.eastmoney.com/110023.html',
    'http://fund.eastmoney.com/110024.html',
    'http://fund.eastmoney.com/110025.html'
  ]
  # 獲取一個(gè)隨機(jī)user_agent和Referer
  header = {'User-Agent': random.choice(user_agent_list),
       'Referer': random.choice(referer_list)
  }

  # 創(chuàng)建一個(gè)線程鎖，防止多線程寫入文件時(shí)發(fā)生錯(cuò)亂
  mutex_lock = threading.Lock()
  # 線程數(shù)為50，在一定范圍內(nèi)，線程數(shù)越多，速度越快
  for i in range(50):
    t = threading.Thread(target=get_fund_data,name='LoopThread'+str(i))
    t.start()

# 確保安裝以下庫(kù)，如果沒(méi)有，請(qǐng)?jiān)趐ython3環(huán)境下執(zhí)行pip install 模塊名
  import requests
  import random
  import re
  import queue
  import threading
  import csv
  import json