欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python requests更換代理適用于IP頻率限制的方法

 更新時間：2019年08月21日 09:18:09   作者：一只小coder  
今天小編就為大家分享一篇python requests更換代理適用于IP頻率限制的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

有些網(wǎng)址具有IP限制，比如同一個IP一天只能點(diǎn)贊一次。

解決方法就是更換代理IP。

從哪里獲得成千上萬的IP呢? 百度“http代理” 可獲得一大堆網(wǎng)站。

比如某代理網(wǎng)站，1天6元，可以無限提取。

把提取的IP,保存到txt文件中。

寫一個方法，讀取文件，存入數(shù)組中

def getProxysFromFile():
 with open("proxy.txt", "r") as f:
  l = f.readlines()
 return l

比如執(zhí)行某任務(wù)，傳入單個代理IP+PORT

def run(proxy):
 
 try:
  print("proxy:{}".format(proxy))
  s=requests.Session()
  proxies={
  "http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip())
  }
  header={
   "Host":"www.xxx.com",
   "Referer":"http://www.xxx.com/xxx.html?199",
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
 
  }
  ret=s.get(url="http://www.xxx.com/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4)
  rc=ret.content.decode("utf-8")
  print(rc)
  if "成功" in rc:
   global count
   count+=1
   print(count)
 except:
  pass

接下來就是調(diào)度，簡單寫了個調(diào)度，比如每隔5秒鐘，啟動100個線程去執(zhí)行。（這里為了簡單，在上面的run中設(shè)置了超時時間為4秒，所以能保證不會導(dǎo)致啟動的線程太多未完成卡死）

if __name__ == '__main__':
 count=1
 l=getProxysFromFile()
 while True:
  for i in range(100):
   try:
    t=threading.Thread(target=run,args=(l.pop(),))
    t.start()
   except:
    pass
  time.sleep(5)

效果如下，速度還是很快的。

以上這篇python requests更換代理適用于IP頻率限制的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評論