#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
import urllib.request
# 構(gòu)建一個(gè)HTTPHandler處理器對(duì)象，支持處理HTTP請(qǐng)求。
http_handler = urllib.request.HTTPHandler()
# # 構(gòu)建一個(gè)HTTPSHandler處理器對(duì)象，支持處理HTTPS請(qǐng)求
# https_handler = urllib.request.HTTPSHandler()
# 調(diào)用urllib.request.build_opener()方法，創(chuàng)建支持處理HTTP請(qǐng)求的opener對(duì)象
opener = urllib.request.build_opener(http_handler)
# 構(gòu)建Request請(qǐng)求
request = urllib.request.Request("http://www.baidu.com/")
# 調(diào)用自定義opener對(duì)象的open()方法，發(fā)送request請(qǐng)求
response = opener.open(request)
# 獲取服務(wù)器響應(yīng)內(nèi)容
html = response.read()
print(html)

# 僅需要修改的代碼部分：
# 構(gòu)建一個(gè)HTTPHandler 處理器對(duì)象，支持處理HTTP請(qǐng)求，同時(shí)開啟Debug Log，debuglevel 值默認(rèn) 0
http_handler = urllib.request.HTTPHandler(debuglevel = 1)
# 構(gòu)建一個(gè)HTTPHSandler 處理器對(duì)象，支持處理HTTPS請(qǐng)求，同時(shí)開啟Debug Log，debuglevel 值默認(rèn) 0
https_handler = urllib.request.HTTPSHandler(debuglevel = 1)

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
"""
ProxyHandler處理器（代理設(shè)置）
很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪問(wèn)次數(shù)（通過(guò)流量統(tǒng)計(jì)，系統(tǒng)日志等），如果
訪問(wèn)次數(shù)多的不像正常人，它會(huì)禁止這個(gè)IP的訪問(wèn)。
所以我們可能通過(guò)設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理IP，就算IP被禁
止，我們依然可以換個(gè)IP繼續(xù)爬取。
"""
 
import urllib.request
 
# 構(gòu)建了兩個(gè)代理Handler，一個(gè)有代理IP，一個(gè)沒(méi)有代理IP
http_proxy_handler = urllib.request.ProxyHandler({"http":"222.33.192.238:8118"})
null_proxy_handler = urllib.request.ProxyHandler({})
 
# 定義一個(gè)代理開關(guān)
proxy_switch = True
 
# 根據(jù)代理開關(guān)是否拱形，使用不同的代理模式
# 通過(guò)urllib.request.build_opener()方法使用這些代理Handler對(duì)象，創(chuàng)建自定義opener對(duì)象
if proxy_switch:
  opener = urllib.request.build_opener(http_proxy_handler)
else:
  opener = urllib.request.build_opener(null_proxy_handler)
 
request = urllib.request.Request("http://www.baidu.com/")
# 1. 如果這么寫，只有使用opener.open()方法發(fā)送請(qǐng)求才使用自定義的代理，而urlopen()則不使用自定義代理。
response = opener.open(request)
# 2. 如果這么寫，就是將opener應(yīng)用到全局，之后所有的，不管是opener.open()還是urlopen() 發(fā)送請(qǐng)求，都將使用自定義代理。
# urllib.request.install_opener(opener)
# response = urlopen(request)
html = response.read()
 
print(html)

import random
proxy_list = [
  {"http" : "1.85.220.77:8118"},
  {"http" : "110.73.6.57:8123"},
  {"http" : "171.39.4.8:8123"},
  {"http" : "122.244.53.133:808"},
  {"http" : "171.39.75.81:8123"}
]
# 隨機(jī)選擇一個(gè)代理
proxy = random.choice(proxy_list)

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
"""
利用http.cookiejar和post登錄人人網(wǎng)
url = "http://www.renren.com/PLogin.do"
"""
 
import urllib
import urllib.request
import http.cookiejar
 
# 構(gòu)建一個(gè)CookieJar對(duì)象實(shí)例來(lái)保存cookie
cookie = http.cookiejar.CookieJar()
# 使用HTTPCookieProcessor()來(lái)創(chuàng)建cookie處理器對(duì)象，參數(shù)為CookieJar()對(duì)象
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
# 通過(guò)build_opener()來(lái)構(gòu)建opener
opener = urllib.request.build_opener(cookie_handler)
# 設(shè)置User-Agent頭：addheaders接受一個(gè)列表，里面每個(gè)元素都是一個(gè)headers信息的元組，opener將附帶headers信息
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36')]
# 需要登錄的賬戶和密碼
email = input("請(qǐng)輸入您的賬戶：")
password = input("請(qǐng)輸入您的密碼：")
data = {"email": email, "password": password}
# 通過(guò)urlencode()轉(zhuǎn)碼
postdata = urllib.parse.urlencode(data)
postdata = postdata.encode(encoding = "utf-8") # str轉(zhuǎn)bytes
# 構(gòu)建Request請(qǐng)求對(duì)象，包含需要發(fā)送的用戶名和密碼
request = urllib.request.Request("http://www.renren.com/PLogin.do", data = postdata)
# 通過(guò)opener發(fā)送這個(gè)請(qǐng)求，并獲取登錄后的Cookie值
opener.open(request)
# opener包含用戶登錄后的Cookie值，可以直接訪問(wèn)那些登錄后才可以訪問(wèn)的頁(yè)面
response = opener.open("http://www.renren.com/413928886/profile")
# 獲取頁(yè)面內(nèi)容
html = response.read()
# 將頁(yè)面內(nèi)容存儲(chǔ)至本地磁盤
fo = open("renren.html", "wb")
fo.write(html)
fo.close()