import urllib.request
# 定義一個url(你要爬取的網址）
url = 'https://www.baidu.com'
# 添加請求頭信息
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 創(chuàng)建Request對象
res = urllib.request.Request(url=url, headers=headers)
# 模擬瀏覽器向服務器發(fā)送網絡請求
response = urllib.request.urlopen(res)
# read()函數可以獲取響應，但返回的響應格式是二進制的，需要解碼
# 解碼:decode('編碼格式') 編碼格式在Response Headers,Content_Type里面查看
print('baidu官網HTML代碼如下:\n', response.read().decode('utf-8'))

# HTTPResponse這個類型
# 常見方法：read、readline、readlines、getcode、status、geturl、getheaders、getheader
# print(type(response)) # response是HTTPResponse的類型

# (1) 按照一個字節(jié)一個字節(jié)去讀
content = response.read()
print(content)

# 讀取具體的n個字節(jié)，在read()函數中傳參即可
content2 = response.read(5)
print(content2)

# (2) 按行讀取，但是只能讀取一行
content3 = response.readline()
print(content3)

# (3) 按行讀取，并且讀取所有行
content4 = response.readlines()
print(content4)

# (4) 返回狀態(tài)碼的方法：200狀態(tài)碼沒有問題，其他的狀態(tài)碼可能有問題
print('響應狀態(tài)碼為', response.getcode())
print('響應狀態(tài)碼為', response.status)

# (5) 返回訪問的目標的url地址
print('響應訪問的url地址為', response.geturl())

# (6) 獲取的是響應頭所有信息
print('響應頭所有信息為', response.getheaders())

# (7)獲取響應頭指定信息
print('響應頭指定信息為', response.getheader('Content-Type'))

import urllib.parse  # 導入parse解析模塊
import urllib.request  # 導入request模塊

url = 'https://www.baidu.com/s?wd=酷我'
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 通過urllib.parse處理url中的中文字樣--> 得到可以通過urllib發(fā)送請求的url地址
# 字典格式的處理方式
org = {'wd': '酷我'}
# 經過處理之后返回wd=%E9%85%B7%E6%88%9
result = urllib.parse.urlencode(org)
# 使用+拼接固定的url地址和經過處理的url地址
# https://www.baidu.com/s?wd=%E9%85%B7%E6%88%91
new_url = 'https://www.baidu.com/s?' + result

# 1、構造請求對象
res = urllib.request.Request(new_url, headers=header)
# 2、發(fā)送請求 獲取響應
response = urllib.request.urlopen(res)
# 3、獲取響應對象里面的內容(獲取網頁源碼)
print(response.read().decode('utf-8'))

import urllib.request
import urllib.parse

header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 第二種 字符串格式的處理方式
string_org = '酷我'
# %E9%85%B7%E6%88%91
string_result = urllib.parse.quote(string_org)

# 使用+拼接固定的url地址（需要加上wd=）和經過處理后的url地址
new_string_url = 'https://www.baidu.com/s?wd=' + string_result

# 1、構造請求對象
res = urllib.request.Request(new_string_url, headers=header)
# 2、發(fā)送請求 獲取響應
response = urllib.request.urlopen(res)
# 3、獲取響應對象里面的內容，并進行decode解碼
print(response.read().decode('utf-8'))

import urllib.request

# 請求對象的定制：為了解決反爬蟲的第一種手段
url = 'https://www.baidu.com'
# 用戶代理：UA
header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# urlopen()方法中不能傳參字典，因而用戶代理UA不能作為傳參傳入
# 此時需要定制一個請求對象：
# 如果request = urllib.request.Request(url,headers) 寫會報錯
request = urllib.request.Request(url, headers=header)
response = urllib.request.urlopen(request)
print('baidu官網HTML代碼如下:\n', response.read().decode('utf-8'))

import requests  # 導入requests模塊

# 找到目標圖片的url地址
url = 'https://c-ssl.duitang.com/uploads/blog/202107/26/20210726111411_b4057.jpg'
img_name = 'code.png'
res = requests.get(url)
# 保存圖片，音頻之類的，會使用wb ————>以二進制方式寫入
with open(img_name, 'wb') as file_obj:
    # 保存圖片，音頻之類的，會使用content去響應對象里面取
    file_obj.write(res.content)

import requests  # 導入requests模塊

url = 'https://c-ssl.duitang.com/uploads/blog/202008/12/20200812094028_qzhsq.jpg'
img_name = 'code2.png'
# 向目標網址發(fā)送網絡請求并賦給一個變量
res = requests.get(url)
# file_obj是一個文件對象
file_obj = open(img_name, 'wb')
file_obj.write(res.content)
# 用open寫入需要關閉
file_obj.close()

import urllib.request  # 導入request模塊

# 找到目標圖片的url地址
url = 'https://c-ssl.duitang.com/uploads/item/201912/20/20191220140202_sbpjp.jpg'
# 給圖片命名
img_name = 'code3.png'
# 使用urllib.request.urlretrieve
urllib.request.urlretrieve(url, img_name)

from urllib import request  # 導入request模塊

url = 'https://c-ssl.duitang.com/uploads/blog/202102/14/20210214203011_1336a.jpeg'
# 傳入要保存的文件路徑(可copy path查看)  加r防止轉意
file_name = r'D:\web spider\request\code4.png'
request.urlretrieve(url, file_name)