import urllib.request
# 定義一個(gè)url(你要爬取的網(wǎng)址）
url = 'https://www.baidu.com'
# 添加請(qǐng)求頭信息
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 創(chuàng)建Request對(duì)象
res = urllib.request.Request(url=url, headers=headers)
# 模擬瀏覽器向服務(wù)器發(fā)送網(wǎng)絡(luò)請(qǐng)求
response = urllib.request.urlopen(res)
# read()函數(shù)可以獲取響應(yīng)，但返回的響應(yīng)格式是二進(jìn)制的，需要解碼
# 解碼:decode('編碼格式') 編碼格式在Response Headers,Content_Type里面查看
print('baidu官網(wǎng)HTML代碼如下:\n', response.read().decode('utf-8'))

# HTTPResponse這個(gè)類(lèi)型
# 常見(jiàn)方法：read、readline、readlines、getcode、status、geturl、getheaders、getheader
# print(type(response)) # response是HTTPResponse的類(lèi)型

# (1) 按照一個(gè)字節(jié)一個(gè)字節(jié)去讀
content = response.read()
print(content)

# 讀取具體的n個(gè)字節(jié)，在read()函數(shù)中傳參即可
content2 = response.read(5)
print(content2)

# (2) 按行讀取，但是只能讀取一行
content3 = response.readline()
print(content3)

# (3) 按行讀取，并且讀取所有行
content4 = response.readlines()
print(content4)

# (4) 返回狀態(tài)碼的方法：200狀態(tài)碼沒(méi)有問(wèn)題，其他的狀態(tài)碼可能有問(wèn)題
print('響應(yīng)狀態(tài)碼為', response.getcode())
print('響應(yīng)狀態(tài)碼為', response.status)

# (5) 返回訪(fǎng)問(wèn)的目標(biāo)的url地址
print('響應(yīng)訪(fǎng)問(wèn)的url地址為', response.geturl())

# (6) 獲取的是響應(yīng)頭所有信息
print('響應(yīng)頭所有信息為', response.getheaders())

# (7)獲取響應(yīng)頭指定信息
print('響應(yīng)頭指定信息為', response.getheader('Content-Type'))

import urllib.parse  # 導(dǎo)入parse解析模塊
import urllib.request  # 導(dǎo)入request模塊

url = 'https://www.baidu.com/s?wd=酷我'
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 通過(guò)urllib.parse處理url中的中文字樣--> 得到可以通過(guò)urllib發(fā)送請(qǐng)求的url地址
# 字典格式的處理方式
org = {'wd': '酷我'}
# 經(jīng)過(guò)處理之后返回wd=%E9%85%B7%E6%88%9
result = urllib.parse.urlencode(org)
# 使用+拼接固定的url地址和經(jīng)過(guò)處理的url地址
# https://www.baidu.com/s?wd=%E9%85%B7%E6%88%91
new_url = 'https://www.baidu.com/s?' + result

# 1、構(gòu)造請(qǐng)求對(duì)象
res = urllib.request.Request(new_url, headers=header)
# 2、發(fā)送請(qǐng)求 獲取響應(yīng)
response = urllib.request.urlopen(res)
# 3、獲取響應(yīng)對(duì)象里面的內(nèi)容(獲取網(wǎng)頁(yè)源碼)
print(response.read().decode('utf-8'))

import urllib.request
import urllib.parse

header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
# 第二種 字符串格式的處理方式
string_org = '酷我'
# %E9%85%B7%E6%88%91
string_result = urllib.parse.quote(string_org)

# 使用+拼接固定的url地址（需要加上wd=）和經(jīng)過(guò)處理后的url地址
new_string_url = 'https://www.baidu.com/s?wd=' + string_result

# 1、構(gòu)造請(qǐng)求對(duì)象
res = urllib.request.Request(new_string_url, headers=header)
# 2、發(fā)送請(qǐng)求 獲取響應(yīng)
response = urllib.request.urlopen(res)
# 3、獲取響應(yīng)對(duì)象里面的內(nèi)容，并進(jìn)行decode解碼
print(response.read().decode('utf-8'))

import urllib.request

# 請(qǐng)求對(duì)象的定制：為了解決反爬蟲(chóng)的第一種手段
url = 'https://www.baidu.com'
# 用戶(hù)代理：UA
header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# urlopen()方法中不能傳參字典，因而用戶(hù)代理UA不能作為傳參傳入
# 此時(shí)需要定制一個(gè)請(qǐng)求對(duì)象：
# 如果request = urllib.request.Request(url,headers) 寫(xiě)會(huì)報(bào)錯(cuò)
request = urllib.request.Request(url, headers=header)
response = urllib.request.urlopen(request)
print('baidu官網(wǎng)HTML代碼如下:\n', response.read().decode('utf-8'))

import requests  # 導(dǎo)入requests模塊

# 找到目標(biāo)圖片的url地址
url = 'https://c-ssl.duitang.com/uploads/blog/202107/26/20210726111411_b4057.jpg'
img_name = 'code.png'
res = requests.get(url)
# 保存圖片，音頻之類(lèi)的，會(huì)使用wb ————>以二進(jìn)制方式寫(xiě)入
with open(img_name, 'wb') as file_obj:
    # 保存圖片，音頻之類(lèi)的，會(huì)使用content去響應(yīng)對(duì)象里面取
    file_obj.write(res.content)

import requests  # 導(dǎo)入requests模塊

url = 'https://c-ssl.duitang.com/uploads/blog/202008/12/20200812094028_qzhsq.jpg'
img_name = 'code2.png'
# 向目標(biāo)網(wǎng)址發(fā)送網(wǎng)絡(luò)請(qǐng)求并賦給一個(gè)變量
res = requests.get(url)
# file_obj是一個(gè)文件對(duì)象
file_obj = open(img_name, 'wb')
file_obj.write(res.content)
# 用open寫(xiě)入需要關(guān)閉
file_obj.close()

import urllib.request  # 導(dǎo)入request模塊

# 找到目標(biāo)圖片的url地址
url = 'https://c-ssl.duitang.com/uploads/item/201912/20/20191220140202_sbpjp.jpg'
# 給圖片命名
img_name = 'code3.png'
# 使用urllib.request.urlretrieve
urllib.request.urlretrieve(url, img_name)

from urllib import request  # 導(dǎo)入request模塊

url = 'https://c-ssl.duitang.com/uploads/blog/202102/14/20210214203011_1336a.jpeg'
# 傳入要保存的文件路徑(可copy path查看)  加r防止轉(zhuǎn)意
file_name = r'D:\web spider\request\code4.png'
request.urlretrieve(url, file_name)