Python爬蟲 12306搶票開源代碼過程詳解
更新時間：2019年09月17日 09:00:10 作者：Python學(xué)習(xí)匯
這篇文章主要介紹了Python爬蟲 12306搶票開源代碼過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
今天就和大家一起來討論一下python實現(xiàn)12306余票查詢（pycharm+python3.7），一起來感受一下python爬蟲的簡單實踐
我們說先在瀏覽器中打開開發(fā)者工具(F12)，嘗試一次余票的查詢，通過開發(fā)者工具查看發(fā)出請求的包
可以看到紅框框中的URL就是我們向12306服務(wù)器發(fā)出的請求，那么具體是什么呢？我們來看看
https://kyfw.12306.cn/otn/leftTicket/queryZ?leftTicketDTO.train_date=2019-01-21&leftTicketDTO.from_station=CDW&leftTicketDTO.to_station=SZQ&purpose_codes=ADULT
可以看到發(fā)出請求的幾個字段：
- leftTicketDTO.train_date：查詢的日期
- leftTicketDTO.from_station：查詢的出發(fā)地
- leftTicketDTO.to_station：查詢的目的地
- purpose_codes：不太清楚這個字段是用來做什么的，就默認吧
可以從我們遞交的URL請求看出，我們輸入的成都，深圳都變成了對應(yīng)的編號，比如，成都（CDW）、深圳（SZQ），所以當(dāng)我們程序進行輸入的時候要進行一下處理，12306的一個地方存儲著這些城市名與編碼對應(yīng)的文檔：
https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971
下面我們就編寫一個小程序，將這些城市名與編號提取出來：
import re,requests url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971" response = requests.get(url,verify=False) #將車站的名字和編碼進行提取 chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text) chezhan_code = dict(chezhan) #進行交換 chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys())) #打印出得到的車站字典 print(chezhan_names)
得到的打印結(jié)果如下（只截取部分顯示）：
{'VAP': '北京北', 'BOP': '北京東', 'BJP': '北京', 'VNP': '北京南', 'BXP': '北京西', 'IZQ': '廣州南', 'CUW': '重慶北', 'CQW': '重慶', 'CRW': '重慶南', 'CXW': '重慶西', 'GGQ': '廣州東', 'SHH': '上海', 'SNH': '上海南', 'AOH': '上海虹橋', 'SXH': '上海西', 'TBP': '天津北', 'TJP': '天津', 'TIP': '天津南', 'TXP': '天津西', 'XJA': '香港西九龍', 'CCT': '長春', 'CET': '長春南', 'CRT': '長春西', 'ICW': '成都東', 'CNW': '成都南', 'CDW': '成都', 'CSQ': '長沙', 'CWQ': '長沙南',}
接下來我們就動手開始程序的主要代碼編寫：
def main():
date = input("請輸入時間(如2019-01-22)：\n")
from_station = chezhan_code[input("請輸入起始站點：\n")]
to_station = chezhan_code[input("請輸入目的站點：\n")]
url = "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
}
url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
#print(url) 已經(jīng)檢查過生成的URL是正確的
#request請求獲取主頁
r = requests.get(url,headers=headers)
r.raise_for_status() #如果發(fā)送了一個錯誤的請求，會拋出異常
r.encoding = r.apparent_encoding
showTicket(r.text)
用戶輸入時間、起始站點、目的站點，然后通過get來請求，然后我們對返回的網(wǎng)頁信息進行解析。我們現(xiàn)將上面代碼的r.text進行打印，看看我們請求之后，返回了什么樣的信息，然后決定我們應(yīng)該如何解析
這樣看著不方便，我們粘貼到記事本中，進行詳細的分析：
可以與12306顯示的信息進行對比，K829是車次，CDW與BJQ是出發(fā)地和目的地，10:10是出發(fā)時間，06:13是到達時間，44:21是歷時時間，20190123為查詢的日期，剩下的就是一系列票的各種信息。
下面就是對這些返回的信息進行解析，其實這也是python爬蟲的關(guān)鍵，就是解析?。?！
我們先把信息轉(zhuǎn)化為json格式，可以看到都是用“|”隔開的，那么我們就用split函數(shù)分割出來，下面是主要功能代碼：
def showTicket(html):
html = json.loads(html)
table = PrettyTable([" 車次 ","出發(fā)車站","到達車站","出發(fā)時間","到達時間"," 歷時 ","商務(wù)座"," 一等座","二等座","高級軟臥","軟臥","動臥","硬臥","軟座","硬座","無座","其他","備注"])
for i in html['data']['result']:
name = [
"station_train_code",
"from_station_name",
"to_station_name",
"start_time",
"arrive_time",
"lishi",
"swz_num",
"zy_num",
"ze_num",
"dw_num",
"gr_num",
"rw_num",
"yw_num",
"rz_num",
"yz_num",
"wz_num",
"qt_num",
"note_num"
]
data = {
"station_train_code": '',
"from_station_name": '',
"to_station_name": '',
"start_time": '',
"arrive_time": '',
"lishi": '',
"swz_num": '',
"zy_num": '',
"ze_num": '',
"dw_num": '',
"gr_num": '',
"rw_num": '',
"yw_num": '',
"rz_num": '',
"yz_num": '',
"wz_num": '',
"qt_num": '',
"note_num": ''
}
#將各項信息提取并賦值
item = i.split('|') #使用“|”進行分割
data["station_train_code"] = item[3] #獲取車次信息，在3號位置
data["from_station_name"] = item[6] #始發(fā)站信息在6號位置
data["to_station_name"] = item[7] #終點站信息在7號位置
data["start_time"] = item[8] #出發(fā)時間在8號位置
data["arrive_time"] = item[9] #抵達時間在9號位置
data["lishi"] = item[10] #經(jīng)歷時間在10號位置
data["swz_num"] = item[32] or item[25] #特別注意，商務(wù)座在32或25位置
data["zy_num"] = item[31] #一等座信息在31號位置
data["ze_num"] = item[30] #二等座信息在30號位置
data["gr_num"] = item[21] #高級軟臥信息在21號位置
data["rw_num"] = item[23] #軟臥信息在23號位置
data["dw_num"] = item[27] #動臥信息在27號位置
data["yw_num"] = item[28] #硬臥信息在28號位置
data["rz_num"] = item[24] #軟座信息在24號位置
data["yz_num"] = item[29] #硬座信息在29號位置
data["wz_num"] = item[26] #無座信息在26號位置
data["qt_num"] = item[22] #其他信息在22號位置
data["note_num"] = item[1] #備注信息在1號位置
color = Colored()
data["note_num"] = color.white(item[1])
#如果沒有信息，那么就用“-”代替
for pos in name:
if data[pos] == "":
data[pos] = "-"
tickets = []
cont = []
cont.append(data)
for x in cont:
tmp = []
for y in name:
if y == "from_station_name":
s = color.green(chezhan_names[data["from_station_name"]])
tmp.append(s)
elif y == "to_station_name":
s = color.red(chezhan_names[data["to_station_name"]])
tmp.append(s)
elif y == "start_time":
s = color.green(data["start_time"])
tmp.append(s)
elif y == "arrive_time":
s = color.red(data["arrive_time"])
tmp.append(s)
elif y == "station_train_code":
s = color.yellow(data["station_train_code"])
tmp.append(s)
else:
tmp.append(data[y])
tickets.append(tmp)
for ticket in tickets:
table.add_row(ticket)
print(table)
那么我們程序就成功啦?。?！
但是在編譯器里面Prettytable的格子沒有對齊，不要擔(dān)心，我們到終端運行一下腳本，就可以看到很好看的輸出啦：
完成！??！下面是完整代碼
main.py
# -*- coding: utf-8 -*-
import re,requests,datetime,time,json
from prettytable import PrettyTable
from colorama import init,Fore
from stationinfo import chezhan_code,chezhan_names
init(autoreset=False)
class Colored(object):
def yeah(self,s):
return Fore.LIGHTCYAN_EX + s + Fore.RESET
def green(self,s):
return Fore.LIGHTGREEN_EX + s + Fore.RESET
def yellow(self,s):
return Fore.LIGHTYELLOW_EX + s + Fore.RESET
def white(self,s):
return Fore.LIGHTWHITE_EX + s + Fore.RESET
def blue(self,s):
return Fore.LIGHTBLUE_EX + s + Fore.RESET
def showTicket(html):
html = json.loads(html)
table = PrettyTable([" 車次 ","出發(fā)車站","到達車站","出發(fā)時間","到達時間"," 歷時 ","商務(wù)座"," 一等座","二等座","高級軟臥","軟臥","動臥","硬臥","軟座","硬座","無座","其他","備注"])
for i in html['data']['result']:
name = [
"station_train_code",
"from_station_name",
"to_station_name",
"start_time",
"arrive_time",
"lishi",
"swz_num",
"zy_num",
"ze_num",
"dw_num",
"gr_num",
"rw_num",
"yw_num",
"rz_num",
"yz_num",
"wz_num",
"qt_num",
"note_num"
]
data = {
"station_train_code": '',
"from_station_name": '',
"to_station_name": '',
"start_time": '',
"arrive_time": '',
"lishi": '',
"swz_num": '',
"zy_num": '',
"ze_num": '',
"dw_num": '',
"gr_num": '',
"rw_num": '',
"yw_num": '',
"rz_num": '',
"yz_num": '',
"wz_num": '',
"qt_num": '',
"note_num": ''
}
#將各項信息提取并賦值
item = i.split('|') #使用“|”進行分割
data["station_train_code"] = item[3] #獲取車次信息，在3號位置
data["from_station_name"] = item[6] #始發(fā)站信息在6號位置
data["to_station_name"] = item[7] #終點站信息在7號位置
data["start_time"] = item[8] #出發(fā)時間在8號位置
data["arrive_time"] = item[9] #抵達時間在9號位置
data["lishi"] = item[10] #經(jīng)歷時間在10號位置
data["swz_num"] = item[32] or item[25] #特別注意，商務(wù)座在32或25位置
data["zy_num"] = item[31] #一等座信息在31號位置
data["ze_num"] = item[30] #二等座信息在30號位置
data["gr_num"] = item[21] #高級軟臥信息在21號位置
data["rw_num"] = item[23] #軟臥信息在23號位置
data["dw_num"] = item[27] #動臥信息在27號位置
data["yw_num"] = item[28] #硬臥信息在28號位置
data["rz_num"] = item[24] #軟座信息在24號位置
data["yz_num"] = item[29] #硬座信息在29號位置
data["wz_num"] = item[26] #無座信息在26號位置
data["qt_num"] = item[22] #其他信息在22號位置
data["note_num"] = item[1] #備注信息在1號位置
color = Colored()
data["note_num"] = color.white(item[1])
#如果沒有信息，那么就用“-”代替
for pos in name:
if data[pos] == "":
data[pos] = "-"
tickets = []
cont = []
cont.append(data)
for x in cont:
tmp = []
for y in name:
if y == "from_station_name":
s = color.green(chezhan_names[data["from_station_name"]])
tmp.append(s)
elif y == "to_station_name":
s = color.yeah(chezhan_names[data["to_station_name"]])
tmp.append(s)
elif y == "start_time":
s = color.green(data["start_time"])
tmp.append(s)
elif y == "arrive_time":
s = color.yeah(data["arrive_time"])
tmp.append(s)
elif y == "station_train_code":
s = color.yellow(data["station_train_code"])
tmp.append(s)
else:
tmp.append(data[y])
tickets.append(tmp)
for ticket in tickets:
table.add_row(ticket)
print(table)
def main():
date = input("請輸入時間：\n")
from_station = chezhan_code[input("請輸入起始站點：\n")]
to_station = chezhan_code[input("請輸入目的站點：\n")]
url = "https://kyfw.12306.cn/otn/leftTicket/queryZ?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400"
}
url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT"
#print(url) 已經(jīng)檢查過生成的URL是正確的
#request請求獲取主頁
r = requests.get(url,headers=headers)
r.raise_for_status() #如果發(fā)送了一個錯誤的請求，會拋出異常
r.encoding = r.apparent_encoding
showTicket(r.text)
#print(r.text)
main()
stationinfo.py
import re,requests url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8971" response = requests.get(url,verify=False) #將車站的名字和編碼進行提取 chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text) chezhan_code = dict(chezhan) chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys())) #print(chezhan_names)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
IO密集型任務(wù)設(shè)置線程池線程數(shù)實現(xiàn)方式
這篇文章主要介紹了IO密集型任務(wù)設(shè)置線程池線程數(shù)實現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-07-07
這篇文章主要介紹了手動添加jar包進Maven本地庫內(nèi)的方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
解決java數(shù)值范圍以及float與double精度丟失的問題
下面小編就為大家?guī)硪黄鉀Qjava數(shù)值范圍以及float與double精度丟失的問題。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
這篇文章主要介紹了Java中JSR303的基本使用詳情，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-09-09
這篇文章主要為大家介紹了如何實現(xiàn)bean初始化摧毀方法的注入詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-04-04
如何使用IDEA的groovy腳本文件生成帶JPA注解的實體類(圖文詳解)
這篇文章主要介紹了如何使用IDEA的groovy腳本文件生成帶JPA注解的實體類,本文通過圖文并茂實例相結(jié)合給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
這篇文章主要介紹了SpringBoot中Redis的緩存更新策略,緩存一般是為了應(yīng)對高并發(fā)場景、緩解數(shù)據(jù)庫讀寫壓力，而將數(shù)據(jù)存儲在讀寫更快的某種存儲介質(zhì)中(如內(nèi)存)，以加快讀取數(shù)據(jù)的速度,需要的朋友可以參考下2023-08-08
Spring IOC推導(dǎo)與DI構(gòu)造器注入超詳細講解
這篇文章主要介紹了Spring IOC推導(dǎo)與DI構(gòu)造器注入，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2023-02-02
這篇文章主要為大家介紹了JDK8 HashMap擴容機制分析詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
SpringBoot在 POM 中引入本地 JAR 包的方法
在開發(fā) Spring Boot 應(yīng)用程序時,您可能需要使用本地 JAR 包來添加自定義庫或功能,本文將介紹在 Spring Boot 項目的 POM 文件中如何引入本地 JAR 包,感興趣的朋友跟隨小編一起看看吧2023-08-08