快捷導(dǎo)航

Python采集大學(xué)教務(wù)系統(tǒng)成績單實戰(zhàn)示例

更新時間：2023年04月18日 09:46:36 作者：極客飛虎

這篇文章主要為大家介紹了Python采集大學(xué)教務(wù)系統(tǒng)成績單實戰(zhàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

前言

采集教務(wù)系統(tǒng)成績單是一個非常有意義的項目。在現(xiàn)代教育中，教務(wù)系統(tǒng)已經(jīng)成為了學(xué)校管理和教學(xué)工作的重要組成部分。然而，由于各種原因，教務(wù)系統(tǒng)的成績單并不能下載的，這給我們帶來了很多不必要的麻煩和困擾。因此，采集教務(wù)系統(tǒng)成績單的項目具有非常重要的意義。

在本文中，我們將詳細介紹采集教務(wù)系統(tǒng)成績單的背景和目的，并闡述該項目實戰(zhàn)所涉及的相關(guān)知識點和技術(shù)細節(jié)。

采集數(shù)據(jù)

我們上一篇介紹了，如何采集大家熟悉的百度貼吧的排行榜。今天，我們來學(xué)習(xí)采集教務(wù)系統(tǒng)里面的成績單，把自己的成績采集下來。

發(fā)送請求

我們首先確定我們的目標網(wǎng)址，對我們需要獲取的數(shù)據(jù)。

我們要把每一行的數(shù)據(jù)獲取下來，我們接下來用到開發(fā)者工具。我們看成績是在什么位置。是不是在網(wǎng)頁源代碼中。接下來，我們發(fā)送請求，獲取網(wǎng)頁源代碼。

每個學(xué)校教務(wù)系統(tǒng)不一樣，但是，原理都是一樣的，我們通過抓包分析，看到，我們學(xué)校把成績放到了一個數(shù)據(jù)包里面，一個學(xué)期一個數(shù)據(jù)包。

那么，接下來就簡單了，我們只需要請求數(shù)據(jù)，當(dāng)然，我們肯定要加上cookies，畢竟里面包含了我們的登錄信息。

我們看看前面代碼是怎么寫的。

semesters = ["44", "45", "46", "66", "126", ]
for Semester in semesters:
    url = f'http://jwxt.aqnu.edu.cn/student/for-std/grade/sheet/info/73127?semester={Semester}'
    headers = {
        'Cookie': 'cookies',       
    }
    res = requests.get(url, headers=headers)
    print(url, res)

我們這里直接多頁遍歷，我們學(xué)校只做了cookies檢查，對請求頭沒有要求。

這段代碼首先定義了一個包含多個元素的列表 semesters，其中每個元素表示一個學(xué)期的信息。然后，使用 for 循環(huán)遍歷列表中的每個元素，并使用 requests.get() 函數(shù)向指定的 URL 發(fā)送 GET 請求。在請求中，我們設(shè)置了一些請求頭信息，以確保我們能夠正確地解析 URL 并獲取正確的響應(yīng)。最后，我們打印了 URL、響應(yīng)和響應(yīng)中的內(nèi)容。

獲取數(shù)據(jù)

id2semesters = res.json()['id2semesters']
semester = id2semesters[f'{Semester}']['nameZh']
semesterId2studentGrades = res.json()['semesterId2studentGrades'][f'{Semester}']
for semesterId2studentGrade in semesterId2studentGrades:
    course = semesterId2studentGrade['course']  # 課程
    course_nameZh = course['nameZh']  # 課程名稱
    credits = course['credits']  # 課程學(xué)分
    try:
        courseProperty = semesterId2studentGrade['courseProperty']
        courseProperty_name = courseProperty['name']
    except TypeError:
        courseProperty_name = "NOLL"
    gp = semesterId2studentGrade['gp']  # 績點
    gaGrade = semesterId2studentGrade['gaGrade']  # 成績
    gradeDetails = semesterId2studentGrade['gradeDetail']  # 明細原文
    gradeDetail = re.findall('data-typeid=.*?>(.*?)</span>', gradeDetails)

這段代碼首先從 JSON 響應(yīng)中獲取了學(xué)期和學(xué)生的績點信息，并將其存儲在變量 semester 和 semesterId2studentGrades 中。然后，使用 for 循環(huán)遍歷 semesterId2studentGrades 中的每個元素，并使用 course 屬性獲取該學(xué)期的課程信息。接著，使用 course_nameZh 屬性獲取課程名稱，使用 credits 屬性獲取課程學(xué)分，使用 courseProperty_name 屬性獲取課程屬性名稱，如果不存在則返回 "NOLL"。最后，使用 gp 屬性獲取績點，使用 gaGrade 屬性獲取成績，使用 gradeDetail 屬性獲取明細原文，使用 gradeDetail 屬性獲取明細原文中的數(shù)據(jù)類型標識符。

這里就是json取值，沒有什么難度，只要寫好這些，就可以獲取到我們想的內(nèi)容，我們看看效果。

保存數(shù)據(jù)

保存數(shù)據(jù)就簡單了，我們已經(jīng)練習(xí)了很多次。

f = open('個人成績單.csv', mode='a', encoding='utf-8_sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['學(xué)期','課程名稱', '課程學(xué)分', '課程類型', '成績', '學(xué)分績點',
                                           '成績明細'])

這段代碼首先打開一個名為 personal_scores.csv 的文件，并指定使用 a 模式打開文件。然后，使用 csv.DictWriter() 函數(shù)創(chuàng)建一個 CSV 寫入器，并指定要寫入的列名。在這個例子中，我們指定了 fieldnames 參數(shù)，它包含了我們要寫入的列名。

接下來，我們使用 csv_writer.writeheader() 方法寫入列名。這個方法會將列名寫入文件的第一行。

最后，我們使用 csv_writer.writerow() 方法寫入數(shù)據(jù)。在這個例子中，我們寫入了一個包含學(xué)期、課程名稱、課程學(xué)分、課程類型、成績、學(xué)分績點和成績明細的列表。

接下來就是寫入字典，保存下來。

dit = {
    '學(xué)期': semester,
    '課程名稱': course_nameZh,
    '課程學(xué)分': credits,
    '課程類型': courseProperty_name,
    '成績': gaGrade,
    '學(xué)分績點': gp,
    '成績明細': gradeDetail,
}
csv_writer.writerow(dit)

這段代碼使用 csv_writer.writerow() 方法將 dit 字典寫入 CSV 文件中。fieldnames 參數(shù)指定了要寫入的列名。在這個例子中，我們指定了 ['學(xué)期','課程名稱', '課程學(xué)分', '課程類型', '成績', '學(xué)分績點', '成績明細']。