欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬取拉勾網(wǎng)職位數(shù)據(jù)的方法

 更新時間:2018年01月24日 13:40:07   作者:矜持的折返跑  
這篇文章主要介紹了python爬取拉勾網(wǎng)職位數(shù)據(jù)的實現(xiàn)方法,非常不錯,具有參考借鑒價值,需要的朋友可以參考下

今天寫的這篇文章是關(guān)于python爬蟲簡單的一個使用,選取的爬取對象是著名的招聘網(wǎng)站——拉鉤網(wǎng),由于和大家的職業(yè)息息相關(guān),所以爬取拉鉤的數(shù)據(jù)進(jìn)行分析,對于職業(yè)規(guī)劃和求職時的信息提供有很大的幫助。

完成的效果

  爬取數(shù)據(jù)只是第一步,怎樣使用和分析數(shù)據(jù)也是一大重點,當(dāng)然這不是本次博客的目的,由于本次只是一個上手的爬蟲程序,所以我們的最終目的只是爬取到拉鉤網(wǎng)的職位信息,然后保存到Mysql數(shù)據(jù)庫中。最后中的效果示意圖如下:

 

控制臺輸入

 

數(shù)據(jù)庫顯示

準(zhǔn)備工作

  首先需要安裝python,這個網(wǎng)上已經(jīng)有很多的教程了,這里就默認(rèn)已經(jīng)安裝python,博主使用的是python3.6,然后安裝了requests、pymysql(連接數(shù)據(jù)庫使用)和Mysql數(shù)據(jù)庫。

分析拉勾網(wǎng)

  首先我們打開拉勾網(wǎng),打開控制臺,搜索java關(guān)鍵詞搜索職位,選取北京地區(qū),然后查看network一欄中的數(shù)據(jù)分析,查看第一個,是不是感覺它很像我們要拿到的請求地址,事實上不是的,這個打開之后是一個html,如果我們訪問這個接口,拉鉤會返回給我們一個結(jié)果,提示我們操作太頻繁,也就是被攔截了。不過從這個頁面可以看到,拉鉤的網(wǎng)頁用到了模板,這種加載數(shù)據(jù)的方式更加快速(大幅度提升),建議大家可以嘗試使用一下(個人拙見)

 

不要?dú)怵H,我們接著往下找,可以看到一個“positionAjax”開頭的請求,沒錯就它“ https://www.lagou.com/jobs/positionAjax.jsonpx=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false&isSchoolJob=0 ”,還是看圖說話吧

 

找到請求地址之后,我們就開始寫代碼了。

先是導(dǎo)入requests和pymysql,然后requests的post方法訪問上面找到的url,但是直接訪問這個地址是會被攔截的,因為我們?nèi)鄙偎獋鬏數(shù)臄?shù)據(jù),和設(shè)置請求頭,會被認(rèn)為是非自然人請求的,加入請求頭和數(shù)據(jù),

 headers = {'Referer':'https://www.lagou.com/jobs/list_'+position+'?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput=',    'Origin':'https://www.lagou.com',    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
    'Accept':'application/json, text/javascript, */*; q=0.01',
    'Cookie':'JSESSIONID=ABAAABAAAGFABEFE8A2337F3BAF09DBCC0A8594ED74C6C0; user_trace_token=20180122215242-849e2a04-ff7b-11e7-a5c6-5254005c3644; LGUID=20180122215242-849e3549-ff7b-11e7-a5c6-5254005c3644; index_location_city=%E5%8C%97%E4%BA%AC; _gat=1; TG-TRACK-CODE=index_navigation; _gid=GA1.2.1188502030.1516629163; _ga=GA1.2.667506246.1516629163; LGSID=20180122215242-849e3278-ff7b-11e7-a5c6-5254005c3644; LGRID=20180122230310-5c6292b3-ff85-11e7-a5d5-5254005c3644; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1516629163,1516629182; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1516633389; SEARCH_ID=8d3793ec834f4b0e8e680572b83eb968'
    }
 dates={'first':'true',
   'pn': page,#頁數(shù)
   'kd': position#搜索的職位
 }

加入請求頭之后就可以請求了,控制臺輸出數(shù)據(jù),可以看出是一個json數(shù)據(jù),使用json方法處理之后,一步步找到我們想要的數(shù)據(jù),可以看出全在“result”里面,那么我們就只拿到他就行了,

result=resp.json()['content']['positionResult']['result']

這個時候可以看到數(shù)據(jù)非常多,有30個左右,不過不用擔(dān)心,都是英文單詞,基本上可以才出意思。接下來我們就要怕這些數(shù)據(jù)存儲到數(shù)據(jù)庫中,以備日后分析使用。

連接mysql我使用的是pymysql,先建好數(shù)據(jù)庫和數(shù)據(jù)表,然后在代碼中加入配置信息

config={
 "host":"127.0.0.1",
 "user":"root",
 "password":"",
 "database":databaseName,
 "charset":"utf8"#防止中文亂碼
}

加載配置文件,連接數(shù)據(jù)庫

db = pymysql.connect(**config)
cursor = db.cursor()
sql=""#insert語句
cursor.execute()
db.commit() #提交數(shù)據(jù)
cursor.close()
db.close()#用完記得關(guān)閉連接

大功告成,這個時候拉鉤的職位信息已經(jīng)靜靜地躺在了你的數(shù)據(jù)庫中,靜待你的寵幸,拿到這些數(shù)據(jù),你就可以進(jìn)行一些分析了,比如平均工資水平、職位技能要求等。

因為篇幅有限,有些代碼并沒有粘貼出來,比如sql語句(這個sql寫的挺長的),但是別擔(dān)心,樓主已經(jīng)把這個程序放入到github上面了,大家可以自行下載,github地址:https://github.com/wudb1993/pythonDemo如果覺得不錯的話請在github上面點一下star,手打不易謝謝啦,歡迎大神拍磚。

總結(jié)

以上所述是小編給大家介紹的python爬取拉勾網(wǎng)職位數(shù)據(jù)的方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

  • python單元測試框架pytest的使用示例

    python單元測試框架pytest的使用示例

    這篇文章主要介紹了python單元測試框架pytest的使用示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • Python chardet庫識別編碼原理解析

    Python chardet庫識別編碼原理解析

    這篇文章主要介紹了python chardet庫識別編碼原理解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-02-02
  • 一份python入門應(yīng)該看的學(xué)習(xí)資料

    一份python入門應(yīng)該看的學(xué)習(xí)資料

    關(guān)于python入門你應(yīng)該看這些資料,幫助你快速入門python,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-04-04
  • python3爬蟲獲取html內(nèi)容及各屬性值的方法

    python3爬蟲獲取html內(nèi)容及各屬性值的方法

    今天小編就為大家分享一篇python3爬蟲獲取html內(nèi)容及各屬性值的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12
  • 淺談tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意點

    淺談tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意點

    這篇文章主要介紹了淺談tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意點,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06
  • PyG搭建GCN模型實現(xiàn)節(jié)點分類GCNConv參數(shù)詳解

    PyG搭建GCN模型實現(xiàn)節(jié)點分類GCNConv參數(shù)詳解

    這篇文章主要為大家介紹了PyG搭建GCN模型實現(xiàn)節(jié)點分類GCNConv參數(shù)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • PyTorch中g(shù)rid_sample的使用及說明

    PyTorch中g(shù)rid_sample的使用及說明

    這篇文章主要介紹了PyTorch中g(shù)rid_sample的使用及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-02-02
  • python?pip特殊用法之pip?install?-v?-e?.命令詳解

    python?pip特殊用法之pip?install?-v?-e?.命令詳解

    這篇文章主要給大家介紹了關(guān)于python?pip特殊用法之pip?install?-v?-e?.命令的相關(guān)資料,文中通過圖文以及實例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2022-09-09
  • python中for循環(huán)輸出列表索引與對應(yīng)的值方法

    python中for循環(huán)輸出列表索引與對應(yīng)的值方法

    今天小編就為大家分享一篇python中for循環(huán)輸出列表索引與對應(yīng)的值方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-11-11
  • Python繪制堆疊柱狀圖的實例

    Python繪制堆疊柱狀圖的實例

    今天小編就為大家分享一篇Python繪制堆疊柱狀圖的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07

最新評論