快捷導(dǎo)航

Python3獲取拉勾網(wǎng)招聘信息的方法實例

更新時間：2019年04月03日 09:08:54 作者：Max_Lyu

這篇文章主要給大家介紹了關(guān)于Python3獲取拉勾網(wǎng)招聘信息的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Python3具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧

前言

為了了解跟python數(shù)據(jù)分析有關(guān)行業(yè)的信息，大概地了解一下對這個行業(yè)的要求以及薪資狀況，我決定從網(wǎng)上獲取信息并進(jìn)行分析。既然想要分析就必須要有數(shù)據(jù)，于是我選擇了拉勾，冒著危險深入內(nèi)部，從他們那里得到了信息。不得不說，拉勾的反爬技術(shù)還挺厲害的，稍后再說明。話不多說，直接開始。

一、明確目的

每次爬蟲都要有明確的目的，剛接觸隨便找東西試水的除外。我想要知道的是python數(shù)據(jù)分析的要求以及薪資狀況，因此，薪資、學(xué)歷、工作經(jīng)驗以及一些任職要求就是我的目的。

既然明確了目的，我們就要看一下它們在什么位置，所以我們打開瀏覽器，尋找目標(biāo)。像拉勾這種網(wǎng)站他們的信息一般都是通過ajax加載的，而且在輸入“python數(shù)據(jù)分析”敲擊回車之后跳轉(zhuǎn)的頁面，招聘信息不是一開始就顯示出來的，通過點(diǎn)擊頁碼也只是招聘信息在變化甚至連network都沒多大變化，可以大膽猜測他是通過post請求的，所以我們只關(guān)注post請求以及XHR文件，很快就發(fā)現(xiàn)了我們要的東西。

點(diǎn)擊preview可見詳細(xì)信息以json形式保存著，其中‘salary'、‘workYear'、‘education'、‘positionID'（招聘信息詳情頁有關(guān)的id）是我們要的。再觀察一下它的form data，其中kd=關(guān)鍵字，pn=pageNum（頁碼）這是我們請求的時候要帶上的參數(shù)。另外我們要注意請求頭的referer參數(shù)，待會兒要用。知道了目標(biāo)之后，爬起來！

二、開始爬蟲

先設(shè)置請求頭headers，把平時用的user-agent帶上，再把formdata也帶上，用requests庫直接requests.post(url, headers=headers, data=formdata) ，然后就開始報錯了： {"status":false,"msg":"您操作太頻繁,請稍后再訪問","clientIp":"......","state":2402}。

解決這個問題的關(guān)鍵在于，了解拉勾的反爬機(jī)制：在進(jìn)入python數(shù)據(jù)分析招聘頁之前，我們要在主頁，不妨叫它start_url輸入關(guān)鍵字跳轉(zhuǎn)。在這個過程中，服務(wù)器會傳回來一個cookies，如果帶著這個cookies請求的話我們就可以得到要的東西，所以要先請求start_url獲取cookies在請求目標(biāo)url，而且在請求目標(biāo)地址的話還要帶上referer這個請求頭參數(shù)，referer的含義大概是這樣：告訴服務(wù)器我是從哪個頁面鏈接過來的，服務(wù)器基此可以獲得一些信息用于處理。另外，睡眠時間也要設(shè)置的長一點(diǎn)，不然很容易被封。知道了反爬機(jī)制之后，話不多說，直接上代碼。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
 # 請求起始 url 返回 cookies
 def get_start_url(self):
 session = requests.session()
 session.get(self.start_url, headers=self.headers, timeout=3)
 cookies = session.cookies
 return cookies

 # 將返回的 cookies 一起 post 給 target_url 并獲取數(shù)據(jù)
 def post_target_url(self):
 cookies = self.get_start_url()
 pn = 1
 for pg in range(30):
  formdata = {
  'first': 'false',
  'pn': pn,
  'kd': 'python數(shù)據(jù)分析'
  }
  pn += 1

  response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  self.parse(response)
  time.sleep(60) # 拉勾的反扒技術(shù)比較強(qiáng)，短睡眠時間會被封

 # 解析 response，獲取 items
 def parse(self, response):
 print(response)
 items = []
 print(response.text)
 data = json.loads(response.text)['content']['positionResult']['result']

 if len(data):
  for i in range(len(data)):
  positionId = data[i]['positionId']
  education = data[i]['education']
  workYear = data[i]['workYear']
  salary = data[i]['salary']
  list = [positionId, education, workYear, salary]
  items.append(list)
 self.save_data(items)
 time.sleep(1.3)

其中save_data(items)是保存文件，我是保存在csv文件。篇幅有限，這里就不展示了。

三、獲取招聘詳情

上面說了positionID 是為了獲取詳情頁，詳情頁里面有要的任職要求。這個要獲取就相對容易了，不過文本的處理并沒有很簡單，我只能通過“要求”這兩個字獲取任職要求（雖然有的為任職技能啥的，就這樣進(jìn)行取舍了）。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
def get_url():
 urls = []
 with open("analyst.csv", 'r', newline='') as file:
 # 讀取文件
 reader = csv.reader(file)
 for row in reader:
  # 根據(jù) positionID 補(bǔ)全 url
  if row[0] != "ID":
  url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  urls.append(url)

 file.close()
 return urls

# 獲取詳細(xì)信息
def get_info():
 urls = get_url()
 length = len(urls)
 for url in urls:
 print(url)
 description = ''
 print(length)
 response = requests.get(url, headers=headers)
 response.encoding = 'utf-8'
 content = etree.HTML(response.text)
 detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
 print(detail)

 for i in range(1, len(detail)):

  if '要求' in detail[i-1]:
  for j in range(i, len(detail)):
   detail[j] = detail[j].replace('\xa0', '')
   detail[j] = re.sub('[、;；.0-9。]', '', detail[j])
   description = description + detail[j] + '/'
  print(description)
 write_file(description)
 length -= 1
 time.sleep(3)

四、成果與展示