欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

詳解用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息

 更新時(shí)間:2020年07月02日 15:06:09   作者:wild_orange  
這篇文章主要介紹了詳解用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

一、背景

希望根據(jù)企業(yè)名稱查詢其經(jīng)緯度,所在的省份、城市等信息。直接將企業(yè)名稱傳給百度地圖提供的API,得到的經(jīng)緯度是非常不準(zhǔn)確的,因此希望獲取企業(yè)完整的地理位置,這樣傳給API后結(jié)果會(huì)更加準(zhǔn)確。
百度企業(yè)信用提供了企業(yè)基本信息查詢的功能。希望通過(guò)Python爬蟲(chóng)獲取企業(yè)基本信息。目前已基本實(shí)現(xiàn)了這一需求。
本文最后會(huì)提供具體的代碼。代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!

二、分析

蘇寧為例。輸入“江蘇蘇寧”后,查詢結(jié)果如下:


經(jīng)過(guò)分析,這里列示的企業(yè)信息是用JavaScript動(dòng)態(tài)生成的。服務(wù)器最初傳過(guò)來(lái)的未經(jīng)渲染的HTML如下:


注意其中標(biāo)注出來(lái)的JS代碼。有意思的是,企業(yè)基本信息都可以直接從這段JS代碼中獲取,無(wú)需構(gòu)造復(fù)雜的參數(shù)。


這是進(jìn)一步查看的結(jié)果,注意那個(gè)“resultList”,后面存放的就是頁(yè)面中的企業(yè)信息。顯然,利用正則表達(dá)式提取需要的字符串,轉(zhuǎn)換成JSON就可以了。

三、源碼

以下代碼為查詢某個(gè)企業(yè)的基本信息提供了API:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: jixuanfan_seu@163.com
# @Date:  2020-06-19 22:38:14
# @Last Modified time: 2020-07-01 17:33:13

import requests
import re
import json

headers={'User-Agent': 'Chrome/76.0.3809.132'}

#正則表達(dá)式提取數(shù)據(jù)
re_get_js=re.compile(r'<script>([\s\S]*?)</script>')
re_resultList=re.compile(r'"resultList":(\[{.+?}\]}])')

def Get_company_info(name):
	'''
		@func: 通過(guò)百度企業(yè)信用查詢企業(yè)基本信息
	'''
	url='https://xin.baidu.com/s?q=%s'%name
	res=requests.get(url,headers=headers)
	if res.status_code==200:
		html=res.text
		retVal=_parse_baidu_company_info(html)
		return retVal
	else:
		print('無(wú)法獲取%s的企業(yè)信息'%name)

def _parse_baidu_company_info(html):
	'''
		@function:解析百度企業(yè)信用提供的企業(yè)基本信息
		@output: list of dict, [{},{},...]
			pid: 跳轉(zhuǎn)到具體企業(yè)頁(yè)面的參數(shù)
			bid: 具體企業(yè)頁(yè)面URL中的參數(shù)
			name: 企業(yè)名稱
			type: 企業(yè)類(lèi)型
			date: 成立日期
			address: 地址
			person: 法人代表
			status: 存續(xù)狀態(tài)
			regCap: 注冊(cè)資本
			scope: 經(jīng)營(yíng)范圍
	'''
	js=re_get_js.findall(html)[1]
	data=re_resultList.search(js)
	if not data:
		return
	compant_list=json.loads(data.group(1))
	
	retVal=[]
	for x in compant_list:
		regCap=x['regCap'].replace(',','')
		if regCap[-1]=='萬(wàn)':
			regCap=regCap[:-1]
		regCap=float(regCap)
		address=x['domicile'].replace('<em>','').replace('</em>','')
		
		temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\
				'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\
				'scope':x['scope']}
		retVal.append(temp_v)
	return retVal

四、使用方法

直接將需要查詢的企業(yè)名稱傳入Get_company_info:

res=Get_company_info('江蘇蘇寧')
	print(res)

結(jié)果:


需要注意的是:

返回的是字典構(gòu)成的數(shù)組,每個(gè)字典元素代表一家企業(yè)的信息。順序與瀏覽器中顯示的順序相同。字典中參數(shù)的含義已在_parse_baidu_company_info函數(shù)的注釋中說(shuō)明。程序僅獲取第一頁(yè)的信息。如果要查詢多頁(yè),可以修改源碼。程序僅獲取企業(yè)的基本信息,沒(méi)有進(jìn)入企業(yè)的具體頁(yè)面,如:蘇寧物流具體頁(yè)面。不過(guò)返回結(jié)果中的pid或bid應(yīng)該能用于構(gòu)造查詢頁(yè)面的URL。

最后再次強(qiáng)調(diào):代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!

到此這篇關(guān)于詳解用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息的文章就介紹到這了,更多相關(guān)Python爬蟲(chóng)獲取百度企業(yè)信用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python pkg_resources模塊動(dòng)態(tài)加載插件實(shí)例分析

    Python pkg_resources模塊動(dòng)態(tài)加載插件實(shí)例分析

    當(dāng)編寫(xiě)應(yīng)用軟件時(shí),我們通常希望程序具有一定的擴(kuò)展性,額外的功能——甚至所有非核心的功能,都能通過(guò)插件實(shí)現(xiàn),具有可插拔性。特別是使用 Python 編寫(xiě)的程序,由于語(yǔ)言本身的動(dòng)態(tài)特性,為我們的插件方案提供了很多種實(shí)現(xiàn)方式
    2022-08-08
  • Python?爬取微博熱搜頁(yè)面

    Python?爬取微博熱搜頁(yè)面

    這篇文章主要介紹了Python?爬取微博熱搜頁(yè)面,關(guān)于Python?爬蟲(chóng),爬取網(wǎng)頁(yè)等相關(guān)內(nèi)容一般可作為小練習(xí),下面文章Python?爬取微博熱搜頁(yè)面也如此,需要的小伙伴可以參考一下
    2022-01-01
  • 深入解析Python中的集合類(lèi)型操作符

    深入解析Python中的集合類(lèi)型操作符

    這篇文章主要介紹了深入解析Python中的集合類(lèi)型操作符,是Python入門(mén)學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下
    2015-08-08
  • Python中Celery異步任務(wù)隊(duì)列的具體使用

    Python中Celery異步任務(wù)隊(duì)列的具體使用

    Celery是一個(gè)用于處理分布式任務(wù)和作業(yè)隊(duì)列的異步任務(wù)隊(duì)列庫(kù),本文主要介紹了Python中Celery異步任務(wù)隊(duì)列的具體使用,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2024-02-02
  • Python實(shí)現(xiàn)RabbitMQ6種消息模型的示例代碼

    Python實(shí)現(xiàn)RabbitMQ6種消息模型的示例代碼

    這篇文章主要介紹了Python實(shí)現(xiàn)RabbitMQ6種消息模型的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-03-03
  • Python中str is not callable問(wèn)題詳解及解決辦法

    Python中str is not callable問(wèn)題詳解及解決辦法

    這篇文章主要介紹了Python中str is not callable問(wèn)題詳解及解決辦法的相關(guān)資料,需要的朋友可以參考下
    2017-02-02
  • Python獲取當(dāng)前時(shí)間日期的方法總結(jié)

    Python獲取當(dāng)前時(shí)間日期的方法總結(jié)

    在Python編程中,獲取當(dāng)前的日期和時(shí)間是一個(gè)常見(jiàn)的需求,它在許多應(yīng)用中都有重要作用,本文為大家詳細(xì)整理了一些Python中的常用方法,希望對(duì)大家有所幫助
    2024-01-01
  • python名片管理系統(tǒng)開(kāi)發(fā)

    python名片管理系統(tǒng)開(kāi)發(fā)

    這篇文章主要為大家詳細(xì)介紹了python名片管理系統(tǒng)開(kāi)發(fā),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2020-06-06
  • 詳解Python常用的魔法方法

    詳解Python常用的魔法方法

    在Python中,所有以“__”雙下劃線包起來(lái)的方法,都統(tǒng)稱為“Magic Method”,中文稱『魔術(shù)方法』,例如類(lèi)的初始化方法 __init__ ,Python中所有的魔術(shù)方法均在官方文檔中有相應(yīng)描述,今天給大家整理了本篇文章,需要的朋友可以參考下
    2021-06-06
  • 一個(gè)Python優(yōu)雅的數(shù)據(jù)分塊方法詳解

    一個(gè)Python優(yōu)雅的數(shù)據(jù)分塊方法詳解

    在做需求過(guò)程中有一個(gè)對(duì)大量數(shù)據(jù)分塊處理的場(chǎng)景,具體來(lái)說(shuō)就是幾十萬(wàn)量級(jí)的數(shù)據(jù),分批處理,每次處理100個(gè)。這時(shí)就需要一個(gè)分塊功能的代碼。本文為大家分享了一個(gè)Python中優(yōu)雅的數(shù)據(jù)分塊方法,需要的可以參考一下
    2022-05-05

最新評(píng)論