欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬取各類文檔方法歸類匯總

 更新時(shí)間:2018年03月22日 17:22:29   作者:hhhparty  
網(wǎng)絡(luò)爬蟲不僅需要能夠抓取HTML中的敏感信息,也需要有抓取其他類型文檔的能力這篇文章主要為大家匯總了python爬取各類文檔方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

HTML文檔是互聯(lián)網(wǎng)上的主要文檔類型,但還存在如TXT、WORD、Excel、PDF、csv等多種類型的文檔。網(wǎng)絡(luò)爬蟲不僅需要能夠抓取HTML中的敏感信息,也需要有抓取其他類型文檔的能力。下面簡(jiǎn)要記錄一些個(gè)人已知的基于python3的抓取方法,以備查閱。

1.抓取TXT文檔

在python3下,常用方法是使用urllib.request.urlopen方法直接獲取。之后利用正則表達(dá)式等方式進(jìn)行敏感詞檢索。

### Reading TXT doc ###
from urllib.request import urlopen
from urllib.error import URLError,HTTPError
import re

try:
 textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")
except (URLError,HTTPError) as e:
 print("Errors:\n")
 print(e)
#print(textPage.read())
text = str(textPage.read())

#下面方法用正則匹配含1805的句子
pattern = re.compile("\..*1805(\w|,|\s|-)*(\.)")#不完美,簡(jiǎn)單示例
match = pattern.search(text)
if match is not None:
 print(match.group())

#下面方法不用正則。先用.將句集分片,之后就可遍歷了。
ss = text.split('.')
key_words = "1805"
words_list = [x.lower() for x in key_words.split()]
for item in ss:
 if all([word in item.lower() and True or False for word in words_list]):
  print(item)

上面的方法是已知目標(biāo)網(wǎng)頁(yè)為txt文本時(shí)的抓取。事實(shí)上,在自動(dòng)抓取網(wǎng)頁(yè)時(shí),必須考慮目標(biāo)網(wǎng)頁(yè)是否為純文本,用何種編碼等問(wèn)題。

如果只是編碼問(wèn)題,可以簡(jiǎn)單使用print(textPage.read(),'utf-8')等python字符處理方法來(lái)解決,如果抓取的是某個(gè)HTML,最好先分析,例如:

from urllib.request import urlopen
from urllib.error import URLError,HTTPError
from bs4 import BeautifulSoup
try:
 html = urlopen("https://en.wikipedia.org/wiki/Python_(programming_language)")
except (URLError,HTTPError) as e:
 print(e)
try:
 bsObj = BeautifulSoup(html,"html.parser")
 content = bsObj.find("div",{"id":"mw-content-text"}).get_text()
except AttributeError as e:
 print(e)

meta = bsObj.find("meta")
#print(bsObj)
if meta.attrs['charset'] == 'UTF-8':
 content = bytes(content,"UTF-8")
 print("-----------------UTF-8--------------")
 print(content.decode("UTF-8"))
if meta.attrs['charset'] == 'iso-8859-1':
 content = bytes(content,"iso-8859-1")
 print("--------------iso-8859-1------------")
 print(content.decode("iso-8859-1"))

2.抓取CSV文檔

CSV文件是一種常見的數(shù)據(jù)存檔文件,與TXT文檔基本類似,但在內(nèi)容組織上有一定格式,文件的首行為標(biāo)題列,之后的文件中的每一行表示一個(gè)數(shù)據(jù)記錄。這就像一個(gè)二維數(shù)據(jù)表或excel表格一樣。 python3中包含一個(gè)csv解析庫(kù),可用于讀寫csv文件,但其讀取目標(biāo)一般要求是在本地,要讀取遠(yuǎn)程網(wǎng)絡(luò)上的csv文件需要用urllib.request.urlopen先獲取。例如:

#csv遠(yuǎn)程獲取,內(nèi)存加載讀取
from urllib.request import urlopen
import csv
from io import StringIO#在內(nèi)存中讀寫str,如果要操作二進(jìn)制數(shù)據(jù),就需要使用BytesIO

try:
 data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
 print("Errors:\n")
 print(e)

dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
count = 0
for row in csvReader:
 if count < 10:
  print(row)
 else:
  print("...\n...")
  break
 count += 1 

#將數(shù)據(jù)寫入本地csv文件
with open("./localtmp.csv","wt",newline='',encoding='utf-8') as localcsvfile:
 writer = csv.writer(localcsvfile)
 count = 0 
 try:
  for row in csvReader:
   if count < 10:
    writer.writerow(row)
   else:
    break
   count += 1
 finally:
  localcsvfile.close()

csv文檔的標(biāo)題行(首行)需要特殊處理,csv.DictReader可以很好的解決這個(gè)問(wèn)題。DictReader將讀取的行轉(zhuǎn)換為python字典對(duì)象,而不是列表。標(biāo)題行的各列名即為字典的鍵名。

#csv.DictReader讀取csv文件,可以有效處理標(biāo)題行等問(wèn)題
from urllib.request import urlopen
import csv
from io import StringIO#在內(nèi)存中讀寫str,如果要操作二進(jìn)制數(shù)據(jù),就需要使用BytesIO

try:
 data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
 print("Errors:\n")
 print(e)

dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
dictReader = csv.DictReader(dataFile)
print(dictReader.fieldnames)
count = 0
for row in dictReader:
 if count < 10:
  print(row)
 else:
  print("...\n...")
  break
 count += 1 

3.抓取PDF文檔

pdf文檔的遠(yuǎn)程抓取與操作,可借助比較流行的pdfminer3k庫(kù)來(lái)完成。

#抓取并操作pdf
#pdf READ operation
from urllib.request import urlopen
from pdfminer.pdfinterp import PDFResourceManager,process_pdf
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from io import StringIO,open

def readPDF(filename):
 resmgr = PDFResourceManager()#STEP 1
 retstr = StringIO()#STEP 2
 laparams = LAParams()#STEP 3
 device = TextConverter(resmgr,retstr,laparams=laparams)#STEP 4

 process_pdf(resmgr,device,filename)#STEP 5
 device.close()#STEP 6

 content = retstr.getvalue()
 retstr.close()
 return content

try:
 pdffile = urlopen("http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf")

except (URLError,HTTPError) as e:
 print("Errors:\n")
 print(e)

outputString = readPDF(pdffile)#也可以讀取由pdffile=open("../../readme.pdf")語(yǔ)句打開的本地文件。
print(outputString)
pdffile.close()

4.抓取WORD

老版word使用了二進(jìn)制格式,后綴名為.doc,word2007后出現(xiàn)了與OPEN OFFICE類似的類XML格式文檔,后綴名為.docx。python對(duì)word文檔的支持不夠,似乎沒有完美解決方案。為讀取docx內(nèi)容,可以使用以下方法:
(1)利用urlopen抓取遠(yuǎn)程word docx文件;
(2)將其轉(zhuǎn)換為內(nèi)存字節(jié)流;
(3)解壓縮(docx是壓縮后文件);
(4)將解壓后文件作為xml讀取
(5)尋找xml中的標(biāo)簽(正文內(nèi)容)并處理

#讀取word docx文檔內(nèi)容
from zipfile import ZipFile
from urllib.request import urlopen
from io import BytesIO
from bs4 import BeautifulSoup

wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read()
wordFile = BytesIO(wordFile)
document = ZipFile(wordFile)#
xml_content = document.read("word/document.xml")
#print(xml_content.decode("utf-8"))

wordObj = BeautifulSoup(xml_content.decode("utf-8"),"lxml")
textStrings = wordObj.findAll("w:t")
for textElem in textStrings:
 print(textElem.text)

5.抓取EXCEL

6.抓取HTML源文檔

7.抓取HTML表單數(shù)據(jù)

8.抓取Javascript數(shù)據(jù)

更多內(nèi)容請(qǐng)參考專題《python爬取功能匯總》進(jìn)行學(xué)習(xí)。

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 詳解Python中namedtuple的使用

    詳解Python中namedtuple的使用

    這篇文章主要介紹了Python中namedtuple的使用,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-04-04
  • Python中遇到的小問(wèn)題及解決方法匯總

    Python中遇到的小問(wèn)題及解決方法匯總

    到年底了,現(xiàn)在的時(shí)間適合寫點(diǎn)最近的小總結(jié),所以下面這篇文章主要介紹了Python中遇到的一些小問(wèn)題及解決方法,需要的朋友可以參考借鑒,下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-01-01
  • Python中GeoJson和bokeh-1的使用講解

    Python中GeoJson和bokeh-1的使用講解

    今天小編就為大家分享一篇關(guān)于Python中GeoJson和bokeh-1的使用講解,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧
    2019-01-01
  • 將python字符串轉(zhuǎn)化成長(zhǎng)表達(dá)式的函數(shù)eval實(shí)例

    將python字符串轉(zhuǎn)化成長(zhǎng)表達(dá)式的函數(shù)eval實(shí)例

    這篇文章主要介紹了將python字符串轉(zhuǎn)化成長(zhǎng)表達(dá)式的函數(shù)eval實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-05-05
  • Python寫的Discuz7.2版faq.php注入漏洞工具

    Python寫的Discuz7.2版faq.php注入漏洞工具

    這篇文章主要介紹了Python寫的Discuz7.2版faq.php注入漏洞工具,全自動(dòng)的一款注入工具,針對(duì)Discuz7.2版,需要的朋友可以參考下
    2014-08-08
  • Python通過(guò)90行代碼搭建一個(gè)音樂(lè)搜索工具

    Python通過(guò)90行代碼搭建一個(gè)音樂(lè)搜索工具

    這篇文章主要介紹了Python通過(guò)90行代碼搭建一個(gè)音樂(lè)搜索工具,需要的朋友可以參考下
    2015-07-07
  • python爬蟲實(shí)現(xiàn)獲取下一頁(yè)代碼

    python爬蟲實(shí)現(xiàn)獲取下一頁(yè)代碼

    在本篇文章里小編給大家整理了關(guān)于python爬蟲實(shí)現(xiàn)獲取下一頁(yè)代碼內(nèi)容,需要的朋友們可以參考學(xué)習(xí)下。
    2020-03-03
  • Python獲取時(shí)間戳的多種方法總結(jié)

    Python獲取時(shí)間戳的多種方法總結(jié)

    時(shí)間戳是一個(gè)表示日期和時(shí)間的數(shù)值,通常以秒為單位,在Python中,獲取時(shí)間戳是常見的任務(wù),用于記錄事件、計(jì)時(shí)操作、以及在各種應(yīng)用中跟蹤時(shí)間,本文將介紹多種獲取時(shí)間戳的方法,包括標(biāo)準(zhǔn)庫(kù)和第三方庫(kù)的方式,并提供示例代碼以幫助你更好地理解
    2023-11-11
  • OpenCV-Python實(shí)現(xiàn)圖像梯度與Sobel濾波器

    OpenCV-Python實(shí)現(xiàn)圖像梯度與Sobel濾波器

    在實(shí)際應(yīng)用中我們只需要將圖像矩陣與Sobel濾波器卷積就可以得到圖像的梯度矩陣了。具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-06-06
  • python使用sklearn實(shí)現(xiàn)決策樹的方法示例

    python使用sklearn實(shí)現(xiàn)決策樹的方法示例

    這篇文章主要介紹了python使用sklearn實(shí)現(xiàn)決策樹的方法示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-09-09

最新評(píng)論