python爬取各類文檔方法歸類匯總
HTML文檔是互聯(lián)網(wǎng)上的主要文檔類型,但還存在如TXT、WORD、Excel、PDF、csv等多種類型的文檔。網(wǎng)絡爬蟲不僅需要能夠抓取HTML中的敏感信息,也需要有抓取其他類型文檔的能力。下面簡要記錄一些個人已知的基于python3的抓取方法,以備查閱。
1.抓取TXT文檔
在python3下,常用方法是使用urllib.request.urlopen方法直接獲取。之后利用正則表達式等方式進行敏感詞檢索。
### Reading TXT doc ### from urllib.request import urlopen from urllib.error import URLError,HTTPError import re try: textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt") except (URLError,HTTPError) as e: print("Errors:\n") print(e) #print(textPage.read()) text = str(textPage.read()) #下面方法用正則匹配含1805的句子 pattern = re.compile("\..*1805(\w|,|\s|-)*(\.)")#不完美,簡單示例 match = pattern.search(text) if match is not None: print(match.group()) #下面方法不用正則。先用.將句集分片,之后就可遍歷了。 ss = text.split('.') key_words = "1805" words_list = [x.lower() for x in key_words.split()] for item in ss: if all([word in item.lower() and True or False for word in words_list]): print(item)
上面的方法是已知目標網(wǎng)頁為txt文本時的抓取。事實上,在自動抓取網(wǎng)頁時,必須考慮目標網(wǎng)頁是否為純文本,用何種編碼等問題。
如果只是編碼問題,可以簡單使用print(textPage.read(),'utf-8')等python字符處理方法來解決,如果抓取的是某個HTML,最好先分析,例如:
from urllib.request import urlopen from urllib.error import URLError,HTTPError from bs4 import BeautifulSoup try: html = urlopen("https://en.wikipedia.org/wiki/Python_(programming_language)") except (URLError,HTTPError) as e: print(e) try: bsObj = BeautifulSoup(html,"html.parser") content = bsObj.find("div",{"id":"mw-content-text"}).get_text() except AttributeError as e: print(e) meta = bsObj.find("meta") #print(bsObj) if meta.attrs['charset'] == 'UTF-8': content = bytes(content,"UTF-8") print("-----------------UTF-8--------------") print(content.decode("UTF-8")) if meta.attrs['charset'] == 'iso-8859-1': content = bytes(content,"iso-8859-1") print("--------------iso-8859-1------------") print(content.decode("iso-8859-1"))
2.抓取CSV文檔
CSV文件是一種常見的數(shù)據(jù)存檔文件,與TXT文檔基本類似,但在內(nèi)容組織上有一定格式,文件的首行為標題列,之后的文件中的每一行表示一個數(shù)據(jù)記錄。這就像一個二維數(shù)據(jù)表或excel表格一樣。 python3中包含一個csv解析庫,可用于讀寫csv文件,但其讀取目標一般要求是在本地,要讀取遠程網(wǎng)絡上的csv文件需要用urllib.request.urlopen先獲取。例如:
#csv遠程獲取,內(nèi)存加載讀取 from urllib.request import urlopen import csv from io import StringIO#在內(nèi)存中讀寫str,如果要操作二進制數(shù)據(jù),就需要使用BytesIO try: data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore") except (URLError,HTTPError) as e: print("Errors:\n") print(e) dataFile = StringIO(data) csvReader = csv.reader(dataFile) count = 0 for row in csvReader: if count < 10: print(row) else: print("...\n...") break count += 1 #將數(shù)據(jù)寫入本地csv文件 with open("./localtmp.csv","wt",newline='',encoding='utf-8') as localcsvfile: writer = csv.writer(localcsvfile) count = 0 try: for row in csvReader: if count < 10: writer.writerow(row) else: break count += 1 finally: localcsvfile.close()
csv文檔的標題行(首行)需要特殊處理,csv.DictReader可以很好的解決這個問題。DictReader將讀取的行轉(zhuǎn)換為python字典對象,而不是列表。標題行的各列名即為字典的鍵名。
#csv.DictReader讀取csv文件,可以有效處理標題行等問題 from urllib.request import urlopen import csv from io import StringIO#在內(nèi)存中讀寫str,如果要操作二進制數(shù)據(jù),就需要使用BytesIO try: data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore") except (URLError,HTTPError) as e: print("Errors:\n") print(e) dataFile = StringIO(data) csvReader = csv.reader(dataFile) dictReader = csv.DictReader(dataFile) print(dictReader.fieldnames) count = 0 for row in dictReader: if count < 10: print(row) else: print("...\n...") break count += 1
3.抓取PDF文檔
pdf文檔的遠程抓取與操作,可借助比較流行的pdfminer3k庫來完成。
#抓取并操作pdf #pdf READ operation from urllib.request import urlopen from pdfminer.pdfinterp import PDFResourceManager,process_pdf from pdfminer.converter import TextConverter from pdfminer.layout import LAParams from io import StringIO,open def readPDF(filename): resmgr = PDFResourceManager()#STEP 1 retstr = StringIO()#STEP 2 laparams = LAParams()#STEP 3 device = TextConverter(resmgr,retstr,laparams=laparams)#STEP 4 process_pdf(resmgr,device,filename)#STEP 5 device.close()#STEP 6 content = retstr.getvalue() retstr.close() return content try: pdffile = urlopen("http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf") except (URLError,HTTPError) as e: print("Errors:\n") print(e) outputString = readPDF(pdffile)#也可以讀取由pdffile=open("../../readme.pdf")語句打開的本地文件。 print(outputString) pdffile.close()
4.抓取WORD
老版word使用了二進制格式,后綴名為.doc,word2007后出現(xiàn)了與OPEN OFFICE類似的類XML格式文檔,后綴名為.docx。python對word文檔的支持不夠,似乎沒有完美解決方案。為讀取docx內(nèi)容,可以使用以下方法:
(1)利用urlopen抓取遠程word docx文件;
(2)將其轉(zhuǎn)換為內(nèi)存字節(jié)流;
(3)解壓縮(docx是壓縮后文件);
(4)將解壓后文件作為xml讀取
(5)尋找xml中的標簽(正文內(nèi)容)并處理
#讀取word docx文檔內(nèi)容 from zipfile import ZipFile from urllib.request import urlopen from io import BytesIO from bs4 import BeautifulSoup wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read() wordFile = BytesIO(wordFile) document = ZipFile(wordFile)# xml_content = document.read("word/document.xml") #print(xml_content.decode("utf-8")) wordObj = BeautifulSoup(xml_content.decode("utf-8"),"lxml") textStrings = wordObj.findAll("w:t") for textElem in textStrings: print(textElem.text)
5.抓取EXCEL
6.抓取HTML源文檔
7.抓取HTML表單數(shù)據(jù)
8.抓取Javascript數(shù)據(jù)
更多內(nèi)容請參考專題《python爬取功能匯總》進行學習。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
將python字符串轉(zhuǎn)化成長表達式的函數(shù)eval實例
這篇文章主要介紹了將python字符串轉(zhuǎn)化成長表達式的函數(shù)eval實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05Python寫的Discuz7.2版faq.php注入漏洞工具
這篇文章主要介紹了Python寫的Discuz7.2版faq.php注入漏洞工具,全自動的一款注入工具,針對Discuz7.2版,需要的朋友可以參考下2014-08-08OpenCV-Python實現(xiàn)圖像梯度與Sobel濾波器
在實際應用中我們只需要將圖像矩陣與Sobel濾波器卷積就可以得到圖像的梯度矩陣了。具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-06-06python使用sklearn實現(xiàn)決策樹的方法示例
這篇文章主要介紹了python使用sklearn實現(xiàn)決策樹的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-09-09