欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

用Python提取PDF表格的方法

 更新時間:2021年04月10日 15:48:49   作者:早起python  
這篇文章主要介紹了用Python提取PDF表格的方法,幫助大家更好的理解和學習使用python,感興趣的朋友可以了解下

大家好,從PDF中提取信息是辦公場景中經(jīng)常需要用到的操作,也是經(jīng)常又讀者在后臺問的一個操作。

內(nèi)容少的話我們可以手動復制粘貼,但如果需要批量提取就可以考慮使用Python,之前我也轉(zhuǎn)載過相關(guān)文章,提到主要就是使用pdfplumber庫,今天我們再次舉例講解。

通常PDF里的表格分為圖片型和文本型。文本型又分簡單型和復雜型。本文就針對這三部分舉例講解。

  • 提取簡單型表格
  • 提取較為復雜型表格
  • 提取圖片型表格

用到的模塊主要有

  • pdfplumber
  • pandas
  • Tesseract
  • PIL

文中出現(xiàn)的PDF材料是在巨潮資訊官網(wǎng)下載的公開PDF文件,主題是關(guān)于理財?shù)?,相關(guān)發(fā)布信息等信息如下:

內(nèi)容總共有6頁,后文中的例子會有展示。

一、簡單文本類型數(shù)據(jù)

簡單文本類型表格就是一頁PDF中只有一個表格,并且表格內(nèi)容完整可復制,例如我們選定內(nèi)容為PDF中的第四頁,內(nèi)容如下:

可以看到,該頁只有一個表格,下面我們將這個表寫入Excel中,先上代碼

import pdfplumber as pr
import pandas as pd
pdf = pr.open('關(guān)于使用自有資金購買銀行理財產(chǎn)品的進展公告.PDF')
ps = pdf.pages
pg = ps[3]
tables = pg.extract_tables()
table = tables[0]
print(table)
df = pd.DataFrame(table[1:],columns = table[0])
for i in range(len(table)):
    for j in range(len(table[i])):
        table[i][j] = table[i][j].replace('\n','')
df1 = pd.DataFrame(table[1:],columns = table[0])
df1.to_excel('page2.xlsx')

得到的結(jié)果如下:

通過與PDF上原表格對比,在內(nèi)容上是完全一致的,唯一不同的是由于主營業(yè)務(wù)內(nèi)容較多,導致顯示的不全面,現(xiàn)在來說說這段代碼。

首先導入要用到的兩個庫。在pdfplumber中,open()函數(shù)是用來打開PDF文件,該代碼用的是相對路徑。.open().pages則是獲取PDF的頁數(shù),打印ps值可以得到如下

pg = ps[3]代表的就是我們所選的第三頁。

pg.extract_tables():可輸出頁面中所有表格,并返回一個嵌套列表,其結(jié)構(gòu)層次為table→row→cell。此時,頁面上的整個表格被放入一個大列表中,原表格中的各行組成該大列表中的各個子列表。若需輸出單個外層列表元素,得到的便是由原表格同一行元素構(gòu)成的列表。

與其類似的是pg.extract_table( ):返回多個獨立列表,其結(jié)構(gòu)層次為row→cell。若頁面中存在多個行數(shù)相同的表格,則默認輸出頂部表格;否則,僅輸出行數(shù)最多的一個表格。此時,表格的每一行都作為一個單獨的列表,列表中每個元素即為原表格的各個單元格內(nèi)容。

由于該頁面中只有一個表格,我們需要tables集合中的第一個元素。打印table值,如下:

可以看到在上述中是存在\n這種沒不要的字符,它的作用其實是換行但我們在Excel中是不需要的。所以需要剔除它,用代碼中的for循環(huán)與replace函數(shù)將控制替換成空格(即刪除\n)。觀察table是一個裝有2個元素的列表。

最后df1 = pd.DataFrame(table[1:],columns = table[0])這段代碼的作用就是創(chuàng)建一個數(shù)據(jù)框,將內(nèi)容放到對應(yīng)的行列中。

本代碼只是簡單將數(shù)據(jù)存入到Excel,如果你需要進一步對樣式進行調(diào)整,可以使用openpyxl等模塊進行修改。

二、復雜型表格提取

復雜型表格即表格樣式不統(tǒng)一或一頁中有多個表格,以PDF中的第五頁為例:

可以看到本頁中有兩個大的表格,并且細看的話,其實是4個表格,按照簡單型表格類型提取方法,得到的效果如下:

可以看到,只是將全部表格文本提取出來,但實際上第一個表格又細分為兩個表,所以需要我們進一步修改,將這張表再次拆分!例如提取上半部分代碼如下:

import pdfplumber as pr
import pandas as pd
pdf = pr.open('關(guān)于使用自有資金購買銀行理財產(chǎn)品的進展公告.PDF')
ps = pdf.pages
pg = ps[4]
tables = pg.extract_tables()
table = tables[0]
print(table)
df = pd.DataFrame(table[1:],columns = table[0])
for i in range(len(table)):
    for j in range(len(table[i])):
        table[i][j] = table[i][j].replace('\n','')
df1 = pd.DataFrame(table[1:],columns = table[0])
df2 = df1.iloc[2:,:]
df2 = df2.rename(columns = {"2019年12月31日":"2019年1-12月","2020年9月30日":"2020年1-9月"})
df2 = df2.loc[3:,:]
df1 = df1.loc[:1,:]
with pd.ExcelWriter('公司影響.xlsx') as i:
    df1.to_excel(i,sheet_name='資產(chǎn)', index=False, header=True) #放入資產(chǎn)數(shù)據(jù)
    df2.to_excel(i,sheet_name='營業(yè)',index=False, header=True) #放入營業(yè)數(shù)據(jù)

這段代碼在簡單型表格提取的基礎(chǔ)上進行了修改,第十四行代碼的作用就是提取另外一個表頭的信息,并將他賦值給df2,而后對df2進行重命名操作(用到rename函數(shù))。

打印df2可以看出columns列名和第一行信息重復了,因此我們需要重復剛剛的步驟,利用loc()函數(shù)切割數(shù)據(jù)框。

注意,我們這里用了罕見的pandas.Excelwriter函數(shù)套for循環(huán),這個是為了避免直接寫入導致的最后數(shù)據(jù)覆蓋原數(shù)據(jù),感興趣可以嘗試一下不用withopen這種方法后結(jié)果。最終得到的效果如下:

可以看到,現(xiàn)在這個表格就被放在兩個sheet中單獨展示,當然用于對比放在一張表中也是可以的

說到底復雜型表格的主觀性是非常大的,需要根據(jù)不同情況進行不同處理,想寫出一個一勞永逸的辦法是比較困難的!

三、圖片型表格提取

最后也是最難處理的就是圖片型表格,經(jīng)常有人會問如何提取圖片型PDF中的表格/文本等信息。

其實本質(zhì)上就是提取圖片,之后如何對圖片進一步處理提取信息就與Python提取PDF表格這個主題沒有太大關(guān)系了!

這里我們也簡單進行介紹,也就是先提取圖片再進行OCR識別提取表格,在Python中可以使用Tesseract庫,首先需要pip安裝

pip install pytesseract

在Python中安裝完這個庫之后我們需要安裝exe文件以在后面代碼用到。

http://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-setup-4.00.00dev.exe

下載安裝完即可,注意目前如果按照正常步驟安裝的話是不會識別中文的,所以需要安裝簡體中文語言包,下載地址為https://github.com/tesseract-ocr/tessdata/find/master/chi_sim.traineddata,將其放到Tesseract-OCR的tessdata目錄下即可。

接下來我們使用一個簡單的圖片型pdf如下:

第一步,提取圖片,這里使用在GUI辦公自動化系列中的圖片提取軟件來提取PDF中的圖片,得到如下圖片:

接著執(zhí)行下方代碼識別圖片內(nèi)容

import pytesseract
from PIL import Image
import pandas as pd
pytesseract.pytesseract.tesseract_cmd = 'C://Program Files (x86)/Tesseract-OCR/tesseract.exe'
tiqu = pytesseract.image_to_string(Image.open('圖片型.jpg'))
print(tiqu)
tiqu = tiqu.split('\n')
while '' in tiqu:    #不能使用for
  tiqu.remove('')
  first = tiqu[:6]
  second = tiqu[6:12]
  third =  tiqu[12:]
  df = pd.DataFrame()
  df[first[0]] = first[1:]
  df[second[0]] = second[1:]
  df[third[0]] = third[1:]
#df.to_excel('圖片型表格.xlsx')  #轉(zhuǎn)為xlsx文件

我們的思路是用Tesseract-OCR來解析圖片,得到一個字符串,接著對字符串運用split函數(shù),把字符串變成列表同時刪除\n。

接著可以發(fā)現(xiàn)我們的列表里還存在空格,這時我們用while循環(huán)來刪除這些空字符,注意,這里不能用for循環(huán),因為每次刪除一個,列表里的元素就會前進一個,這樣會刪不完全。最后就是用pandas把這些變成數(shù)據(jù)框形式。最終得到的效果如下:

可以看到,該圖片型表格內(nèi)容被完美解析與處理!當然能輕松搞定的原因也與這個表格足夠簡單有關(guān),在真實場景中的圖片可能會有更復雜的干擾因素,而這就需要大家在處理的同時自行找到一個最合適的辦法!

以上就是用Python提取PDF表格的方法的詳細內(nèi)容,更多關(guān)于Python提取PDF表格的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 詳解python的xlwings庫讀寫excel操作總結(jié)

    詳解python的xlwings庫讀寫excel操作總結(jié)

    這篇文章主要介紹了詳解python的xlwings庫讀寫excel操作總結(jié),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-02-02
  • Python操作MySQL模擬銀行轉(zhuǎn)賬

    Python操作MySQL模擬銀行轉(zhuǎn)賬

    這篇文章主要為大家詳細介紹了Python操作MySQL模擬銀行轉(zhuǎn)賬,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-03-03
  • 超詳細圖解修改pip?install默認安裝路徑的方法

    超詳細圖解修改pip?install默認安裝路徑的方法

    windows環(huán)境下Python pip安裝庫的時候,默認安裝在c盤,下面這篇文章主要給大家介紹了關(guān)于修改pip?install默認安裝路徑的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-07-07
  • Python復數(shù)屬性和方法運算操作示例

    Python復數(shù)屬性和方法運算操作示例

    這篇文章主要介紹了Python復數(shù)屬性和方法運算操作,結(jié)合實例形式分析了Python復數(shù)運算相關(guān)操作技巧,代碼注釋備有詳盡說明,需要的朋友可以參考下
    2017-07-07
  • python tkinterEntry組件設(shè)置默認值方式

    python tkinterEntry組件設(shè)置默認值方式

    使用Tkinter庫中的Entry組件創(chuàng)建文本輸入框時,可以通過insert方法在指定位置插入默認文本作為提示,結(jié)合使用focus和focusin事件,可以實現(xiàn)用戶點擊時清除默認文本,以便輸入自定義內(nèi)容
    2024-09-09
  • python3安裝speech語音模塊的方法

    python3安裝speech語音模塊的方法

    今天小編就為大家分享一篇python3安裝speech語音模塊的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12
  • Python爬蟲之Selenium實現(xiàn)關(guān)閉瀏覽器

    Python爬蟲之Selenium實現(xiàn)關(guān)閉瀏覽器

    這篇文章主要介紹了Python爬蟲之Selenium實現(xiàn)關(guān)閉瀏覽器,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-12-12
  • 使用Python腳本操作MongoDB的教程

    使用Python腳本操作MongoDB的教程

    這篇文章主要介紹了使用Python腳本操作MongoDB的教程,MongoDB作為非關(guān)系型數(shù)據(jù)庫得到了很大的宣傳力度,而市面上的教程一般都是講解JavaScript的腳本操作,本文則是基于Python,需要的朋友可以參考下
    2015-04-04
  • numpy數(shù)組拼接簡單示例

    numpy數(shù)組拼接簡單示例

    這篇文章主要介紹了numpy數(shù)組拼接簡單示例,涉及對numpy數(shù)組的介紹,numpy數(shù)組的屬性等內(nèi)容,具有一定借鑒價值,需要的朋友可以參考下。
    2017-12-12
  • 利用Python實現(xiàn)自動生成圖文并茂的數(shù)據(jù)分析

    利用Python實現(xiàn)自動生成圖文并茂的數(shù)據(jù)分析

    這篇文章主要介紹了利用Python實現(xiàn)自動生成圖文并茂的數(shù)據(jù)分析,文章圍繞主題展開詳細的內(nèi)容介紹,具有一定的參考價值,需要的朋友可以參考一下
    2022-08-08

最新評論