尋覓工具

確定任務(wù)之后第一步就是找個(gè)趁手的庫(kù)來(lái)干活。 Python Excel上列出了xlrd、xlwt、xlutils這幾個(gè)包，但是

它們都比較老，xlwt甚至不支持07版以后的excel
它們的文檔不太友好，都可能需要去讀源代碼，而老姐的任務(wù)比較緊，加上我當(dāng)時(shí)在期末，沒(méi)有這個(gè)時(shí)間細(xì)讀源代碼
再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在維護(hù)，文檔清晰易讀，參照Tutorial和API文檔很快就能上手，就是它了~

安裝

這個(gè)很容易，直接pip install openpyxl，呵呵呵~

因?yàn)槲也恍枰幚韴D片，就沒(méi)有裝pillow。

一些考慮

源文件大約一個(gè)在1~2MB左右，比較小，所以可以直接讀入內(nèi)存處理。
既然是處理excel，何況他們整個(gè)組顯然都是win下干活（數(shù)據(jù)都用excel存了= =，商科的人啊……），這個(gè)腳本還是在win下做吧
這個(gè)任務(wù)完全不需要我對(duì)現(xiàn)有的文件做修改！囧……我只要讀入、處理、再寫(xiě)出另一個(gè)文件就行了

學(xué)習(xí)使用

嗯，就是打開(kāi)cmd，然后用python的shell各種玩這個(gè)模塊來(lái)上手……（win下沒(méi)有裝ipython，囧）

做這個(gè)小腳本基本上我只需要import兩個(gè)東西

from openpyxl import Workbook
from openpyxl import load_workbook

load_workbook顧名思義是把文件導(dǎo)入到內(nèi)存，Workbook是最基本的一個(gè)類，用來(lái)在內(nèi)存里創(chuàng)建文件最后寫(xiě)進(jìn)磁盤(pán)的。

干活

首先我需要導(dǎo)入這個(gè)文件

inwb = load_workbook(filename)

得到的就是一個(gè)workbook對(duì)象

然后我需要?jiǎng)?chuàng)建一個(gè)新的文件

outwb = Workbook()

接著在這個(gè)新文件里，用create_sheet新建幾個(gè)工作表，比如

careerSheet = outwb.create_sheet(0, 'career')

就會(huì)從頭部插入一個(gè)叫career的工作表（也就是說(shuō)用法類似python list的insert）

接下來(lái)我需要遍歷輸入文件的每個(gè)工作表，并且按照表名做一些工作（e.g.如果表名不是數(shù)字，我不需要處理），openpyxl支持用字典一樣的方式通過(guò)表名獲取工作表，獲取一個(gè)工作簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():
  if not sheetName.isdigit():
    continue
  sheet = inwb[sheetName]

得到工作表之后，就是按列和行處理了。openpyxl會(huì)根據(jù)工作表里實(shí)際有數(shù)據(jù)的區(qū)域來(lái)確定行數(shù)和列數(shù)，獲取行和列的方法是sheet.rows和sheet.columns，它們都可以像list一樣用。比如，如果我想跳過(guò)數(shù)據(jù)少于2列的表，可以寫(xiě)

if len(sheet.columns) < 2:
  continue

如果我想獲取這個(gè)工作表的前兩列，可以寫(xiě)

colA, colB = sheet.columns[:2]

除了用columns和rows來(lái)得到這個(gè)工作表的行列之外，還可以用excel的單元格編碼來(lái)獲取一個(gè)區(qū)域，比如

cells = sheet['A1':'B20']

有點(diǎn)像excel自己的函數(shù)，可以拉出一塊二維的區(qū)域~

為了方便處理，遇到一個(gè)沒(méi)有C列的工作表，我要?jiǎng)?chuàng)建一個(gè)和A列等長(zhǎng)的空的C列出來(lái)，那么我可以用sheet.cell這個(gè)方法，通過(guò)傳入單元格編號(hào)和添加空值來(lái)創(chuàng)建新列。

alen = len(colA)
for i in range(1, alen + 1):
  sheet.cell('C%s' % (i)).value = None

注意：excel的單元格命名是從1開(kāi)始的~

上面的代碼也顯示出來(lái)了，獲取單元格的值是用cell.value（可以是左值也可以是右值），它的類型可以是字符串、浮點(diǎn)數(shù)、整數(shù)、或者時(shí)間（datetime.datetime），excel文件里也會(huì)生成對(duì)應(yīng)類型的數(shù)據(jù)。

得到每個(gè)單元格的值之后，就可以進(jìn)行操作了~openpyxl會(huì)自 動(dòng)將字符串用unicode編碼，所以字符串都是unicode類型的。

除了逐個(gè)逐個(gè)單元格用cell.value修改值以外，還可以一行行append到工作表里

sheet.append(strA, dateB, numC)

 最后，等新的文件寫(xiě)好，直接用workbook.save保存就行

outwb.save("test.xlsx")

這個(gè)會(huì)覆蓋當(dāng)前已有的文件，甚至你之前讀取到內(nèi)存的那個(gè)文件。

一些要注意的地方
如果要在遍歷一列的每個(gè)單元格的時(shí)候獲取當(dāng)前單元格的在這個(gè)column對(duì)象里的下標(biāo)

for idx, cell in enumerate(colA):
  # do something...

為了防止獲取的數(shù)據(jù)兩端有看不見(jiàn)的空格（excel文件里很常見(jiàn)的坑），記得strip()

如果工作表里的單元格沒(méi)有數(shù)據(jù)，openpyxl會(huì)讓它的值為None，所以如果要基于單元格的值做處理，不能預(yù)先假定它的類型，最好用

if not cell.value
  continue

之類的語(yǔ)句來(lái)先行判斷

如果要處理的excel文件里有很多noise，比如當(dāng)你預(yù)期一個(gè)單元格是時(shí)間的時(shí)候，有些表的數(shù)據(jù)可能是字符串，這時(shí)候可以用

if isinstance(cell.value, unicode):
  break

之類的語(yǔ)句處理。

win下的cmd似乎不太好設(shè)定用utf-8的code page，如果是簡(jiǎn)體中文的話可以用936（GBK），print的時(shí)候會(huì)自動(dòng)從unicode轉(zhuǎn)換到GBK輸出到終端。
 

一些幫忙處理中文問(wèn)題的小函數(shù)
我處理的表有一些超出GBK范圍的字符，當(dāng)我需要把一些信息print出來(lái)監(jiān)控處理進(jìn)度的時(shí)候非常麻煩，好在它們都是可以無(wú)視的，我直接用空格替換再print也行，所以加上一些我本來(lái)就要替換掉的分隔符，我可以：

# annoying seperators
dot = u'\u00b7'
dash = u'\u2014'
emph = u'\u2022'
dot2 = u'\u2027'

seps = (u'.', dot, dash, emph, dot2)

def get_clean_ch_string(chstring):
  """Remove annoying seperators from the Chinese string.

  Usage:
    cleanstring = get_clean_ch_string(chstring)
  """
  cleanstring = chstring
  for sep in seps:
    cleanstring = cleanstring.replace(sep, u' ')
  return cleanstring

此外我還有一個(gè)需求，是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。

首先我需要能把英文和中文分割開(kāi)，我的辦法是用正則匹配，按照常見(jiàn)中英文字符在unicode的范圍來(lái)套。匹配英文和中文的正則pattern如下：

# regex pattern matching all ascii characters
asciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))
# regex pattern matching all common Chinese characters and seporators
chinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的范圍替代，常見(jiàn)中文字符的范圍是\u4e00-\u9fff，那個(gè)seps是前面提到過(guò)的超出GBK范圍的一些字符。 除了簡(jiǎn)單的分割，我還需要處理只有中文名沒(méi)有英文名、只有英文名沒(méi)有中文名等情況，判斷邏輯如下：

def split_name(name):
  """Split [English name, Chinese name].

    If one of them is missing, None will be returned instead.
  Usage:
    engName, chName = split_name(name)
  """
  matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)
  if matches: # English name + Chinese name
    return matches.group(1).strip(), matches.group(2).strip()
  else:
    matches = re.findall('(%s)' % (chinesePattern), name)
    matches = ''.join(matches).strip()
    if matches: # Chinese name only
      return None, matches
    else: # English name only
      matches = re.findall('(%s)' % (asciiPattern), name)
      return ''.join(matches).strip(), None

得到了中文名之后，我需要分割成姓和名，因?yàn)槿蝿?wù)要求不需要把姓名分割得很明確，我就按照常見(jiàn)的中文名姓名分割方式來(lái)分——兩個(gè)字or三個(gè)字的第一個(gè)字是姓，四個(gè)字的前兩個(gè)字是姓，名字帶分隔符的（少數(shù)民族名字）分隔符前是姓（這里用到了前面的get_clean_ch_string函數(shù)來(lái)移除分隔符），名字再長(zhǎng)一些又不帶分割符的，假設(shè)整個(gè)字符串都是名字。（注意英語(yǔ)的first name 指的是名，last name指的是姓，2333）

def split_ch_name(chName):
  """Split the Chinese name into first name and last name.

    * If the name is XY or XYZ, X will be returned as the last name.
    * If the name is WXYZ, WX will be returned as the last name.
    * If the name is ...WXYZ, the whole name will be returned
     as the last name.
    * If the name is ..ABC * XYZ..., the part before the seperator
     will be returned as the last name.
  Usage:
    chFirstName, chLastName = split_ch_name(chName)
  """
  if len(chName) < 4: # XY or XYZ
    chLastName = chName[0]
    chFirstName = chName[1:]
  elif len(chName) == 4: # WXYZ
    chLastName = chName[:2]
    chFirstName = chName[2:]
  else: # longer
    cleanName = get_clean_ch_string(chName)
    nameParts = cleanName.split()
    print u' '.join(nameParts)
    if len(nameParts) < 2: # ...WXYZ
      return None, nameParts[0]
    chLastName, chFirstName = nameParts[:2] # ..ABC * XYZ...
  return chFirstName, chLastName

分割英文名就很簡(jiǎn)單了，空格分開(kāi)，第一部分是名，第二部分是姓，其他情況暫時(shí)不管就行。

最新評(píng)論