在XML解析方面，Python貫徹了自己“開箱即用”（batteries included）的原則。在自帶的標準庫中，Python提供了大量可以用于處理XML語言的包和工具，數(shù)量之多，甚至讓Python編程新手無從選擇。

本文將介紹深入解讀利用Python語言解析XML文件的幾種方式，并以筆者推薦使用的ElementTree模塊為例，演示具體使用方法和場景。文中所使用的Python版本為2.7。

一、什么是XML?

XML是可擴展標記語言（Extensible Markup Language）的縮寫，其中的 標記（markup）是關(guān)鍵部分。您可以創(chuàng)建內(nèi)容，然后使用限定標記標記它，從而使每個單詞、短語或塊成為可識別、可分類的信息。

標記語言從早期的私有公司和政府制定形式逐漸演變成標準通用標記語言（Standard Generalized Markup Language，SGML）、超文本標記語言（Hypertext Markup Language，HTML），并且最終演變成 XML。XML有以下幾個特點。

• XML的設(shè)計宗旨是傳輸數(shù)據(jù)，而非顯示數(shù)據(jù)。
• XML標簽沒有被預(yù)定義。您需要自行定義標簽。
• XML被設(shè)計為具有自我描述性。
• XML是W3C的推薦標準。
  

目前，XML在Web中起到的作用不會亞于一直作為Web基石的HTML。 XML無所不在。XML是各種應(yīng)用程序之間進行數(shù)據(jù)傳輸?shù)淖畛Ｓ玫墓ぞ撸⑶以谛畔⒋鎯兔枋鲱I(lǐng)域變得越來越流行。因此，學(xué)會如何解析XML文件，對于Web開發(fā)來說是十分重要的。

二、有哪些可以解析XML的Python包？

Python的標準庫中，提供了6種可以用于處理XML的包。

xml.dom

xml.dom實現(xiàn)的是W3C制定的DOM API。如果你習(xí)慣于使用DOM API或者有人要求這這樣做，可以使用這個包。不過要注意，在這個包中，還提供了幾個不同的模塊，各自的性能有所區(qū)別。

DOM解析器在任何處理開始之前，必須把基于XML文件生成的樹狀數(shù)據(jù)放在內(nèi)存，所以DOM解析器的內(nèi)存使用量完全根據(jù)輸入資料的大小。

xml.dom.minidom

xml.dom.minidom是DOM API的極簡化實現(xiàn)，比完整版的DOM要簡單的多，而且這個包也小的多。那些不熟悉DOM的朋友，應(yīng)該考慮使用xml.etree.ElementTree模塊。據(jù)lxml的作者評價，這個模塊使用起來并不方便，效率也不高，而且還容易出現(xiàn)問題。

xml.dom.pulldom

與其他模塊不同，xml.dom.pulldom模塊提供的是一個“pull解析器”，其背后的基本概念指的是從XML流中pull事件，然后進行處理。雖然與SAX一樣采用事件驅(qū)動模型（event-driven processing model），但是不同的是，使用pull解析器時，使用者需要明確地從XML流中pull事件，并對這些事件遍歷處理，直到處理完成或者出現(xiàn)錯誤。

• pull解析（pull parsing）是近來興起的一種XML處理趨勢。此前諸如SAX和DOM這些流行的XML解析框架，都是push-based，也就是說對解析工作的控制權(quán)，掌握在解析器的手中。

xml.sax

xml.sax模塊實現(xiàn)的是SAX API，這個模塊犧牲了便捷性來換取速度和內(nèi)存占用。SAX是Simple API for XML的縮寫，它并不是由W3C官方所提出的標準。它是事件驅(qū)動的，并不需要一次性讀入整個文檔，而文檔的讀入過程也就是SAX的解析過程。所謂事件驅(qū)動，是指一種基于回調(diào)（callback）機制的程序運行方法。

xml.parser.expat

xml.parser.expat提供了對C語言編寫的expat解析器的一個直接的、底層API接口。expat接口與SAX類似，也是基于事件回調(diào)機制，但是這個接口并不是標準化的，只適用于expat庫。

expat是一個面向流的解析器。您注冊的解析器回調(diào)（或handler）功能，然后開始搜索它的文檔。當(dāng)解析器識別該文件的指定的位置，它會調(diào)用該部分相應(yīng)的處理程序（如果您已經(jīng)注冊的一個）。該文件被輸送到解析器，會被分割成多個片斷，并分段裝到內(nèi)存中。因此expat可以解析那些巨大的文件。

xml.etree.ElementTree（以下簡稱ET）

xml.etree.ElementTree模塊提供了一個輕量級、Pythonic的API，同時還有一個高效的C語言實現(xiàn)，即xml.etree.cElementTree。與DOM相比，ET的速度更快，API使用更直接、方便。與SAX相比，ET.iterparse函數(shù)同樣提供了按需解析的功能，不會一次性在內(nèi)存中讀入整個文檔。ET的性能與SAX模塊大致相仿，但是它的API更加高層次，用戶使用起來更加便捷。

筆者建議，在使用Python進行XML解析時，首選使用ET模塊，除非你有其他特別的需求，可能需要另外的模塊來滿足。

• 解析XML的這幾種API并不是Python獨創(chuàng)的，Python也是通過借鑒其他語言或者直接從其他語言引入進來的。例如expat就是一個用C語言開發(fā)的、用來解析XML文檔的開發(fā)庫。而SAX最初是由DavidMegginson采用java語言開發(fā)的，DOM可以以一種獨立于平臺和語言的方式訪問和修改一個文檔的內(nèi)容和結(jié)構(gòu)，可以應(yīng)用于任何編程語言。
  

下面，我們以ElementTree模塊為例，介紹在Python中如何解析lxml。

三、利用ElementTree解析XML

Python標準庫中，提供了ET的兩種實現(xiàn)。一個是純Python實現(xiàn)的xml.etree.ElementTree，另一個是速度更快的C語言實現(xiàn)xml.etree.cElementTree。請記住始終使用C語言實現(xiàn)，因為它的速度要快很多，而且內(nèi)存消耗也要少很多。如果你所使用的Python版本中沒有cElementTree所需的加速模塊，你可以這樣導(dǎo)入模塊：

try:
 import xml.etree.cElementTree as ET
except ImportError:
 import xml.etree.ElementTree as ET

如果某個API存在不同的實現(xiàn)，上面是常見的導(dǎo)入方式。當(dāng)然，很可能你直接導(dǎo)入第一個模塊時，并不會出現(xiàn)問題。請注意，自Python 3.3之后，就不用采用上面的導(dǎo)入方法，因為ElemenTree模塊會自動優(yōu)先使用C加速器，如果不存在C實現(xiàn)，則會使用Python實現(xiàn)。因此，使用Python 3.3+的朋友，只需要import xml.etree.ElementTree即可。

1、將XML文檔解析為樹（tree）

我們先從基礎(chǔ)講起。XML是一種結(jié)構(gòu)化、層級化的數(shù)據(jù)格式，最適合體現(xiàn)XML的數(shù)據(jù)結(jié)構(gòu)就是樹。ET提供了兩個對象：ElementTree將整個XML文檔轉(zhuǎn)化為樹，Element則代表著樹上的單個節(jié)點。對整個XML文檔的交互（讀取，寫入，查找需要的元素），一般是在ElementTree層面進行的。對單個XML元素及其子元素，則是在Element層面進行的。下面我們舉例介紹主要使用方法。

我們使用下面的XML文檔，作為演示數(shù)據(jù)：

<?xml version="1.0"?>
<doc>
 <branch name="codingpy.com" hash="1cdf045c">
  text,source
 </branch>
 <branch name="release01" hash="f200013e">
  <sub-branch name="subrelease01">
   xml,sgml
  </sub-branch>
 </branch>
 <branch name="invalid">
 </branch>
</doc>

接下來，我們加載這個文檔，并進行解析：

>>> import xml.etree.ElementTree as ET
>>> tree = ET.ElementTree(file='doc1.xml')

然后，我們獲取根元素（root element）：

>>> tree.getroot()
<Element 'doc' at 0x11eb780>

正如之前所講的，根元素（root）是一個Element對象。我們看看根元素都有哪些屬性：

>>> root = tree.getroot()
>>> root.tag, root.attrib
('doc', {})

沒錯，根元素并沒有屬性。與其他Element對象一樣，根元素也具備遍歷其直接子元素的接口：

>>> for child_of_root in root:
... print child_of_root.tag, child_of_root.attrib
...
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
branch {'name': 'invalid'}

我們還可以通過索引值來訪問特定的子元素：

>>> root[0].tag, root[0].text
('branch', '\n  text,source\n ')

2、查找需要的元素

從上面的示例中，可以明顯發(fā)現(xiàn)我們能夠通過簡單的遞歸方法（對每一個元素，遞歸式訪問其所有子元素）獲取樹中的所有元素。但是，由于這是十分常見的工作，ET提供了一些簡便的實現(xiàn)方法。

Element對象有一個iter方法，可以對某個元素對象之下所有的子元素進行深度優(yōu)先遍歷（DFS）。ElementTree對象同樣也有這個方法。下面是查找XML文檔中所有元素的最簡單方法：

>>> for elem in tree.iter():
... print elem.tag, elem.attrib
...
doc {}
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
sub-branch {'name': 'subrelease01'}
branch {'name': 'invalid'}

在此基礎(chǔ)上，我們可以對樹進行任意遍歷——遍歷所有元素，查找出自己感興趣的屬性。但是ET可以讓這個工作更加簡便、快捷。iter方法可以接受tag名稱，然后遍歷所有具備所提供tag的元素：

>>> for elem in tree.iter(tag='branch'):
... print elem.tag, elem.attrib
...
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
branch {'name': 'invalid'}

3、支持通過XPath查找元素

使用XPath查找感興趣的元素，更加方便。Element對象中有一些find方法可以接受Xpath路徑作為參數(shù)，find方法會返回第一個匹配的子元素，findall以列表的形式返回所有匹配的子元素, iterfind則返回一個所有匹配元素的迭代器（iterator）。ElementTree對象也具備這些方法，相應(yīng)地它的查找是從根節(jié)點開始的。

下面是一個使用XPath查找元素的示例：

>>> for elem in tree.iterfind('branch/sub-branch'):
... print elem.tag, elem.attrib
...
sub-branch {'name': 'subrelease01'}

上面的代碼返回了branch元素之下所有tag為sub-branch的元素。接下來查找所有具備某個name屬性的branch元素：

>>> for elem in tree.iterfind('branch[@name="release01"]'):
... print elem.tag, elem.attrib
...
branch {'hash': 'f200013e', 'name': 'release01'}

4、構(gòu)建XML文檔

利用ET，很容易就可以完成XML文檔構(gòu)建，并寫入保存為文件。ElementTree對象的write方法就可以實現(xiàn)這個需求。

一般來說，有兩種主要使用場景。一是你先讀取一個XML文檔，進行修改，然后再將修改寫入文檔，二是從頭創(chuàng)建一個新XML文檔。

修改文檔的話，可以通過調(diào)整Element對象來實現(xiàn)。請看下面的例子：

>>> root = tree.getroot()
>>> del root[2]
>>> root[0].set('foo', 'bar')
>>> for subelem in root:
... print subelem.tag, subelem.attrib
...
branch {'foo': 'bar', 'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}

在上面的代碼中，我們刪除了root元素的第三個子元素，為第一個子元素增加了新屬性。這個樹可以重新寫入至文件中。最終的XML文檔應(yīng)該是下面這樣的：

>>> import sys
>>> tree.write(sys.stdout)
<doc>
 <branch foo="bar" hash="1cdf045c" name="codingpy.com">
  text,source
 </branch>
 <branch hash="f200013e" name="release01">
  <sub-branch name="subrelease01">
   xml,sgml
  </sub-branch>
 </branch>
 </doc>

請注意，文檔中元素的屬性順序與原文檔不同。這是因為ET是以字典的形式保存屬性的，而字典是一個無序的數(shù)據(jù)結(jié)構(gòu)。當(dāng)然，XML也不關(guān)注屬性的順序。

從頭構(gòu)建一個完整的文檔也很容易。ET模塊提供了一個SubElement工廠函數(shù)，讓創(chuàng)建元素的過程變得很簡單：

>>> a = ET.Element('elem')
>>> c = ET.SubElement(a, 'child1')
>>> c.text = "some text"
>>> d = ET.SubElement(a, 'child2')
>>> b = ET.Element('elem_b')
>>> root = ET.Element('root')
>>> root.extend((a, b))
>>> tree = ET.ElementTree(root)
>>> tree.write(sys.stdout)
<root><elem><child1>some text</child1><child2 /></elem><elem_b /></root>

5、利用iterparse解析XML流

XML文檔通常都會比較大，如何直接將文檔讀入內(nèi)存的話，那么進行解析時就會出現(xiàn)問題。這也就是為什么不建議使用DOM，而是SAX API的理由之一。

我們上面談到，ET可以將XML文檔加載為保存在內(nèi)存里的樹（in-memory tree），然后再進行處理。但是在解析大文件時，這應(yīng)該也會出現(xiàn)和DOM一樣的內(nèi)存消耗大的問題吧？沒錯，的確有這個問題。為了解決這個問題，ET提供了一個類似SAX的特殊工具——iterparse，可以循序地解析XML。

接下來，筆者為大家展示如何使用iterparse，并與標準的樹解析方式進行對比。我們使用一個自動生成的XML文檔，下面是該文檔的開頭部分：

<?xml version="1.0" standalone="yes"?>
<site>
 <regions>
 <africa>
  <item id="item0">
  <location>United States</location> <!-- Counting locations -->
  <quantity>1</quantity>
  <name>duteous nine eighteen </name>
  <payment>Creditcard</payment>
  <description>
   <parlist>
[...]

我們來統(tǒng)計一下文檔中出現(xiàn)了多少個文本值為Zimbabwe的location元素。下面是使用ET.parse的標準方法：

tree = ET.parse(sys.argv[2])

count = 0
for elem in tree.iter(tag='location'):
 if elem.text == 'Zimbabwe':
  count += 1

print count

上面的代碼會將全部元素載入內(nèi)存，逐一解析。當(dāng)解析一個約100MB的XML文檔時，運行上面腳本的Python進程的內(nèi)存使用峰值為約560MB，總運行時間問2.9秒。

請注意，我們其實不需要講整個樹加載到內(nèi)存里。只要檢測出文本為相應(yīng)值得location元素即可。其他數(shù)據(jù)都可以廢棄。這時，我們就可以用上iterparse方法了：

count = 0
for event, elem in ET.iterparse(sys.argv[2]):
 if event == 'end':
  if elem.tag == 'location' and elem.text == 'Zimbabwe':
   count += 1
 elem.clear() # 將元素廢棄

print count

上面的for循環(huán)會遍歷iterparse事件，首先檢查事件是否為end，然后判斷元素的tag是否為location，以及其文本值是否符合目標值。另外，調(diào)用elem.clear()非常關(guān)鍵：因為iterparse仍然會生成一個樹，只是循序生成的而已。廢棄掉不需要的元素，就相當(dāng)于廢棄了整個樹，釋放出系統(tǒng)分配的內(nèi)存。

當(dāng)利用上面這個腳本解析同一個文件時，內(nèi)存使用峰值只有7MB，運行時間為2.5秒。速度提升的原因，是我們這里只在樹被構(gòu)建時，遍歷一次。而使用parse的標準方法是先完成整個樹的構(gòu)建后，才再次遍歷查找所需要的元素。

iterparse的性能與SAX相當(dāng)，但是其API卻更加有用：iterparse會循序地構(gòu)建樹；而利用SAX時，你還得自己完成樹的構(gòu)建工作。

領(lǐng)取干貨：零基礎(chǔ)入門學(xué)習(xí)python視頻教程

以上就是為大家分享的Python解析XML的幾種方式，希望對大家的學(xué)習(xí)有所幫助。

最新評論