Python通過DOM和SAX方式解析XML的應(yīng)用實(shí)例分享
XML.DOM
需求
有一個(gè)表,里面數(shù)據(jù)量比較大,每天一更新,其字段可以通過xml配置文件進(jìn)行配置,即,可能每次建表的字段不一樣。
上游跑時(shí)會(huì)根據(jù)配置從源文件中提取,到入庫(kù)這一步需要根據(jù)配置進(jìn)行建表。
解決
寫了一個(gè)簡(jiǎn)單的xml,配置需要字段及類型
上游讀取到對(duì)應(yīng)的數(shù)據(jù)
入庫(kù)這一步,先把原表刪除,根據(jù)配置建新表
XML文件
<?xml version="1.0" encoding="UTF-8"?> <!-- 表名 ,數(shù)據(jù)庫(kù)名 可靈活配置插入哪個(gè)庫(kù)哪個(gè)表 --> <table name="top_query" db_name="evaluting_sys"> <!-- 非業(yè)務(wù)主鍵,自增長(zhǎng),可配名,其他 INTEGER UNSIGNED AUTO_INCREMENT --> <primary_key> <name>id</name> </primary_key> <!-- 字段開始 --> <field> <name>query</name> <type>varchar(200)</type> <is_index>false</is_index> <description>query</description> </field> <field> <name>pv</name> <type>integer</type> <is_index>false</is_index> <description>pv</description> </field> <field> <name>avg_money</name> <type>integer</type> <is_index>false</is_index> <description></description> </field> <!-- 字段配置結(jié)束 --> </table>
處理腳本
#!/usr/bin/python # -*- coding:utf-8 -*- #author: wklken #desc: use to read db xml config. #----------------------- #2012-02-18 created #---------------------- import sys,os from xml.dom import minidom, Node def read_dbconfig_xml(xml_file_path): content = {} root = minidom.parse(xml_file_path) table = root.getElementsByTagName("table")[0] #read dbname and table name. table_name = table.getAttribute("name") db_name = table.getAttribute("db_name") if len(table_name) > 0 and len(db_name) > 0: db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";" table_drop_sql = "drop " + table_name + " if exists " + table_name + ";" content.update({"db_sql" : db_sql}) content.update({"table_sql" : table_drop_sql }) else: print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name sys.exit(1) #print table_name, db_name table_create_sql = "create table " + table_name +"(" #read primary cell primary_key = table.getElementsByTagName("primary_key")[0] primary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY," #print primary_key.toxml() #read ordernary field fields = table.getElementsByTagName("field") f_index = 0 for field in fields: f_index += 1 name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue table_create_sql += name + " " + type if f_index != len(fields): table_create_sql += "," is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue table_create_sql += ");" content.update({"table_create_sql" : table_create_sql}) #character set latin1 collate latin1_danish_ci; print content if __name__ == "__main__": read_dbconfig_xml(sys.argv[1])
涉及方法
root = minidom.parse(xml_file_path) 獲取dom對(duì)象
root.getElementsByTagName("table") 根據(jù)tag獲取節(jié)點(diǎn)列表
table.getAttribute("name") 獲取屬性
primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue 獲取子節(jié)點(diǎn)的值(id 得到id)
SAX
需求
讀取xml數(shù)據(jù)文件,文件較大,需要實(shí)時(shí)處理插入到數(shù)據(jù)庫(kù)
xml文檔
<PERSONS> <person> <id>100000</id> <sex>男</sex> <address>北京,海淀區(qū)</address> <fansNum>437</fansNum> <summary>1989</summary> <wbNum>333</wbNum> <gzNum>242</gzNum> <blog>null</blog> <edu>大學(xué)</edu> <work></work> <renZh>1</renZh> <brithday>2月14日</brithday> </person> </PERSONS>
處理
sax處理時(shí)并不會(huì)像dom一樣可以以類似節(jié)點(diǎn)的維度進(jìn)行讀取,它只有 開始標(biāo)簽 內(nèi)容 結(jié)束標(biāo)簽 之分
處理思想是:通過一個(gè)handler,對(duì)開始標(biāo)簽,內(nèi)容,結(jié)束標(biāo)簽各有一個(gè)處理函數(shù)
代碼及注解
person 處理類
from xml.sax import handler,parseString class PersonHandler(handler.ContentHandler): def __init__(self, db_ops): #db op obj self.db_ops = db_ops #存儲(chǔ)一個(gè)person的map self.person = {} #當(dāng)前的tag self.current_tag = "" #是否是tag之間的內(nèi)容 ,目的拿到tag間內(nèi)容,不受空白的干擾 self.in_quote = 0 #開始,清空map def startElement(self, name, attr): #以person,清空map if name == "person": self.person = {} #記錄 狀態(tài) self.current_tag = name self.in_quote = 1 #結(jié)束,插入數(shù)據(jù)庫(kù) def endElement(self, name): #以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束 if name == "person": #do something in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ]) print in_sql % in_fields db_ops.insert( in_sql%(in_fields)) #處理 self.in_quote = 0 def characters(self, content): #若是在tag之間的內(nèi)容,更新到map中 if self.in_quote: self.person.update({self.current_tag: content})
加上入庫(kù)的完整代碼
#!/usr/bin/python # -*- coding:utf-8 -*- #parse_person.py #version : 0.1 #author : wukunliang@163.com #desc : parse person.xml and out sql import sys,os import MySQLdb reload(sys) sys.setdefaultencoding('utf-8') in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)" fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday") #數(shù)據(jù)庫(kù)方法 class Db_Connect: def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True): print "init begin" print db_host, user, pwd, db_name, charset , use_unicode self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode) print "init end" def insert(self, sql): try: n = self.conn.cursor().execute(sql) return n except MySQLdb.Warning, e: print "Error: execute sql '",sql,"' failed" def close(self): self.conn.close() #person 處理類 from xml.sax import handler,parseString class PersonHandler(handler.ContentHandler): def __init__(self, db_ops): #db op obj self.db_ops = db_ops #存儲(chǔ)一個(gè)person的map self.person = {} #當(dāng)前的tag self.current_tag = "" #是否是tag之間的內(nèi)容 self.in_quote = 0 #開始,清空map def startElement(self, name, attr): #以person,清空map if name == "person": self.person = {} #記錄 狀態(tài) self.current_tag = name self.in_quote = 1 #結(jié)束,插入數(shù)據(jù)庫(kù) def endElement(self, name): #以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束 if name == "person": #do something in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ]) print in_sql % in_fields db_ops.insert( in_sql%(in_fields)) #處理 self.in_quote = 0 def characters(self, content): #若是在tag之間的內(nèi)容,更新到map中 if self.in_quote: self.person.update({self.current_tag: content}) if __name__ == "__main__": f = open("./person.xml") #如果源文件gbk 轉(zhuǎn)碼 若是utf-8,去掉decode.encode db_ops = Db_Connect("127.0.0.1", "root", "root", "test") parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops)) f.close() db_ops.close()
平時(shí)拿python來分析數(shù)據(jù),工具腳本還有hadoop streamming,但是用的面和深度實(shí)在欠缺 只能說道行還淺,需要多多實(shí)踐
- 用Python解析XML的幾種常見方法的介紹
- 深入解讀Python解析XML的幾種方式
- Python中使用ElementTree解析XML示例
- 詳細(xì)解讀Python中解析XML數(shù)據(jù)的方法
- python 解析XML python模塊xml.dom解析xml實(shí)例代碼
- 使用python解析xml成對(duì)應(yīng)的html示例分享
- Python中使用SAX解析xml實(shí)例
- 橫向?qū)Ρ确治鯬ython解析XML的四種方式
- python解析xml模塊封裝代碼
- Python解析xml中dom元素的方法
- Python3基于sax解析xml操作示例
- python解析xml簡(jiǎn)單示例
相關(guān)文章
python使用Windows的wmic命令監(jiān)控文件運(yùn)行狀況,如有異常發(fā)送郵件報(bào)警
這篇文章主要介紹了python使用Windows的wmic命令監(jiān)控文件運(yùn)行狀況,如有異常發(fā)送郵件報(bào)警的示例,幫助大家更好的理解和使用python,感興趣的朋友可以了解下2021-01-01Tensorflow2.1實(shí)現(xiàn)Fashion圖像分類示例詳解
這篇文章主要為大家介紹了Tensorflow2.1實(shí)現(xiàn)Fashion圖像分類示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-11-11Python 快速實(shí)現(xiàn)CLI 應(yīng)用程序的腳手架
本篇文章主要介紹了Python 快速實(shí)現(xiàn)CLI 應(yīng)用程序的腳手架,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-12-12Python實(shí)現(xiàn)自動(dòng)裝機(jī)功能案例分析
這篇文章主要介紹了Python實(shí)現(xiàn)自動(dòng)裝機(jī)功能,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-10-10如何用Python實(shí)現(xiàn)自動(dòng)發(fā)送微博
大家好,本篇文章主要講的是如何用Python實(shí)現(xiàn)自動(dòng)發(fā)送微博,感興趣的同學(xué)趕快來看一看吧,對(duì)你有幫助的話記得收藏2022-01-01Django+Ajax+jQuery實(shí)現(xiàn)網(wǎng)頁動(dòng)態(tài)更新的實(shí)例
今天小編就為大家分享一篇Django+Ajax+jQuery實(shí)現(xiàn)網(wǎng)頁動(dòng)態(tài)更新的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05