django批量導(dǎo)入xml數(shù)據(jù)
django后臺(tái)批量導(dǎo)入數(shù)據(jù)
在生產(chǎn)環(huán)境中,往往數(shù)據(jù)不是幾條或者幾百條,那么舉個(gè)例子,將公司所有員工員工號(hào)或者帳號(hào)密碼導(dǎo)入進(jìn)后臺(tái),那就不建議你去后臺(tái)一條條記錄去添加了
如何從xml中批量導(dǎo)入svn記錄
第一步:
為數(shù)據(jù)建立模型
@python_2_unicode_compatible class SVNLog(models.Model): vision = models.IntegerField(verbose_name=u"修訂版本", blank=False, null=False,) author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True) date = models.DateTimeField(verbose_name=u"修訂時(shí)間",null=True ) msg = models.TextField(verbose_name=u"注釋消息", blank=False, null=False, default=u"") paths = models.TextField(verbose_name=u"影響的文件", blank=False, null=False, default=u"") created_time = models.DateTimeField(verbose_name=u"創(chuàng)建時(shí)間", auto_now_add=True, ) update_time = models.DateTimeField(verbose_name=u"修改時(shí)間", auto_now=True, ) class Meta: ordering = ['revision'] def __str__(self): return u'r%s' % (self.revision or u"", )
既然建立好了模型,那我們?cè)偃ソ⒔邮芪覀儀ml文件的models
@python_2_unicode_compatible class ImportLogFile(models.Model): LogFile = models.FileField(upload_to='LogFile') FileName = models.CharField(max_length=50, verbose_name=u'文件名') class Meta: ordering = ['FileName'] def __str__(self): return self.FileName
ok,以上代碼我們定義好了數(shù)據(jù)和上傳文件的model
同步數(shù)據(jù)庫(kù)
python manage.py makemigrations python manage.py migrate
接著我們?nèi)バ薷腶dmin.py 讓我們可以從后臺(tái)上傳文件,
class ImportLogAdmin(admin.ModelAdmin): list_display = ('LogFile','FileName',) list_filter = ['FileName',] def save_model(self, request, obj, form, change): re = super(YDImportLogAdmin,self).save_model(request, obj, form, change) update_svn_log(self, request, obj, change) return re
注意上面代碼里的save_model,這里才是關(guān)鍵,在這里我重寫(xiě)了ModelAdmin里的save_model方法
因?yàn)槲覀円焉蟼魑募x取文件,解析文件,操作數(shù)據(jù)庫(kù)合為一步來(lái)操作,大家可以打開(kāi)debug,在上傳文件的時(shí)候,返回參數(shù)的obj里包括了文件上傳的路徑,這個(gè)路徑也是下一步我們操作解析文件的關(guān)鍵,好了我們?cè)谶@個(gè)app文件夾下新建一個(gè)utils.py 用來(lái)操作我們操作文件和數(shù)據(jù)庫(kù)的工具類,為了簡(jiǎn)單我寫(xiě)成了函數(shù)如下
先貼一下我們要測(cè)試的xml文件
<?xml version="1.0" encoding="UTF-8"?> <log> <logentry revision="2"> <author>qwert</author> <date>2016-09-27T07:16:37.396449Z</date> <paths> <path action="A" prop-mods="false" text-mods="true" kind="file">/aaa/README </path> </paths> <msg>20160927 151630</msg> </logentry> <logentry revision="1"> <author>VisualSVN Server</author> <date>2016-09-20T05:03:12.861315Z</date> <paths> <path action="A" prop-mods="false" text-mods="false" kind="dir">/branches</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/tags</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/trunk</path> </paths> <msg>hello word</msg> </logentry> </log>
輸出結(jié)果格式
r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line Changed paths: A /xxx/README 20160927 151630 ------------------------------------------------------------------------ r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line Changed paths: A /branches A /tags A /trunk Initial structure. from .models import SVNLog import xmltodict def update_svn_log(self, request, obj, change): headers = ['r','a','d','m','p'] filepath = obj.LogFile.path xmlfile = xmltodict.parse(open(filepath, 'r')) xml_logentry = xml.get('log').get('logentry') info_list = [] pathlist = [] sql_insert_list = [] sql_update_list = [] for j in xml: data_dict = {} # get path paths = j.get('paths').get('path') if isinstance(paths,list): for path in paths: action = path.get('@action') pathtext = path.get('#text') pathtext = action + ' ' + pathtext pathlist.append(pathtext) _filelist = u'\n'.join(pathlist) _paths = u"Changed paths:\n {}".format(_filelist) print _paths else: _filelist = paths.get('@action') + ' ' + paths.get('#text') _paths = u"Changed paths:\n {}".format(_filelist) print _paths # get revision vision = j.get('@vision') # get auth author = j.get('author') #get date date = j.get('date') #get msg msg = j.get('msg') data_dict[headers[0]] = int(vision) data_dict[headers[1]] = author data_dict[headers[2]] = date data_dict[headers[3]] = msg data_dict[headers[4]] = _paths info_list.append(data_dict) _svnlog = SVNLog.objects.filter().order_by('-vision').first() _last_version = _svnlog.vision if _svnlog else 0 for value in info_list: vision = value['r'] author = value['a'] date = value['d'] msg = value['m'] paths = value['p'] print vision,author _svnlog = YDSVNLog.objects.filter().order_by('-revision').first() _last_version = _svnlog.revision if _svnlog else 0 if vision > _last_version: sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) else: sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) SVNLog.objects.bulk_create(sql_insert_list) SVNLog.objects.bulk_create(sql_update_list)
我們使用的xmltodict這個(gè)第三方庫(kù)來(lái)解析xml,他把內(nèi)容解析成了高效率的orderdict類型,就是有序列的字典
這個(gè)xml中比較復(fù)雜的是那個(gè)paths里的path,因?yàn)檫@個(gè)xml中包含兩個(gè)元素,第一個(gè)元素的path只含有一個(gè)path,第二個(gè)元素中的paths包含有三個(gè)path,因此我們?cè)诮馕霁@取的時(shí)候需要判斷一下
paths = j.get('paths').get('path') if isinstance(paths,list): pass
我們判斷這個(gè)path是不是一個(gè)list類型的,如果是,那我們就按照l(shuí)ist的方式來(lái)處理,如果不是,那我們就按單個(gè)的方式來(lái)處理,獲取之后按照輸出結(jié)果格式處理下結(jié)果然后獲取其他內(nèi)容
revision = j.get('@vision') # get auth author = j.get('author') #get date date = j.get('date') #get msg msg = j.get('msg')
最后我們將獲取到的元素存在字典里
在循環(huán)中判斷當(dāng)前的版本號(hào)和數(shù)據(jù)庫(kù)中的版本號(hào),
如果比原來(lái)的小,那么我們執(zhí)行更新操作,反之執(zhí)行插入操作
最后使用了bulk_create來(lái)操作數(shù)據(jù)庫(kù),這樣避免了循環(huán)中每次都進(jìn)行數(shù)據(jù)庫(kù)操作造成的資源浪費(fèi)
相關(guān)文章
python使用folium庫(kù)繪制地圖點(diǎn)擊框
這篇文章主要為大家詳細(xì)介紹了python使用folium庫(kù)繪制地圖點(diǎn)擊框,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-09-09python使用sorted函數(shù)對(duì)列表進(jìn)行排序的方法
這篇文章主要介紹了python使用sorted函數(shù)對(duì)列表進(jìn)行排序的方法,涉及Python使用sorted函數(shù)的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-04-04python不支持i++運(yùn)算原理實(shí)例解析
這篇文章主要為大家介紹了python不支持 i++運(yùn)算原理實(shí)例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-02-02Python Flask的request對(duì)象使用詳解
本文介紹Flask request對(duì)象,一個(gè)完整的HTTP請(qǐng)求,包括客戶端向服務(wù)端發(fā)送的Request請(qǐng)求和服務(wù)器端發(fā)送Response響應(yīng).為了能方便訪問(wèn)獲取請(qǐng)求及響應(yīng)報(bào)文信息,Flask框架提供了一些內(nèi)建對(duì)象,下面就來(lái)說(shuō)一下Flask針對(duì)請(qǐng)求提供內(nèi)建對(duì)象reques,需要的朋友可以參考一下2023-02-02基于Python和C++實(shí)現(xiàn)刪除鏈表的節(jié)點(diǎn)
這篇文章主要介紹了基于Python和C++實(shí)現(xiàn)刪除鏈表的節(jié)點(diǎn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07python根據(jù)文章標(biāo)題內(nèi)容自動(dòng)生成摘要的實(shí)例
今天小編就為大家分享一篇python根據(jù)文章標(biāo)題內(nèi)容自動(dòng)生成摘要的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02Django框架之登錄后自定義跳轉(zhuǎn)頁(yè)面的實(shí)現(xiàn)方法
這篇文章主要介紹了Django框架之登錄后自定義跳轉(zhuǎn)頁(yè)面的實(shí)現(xiàn)方法,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-07-07對(duì)python中for、if、while的區(qū)別與比較方法
今天小編就為大家分享一篇對(duì)python中for 、if、 while的區(qū)別與比較方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06flask 框架操作MySQL數(shù)據(jù)庫(kù)簡(jiǎn)單示例
這篇文章主要介紹了flask 框架操作MySQL數(shù)據(jù)庫(kù),結(jié)合實(shí)例形式詳細(xì)分析了flask框架操作MySQL數(shù)據(jù)庫(kù)的連接、表格創(chuàng)建、數(shù)據(jù)增刪改查等相關(guān)使用技巧,需要的朋友可以參考下2020-02-02