python文件數(shù)據(jù)分析治理提取
前提提要
python2.0有無法直接讀取中文路徑的問題,需要另外寫函數(shù)。python3.0在2018年的時候也無法直接讀取。
現(xiàn)在使用的時候,發(fā)現(xiàn)python3.0是可以直接讀取中文路徑的。
需要自帶或者創(chuàng)建幾個txt文件,里面最好寫幾個數(shù)據(jù)(姓名,手機號,住址)
要求
寫代碼的時候最好,自己設幾個要求,明確下目的:
- 需要讀取對應目錄路徑的所有對應文件
- 按行讀取出每個對應txt文件的記錄
- 使用正則表達式獲取每行的手機號
- 將手機號碼存儲到excel中
思路
- 1)讀取文件
- 2)讀取數(shù)據(jù)
- 3)數(shù)據(jù)整理
- 4)正則表達式匹配
- 5)數(shù)據(jù)去重
- 6)數(shù)據(jù)導出保存
代碼
import glob import re import xlwt filearray=[] data=[] phone=[] filelocation=glob.glob(r'課堂實訓/*.txt') print(filelocation) for i in range(len(filelocation)): file =open(filelocation[i]) file_data=file.readlines() data.append(file_data) print(data) combine_data=sum(data,[]) print(combine_data) for a in combine_data: data1=re.search(r'[0-9]{11}',a) phone.append(data1[0]) phone=list(set(phone)) print(phone) print(len(phone)) #存到excel中 f=xlwt.Workbook('encoding=utf-8') sheet1=f.add_sheet('sheet1',cell_overwrite_ok=True) for i in range(len(phone)): sheet1.write(i,0,phone[i]) f.save('phonenumber.xls')
運行結果
會生成一個excel文件
分析
import glob import re import xlwt
globe用來定位文件,re正則表達式,xlwt用于excel
1)讀取文件
filelocation=glob.glob(r'課堂實訓/*.txt')
指定目錄下的所有txt文件
2)讀取數(shù)據(jù)
for i in range(len(filelocation)): file =open(filelocation[i]) file_data=file.readlines() data.append(file_data) print(data)
將路徑下的txt文件循環(huán)讀取,按序號依次讀取文件
打開每一次循環(huán)對應的文件
將每一次循環(huán)的txt文件的數(shù)據(jù)按行讀取出來
使用append()方法將每一行的數(shù)據(jù)添加到data列表中
輸出一下,可以看到將幾個txt的文件數(shù)據(jù)以字列形式存在同一個列表
3)數(shù)據(jù)整理
combine_data=sum(data,[])
列表合并成一個列表
4)正則表達式匹配外加數(shù)據(jù)去重
print(combine_data) for a in combine_data: data1=re.search(r'[0-9]{11}',a) phone.append(data1[0]) phone=list(set(phone)) print(phone) print(len(phone))
set()函數(shù):無序去重,創(chuàng)建一個無序不重復元素集
6)數(shù)據(jù)導出保存
#存到excel中 f=xlwt.Workbook('encoding=utf-8') sheet1=f.add_sheet('sheet1',cell_overwrite_ok=True) for i in range(len(phone)): sheet1.write(i,0,phone[i]) f.save('phonenumber.xls')
- Workbook('encoding=utf-8'):設置工作簿的編碼
- add_sheet('sheet1',cell_overwrite_ok=True):創(chuàng)建對應的工作表
- write(x,y,z):參數(shù)對應行、列、值
到此這篇關于python文件數(shù)據(jù)分析治理提取的文章就介紹到這了,更多相關python文件數(shù)據(jù)分析內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Django?+?Taro?前后端分離項目實現(xiàn)企業(yè)微信登錄功能
這篇文章主要介紹了Django?+?Taro?前后端分離項目實現(xiàn)企業(yè)微信登錄功能,本文記錄一下企業(yè)微信登錄的流程,結合示例代碼給大家分享實現(xiàn)思路,需要的朋友可以參考下2022-04-04利用Python腳本在Nginx和uwsgi上部署MoinMoin的教程
這篇文章主要介紹了利用Python腳本在Nginx和uwsgi上部署MoinMoin的教程,示例基于CentOS操作系統(tǒng),需要的朋友可以參考下2015-05-05使用jupyter notebook將文件保存為Markdown,HTML等文件格式
這篇文章主要介紹了使用jupyter notebook將文件保存為Markdown,HTML等文件格式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04