快捷導(dǎo)航

如何用python清洗文件中的數(shù)據(jù)

更新時間：2021年06月17日 17:26:18 作者：臨時營地

數(shù)據(jù)清洗是整個數(shù)據(jù)分析過程的第一步，就像做一道菜之前需要先擇菜洗菜一樣。數(shù)據(jù)分析師經(jīng)常需要花費(fèi)大量的時間來清洗數(shù)據(jù)或者轉(zhuǎn)換格式，這個工作甚至?xí)颊麄€數(shù)據(jù)分析流程的80%左右的時間。今天，就來學(xué)習(xí)一下Python的數(shù)據(jù)清洗吧！

簡單版

直接打開日志文件，往另外一個文件中按照要過濾的要求進(jìn)行過濾

import io;
with open('a.txt', 'w') as f:    
    for line in open('c:/201509.txt'):    
        if line.find('更改項目')>0 and line.find('500')>0:  
            f.write(line+"\n");
print("輸出完成");

注意.find返回的是字符串在目標(biāo)的第幾位，要和0作比較另外使用and而不是&&作為"和"，使用or而不是||作為"或" w是寫，r是讀，a是追加

使用filter

import io;
def isData(s):
    return s.find('更改項目')>0 and s.find('500')>0;
with open('a.txt', 'w') as f:             
       list1=list(filter(isData,open('c:/201509.txt')));    
       for (offset,item) in enumerate(list1):
            f.write(str(offset)+":"+item);

讀取utf-8帶bom的文件

微軟會在在 UTF-8 文件中放置 BOM頭（順便提一下：把帶有 BOM 的小端序 UTF-16 稱作「Unicode」而又不詳細(xì)說明，這也是微軟的習(xí)慣。不含BOM的UTF-8才是標(biāo)準(zhǔn)形式，UTF-8不需要BOM，帶BOM的UTF-8文件的開頭會有U+FEFF，所以Windows新建的空文件會有3字節(jié)的大小。

import codecs
with codecs.open('c:/20160907205.log', encoding='utf_8_sig') as f:
    for line in f:
        print(line)

注意編碼格式是utf_8_sig

多文件清洗

對多個文件進(jìn)行過濾，可以借助其名稱的規(guī)律，遍歷文件之后

import codecs
with codecs.open('a.txt','a', encoding='utf_8_sig') as f:
    for i in range(205,210):
        f.write(str(i)+"\r\n");   
        print(str(i)); 
        for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): 
            if line.find('url為')>=0 :  
                print(line);
                f.write(line+"\r\n");
print("輸出完成");

清洗數(shù)據(jù)同時記錄訂單號并排序

import codecs
a=0;
List=[];
with codecs.open('a.txt','a', encoding='utf_8_sig') as f:    
    for i in range(205,210): 
        for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): 
            if line.find('url為')>=0 :  
                ind=line.find("XFLucky");                
                if ind>=0:
                    nums=line[ind:ind+22];                    
                    print(nums);
                    List.append(nums);                   
                a=a+1;
                print(line);
                f.write(str(i)+line+"\r\n");              
List.sort(); 
for item in List:
    print(item);          
print("輸出完成"+str(a));

清洗sql文件，將數(shù)據(jù)表名放入excel中

安裝openpyxl

pip install openpyxl

安裝之后就可以進(jìn)行sql建表語句的過濾了，將所有的表名和注釋寫入我們的excel文件中。

import re
import openpyxl

data = []
temp = []
wb = openpyxl.load_workbook('data.xlsx')
ws2 = wb.create_sheet(index=2, title='addSheet_test')
for line in open('wlzcool.sql', encoding='utf-8'):
    if line.find('CREATE TABLE') >= 0:
        matchObj1 = re.search('`(.*?)`', line, re.M | re.I)
        if matchObj1:
            # print("matchObj.group(1) : ", matchObj1.group(1))
            print(matchObj1.group(1))
            temp.append(matchObj1.group(1))
    if line.find('ROW_FORMAT = Dynamic') >= 0:
        matchObj2 = re.search('\'(.*?)\'', line, re.M | re.I)
        if matchObj2:
            # print("matchObj.group(1) : ", matchObj2.group(1))
            print(matchObj2.group(1))
            temp.append(matchObj2.group(1))
        else:
            print("no comment")
            temp.append("no comment")
        data.append(temp)
        temp = []
for row in data:
    ws2.append(row)
wb.save('data.xlsx')
print("輸出完成")