基于PyQt5制作Excel文件數(shù)據(jù)去重小工具
需求說(shuō)明:將單個(gè)或者多個(gè)Excel文件數(shù)據(jù)進(jìn)行去重操作,去重的列可以通過(guò)自定義制定。
開(kāi)始源碼說(shuō)明之前,先說(shuō)明一下工具的使用過(guò)程。
1、準(zhǔn)備需要去重的數(shù)據(jù)文件。
2、使用工具執(zhí)行去重操作。
3、處理完成后的結(jié)果文件。
PyQt5 界面UI相關(guān)的模塊引用
from PyQt5.QtWidgets import * from PyQt5.QtGui import *
核心組件
from PyQt5.QtCore import *
主題樣式模塊引用
from QCandyUi import CandyWindow
在這個(gè)應(yīng)用中使用一個(gè)默認(rèn)的楊氏模塊QCandyUi,可以改變整個(gè)應(yīng)用的主題顏色設(shè)計(jì)不用一個(gè)控件一個(gè)控件的去修改樣式。有一個(gè)不好的地方就是應(yīng)用本身設(shè)置的標(biāo)題和應(yīng)用圖標(biāo)不能生效,必須利用這個(gè)樣式控件CandyWindow來(lái)修改,就像下面這樣需要將我們自己寫的UI空間放到里面。
# w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號(hào):[Python 集中營(yíng)]', # ico_path='數(shù)據(jù)去重.ico') # w.show()
應(yīng)用操作相關(guān)模塊
import sys import os
Excel數(shù)據(jù)處理模塊
import pandas as pd import openpyxl as pxl
UI界面布局設(shè)計(jì)、信號(hào)量槽函數(shù)綁定實(shí)現(xiàn)
class EDataDel(QWidget): def __init__(self): super(EDataDel, self).__init__() self.init_ui() def init_ui(self): self.brower = QTextBrowser() self.brower.setReadOnly(True) self.brower.setFont(QFont('微軟雅黑', 8)) self.brower.setPlaceholderText('處理進(jìn)程展示區(qū)域...') self.brower.ensureCursorVisible() form = QFormLayout() self.file_paths = QLineEdit() self.file_paths.setReadOnly(True) self.file_paths_btn = QPushButton() self.file_paths_btn.setText('加載批文件') self.file_paths_btn.clicked.connect(self.file_paths_btn_click) self.colums_label = QLabel() self.colums_label.setText('自定義去重復(fù)列') self.colums_text = QLineEdit() self.colums_text.setPlaceholderText('列名1,列名2,列名3,...') form.addRow(self.file_paths, self.file_paths_btn) form.addRow(self.colums_label, self.colums_text) self.work = DataWork(self) self.work.trigger.connect(self.update_log) self.work.finished.connect(self.finished) vbox = QVBoxLayout() self.start_btn = QPushButton() self.start_btn.setText('開(kāi)始執(zhí)行') self.start_btn.clicked.connect(self.start_btn_click) vbox.addLayout(form) vbox.addWidget(self.start_btn) hbox = QHBoxLayout() hbox.addWidget(self.brower) hbox.addLayout(vbox) self.setLayout(hbox) def file_paths_btn_click(self): paths = QFileDialog.getOpenFileNames(self, '選擇文件', os.getcwd(), 'Excel Files(*.xlsx)') files = paths[0] path_strs = '' for file in files: path_strs = path_strs + file + ';' self.file_paths.setText(path_strs) if self.file_paths.text().strip() != '': self.update_log('已經(jīng)完成批文件路徑加載!') else: self.update_log('沒(méi)有選擇任何文件!') def save_dir_btn_click(self): directory = QFileDialog.getExistingDirectory(self, '選擇文件夾', os.getcwd()) self.save_dir.setText(directory) def update_log(self, text): cursor = self.brower.textCursor() cursor.movePosition(QTextCursor.End) self.brower.append(text) self.brower.setTextCursor(cursor) self.brower.ensureCursorVisible() def start_btn_click(self): self.start_btn.setEnabled(False) self.work.start() def finished(self, finished): if finished is True: self.start_btn.setEnabled(True)
創(chuàng)建子線程,處理業(yè)務(wù)邏輯(清理Excel重復(fù)文件)
class DataWork(QThread): trigger = pyqtSignal(str) finished = pyqtSignal(bool) def __init__(self, parent=None): super(DataWork, self).__init__(parent) self.parent = parent self.working = True def __del__(self): self.working = False self.wait() def run(self): self.trigger.emit('啟動(dòng)批量處理子線程...') file_paths = self.parent.file_paths.text().strip() colums_text = self.parent.colums_text.text().strip() colums = [] if ',' in colums_text: colums = colums_text.split(',') else: colums.append(colums_text) self.trigger.emit('獲取配置項(xiàng)完成!') for file in file_paths.split(';'): if file.strip() != '': web_sheet = pxl.load_workbook(file) sheets = web_sheet.sheetnames print(file) new_file = file.split('.')[0] + '_已去重.' + file.split('.')[1] print(new_file) writer = pd.ExcelWriter(new_file) for sheet in sheets: sheet_name = sheet.title() print(sheet_name) self.trigger.emit('準(zhǔn)備處理工作表名稱:' + str(sheet.title())) data_frame = pd.read_excel(file, sheet_name=sheet_name) print(data_frame) repe = data_frame.duplicated(subset=colums) repe = repe[repe] print(data_frame.iloc[repe.index]) res = data_frame.drop_duplicates(subset=colums) print(res) self.trigger.emit(str(sheet.title()) + ':已清除') res.to_excel(writer, sheet_name, index=False) writer.save() else: self.trigger.emit('當(dāng)前文件路徑為空,繼續(xù)...') self.trigger.emit('數(shù)據(jù)處理完成...') self.finished.emit(True)
使用主函數(shù)啟動(dòng)整個(gè)應(yīng)用
if __name__ == '__main__': app = QApplication(sys.argv) w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號(hào):[Python 集中營(yíng)]', ico_path='數(shù)據(jù)去重.ico') w.show() sys.exit(app.exec_())
以上就是基于PyQt5制作Excel文件數(shù)據(jù)去重小工具的詳細(xì)內(nèi)容,更多關(guān)于PyQt5數(shù)據(jù)去重的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
OpenCV圖像識(shí)別之姿態(tài)估計(jì)Pose?Estimation學(xué)習(xí)
這篇文章主要為大家介紹了OpenCV圖像識(shí)別之姿態(tài)估計(jì)Pose?Estimation學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05Python爬取三國(guó)演義的實(shí)現(xiàn)方法
這篇文章通過(guò)實(shí)例給大家演示了利用python如何爬取三國(guó)演義,對(duì)于學(xué)習(xí)python的朋友們來(lái)說(shuō)是個(gè)不錯(cuò)的實(shí)例,有需要的朋友可以參考借鑒,下面來(lái)一起看看吧。2016-09-09python sklearn包——混淆矩陣、分類報(bào)告等自動(dòng)生成方式
今天小編就為大家分享一篇python sklearn包——混淆矩陣、分類報(bào)告等自動(dòng)生成方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02Python實(shí)現(xiàn)在圖像中隱藏二維碼的方法詳解
隱寫是一種類似于加密卻又不同于加密的技術(shù)。這篇文章主要介紹了如何利用Python語(yǔ)言實(shí)現(xiàn)在圖像中隱藏二維碼功能,感興趣的可以了解一下2022-09-09Python利用lxml庫(kù)實(shí)現(xiàn)XML高級(jí)處理詳解
在Python的世界中,lxml是處理XML和HTML的一款強(qiáng)大且易用的庫(kù),本文主要介紹了如何解析、創(chuàng)建、修改XML文檔,如何使用XPath查詢,以及如何解析大型XML文檔,需要的可以參考下2023-08-08