基于PyQt5制作Excel文件數(shù)據(jù)去重小工具
需求說明:將單個或者多個Excel文件數(shù)據(jù)進行去重操作,去重的列可以通過自定義制定。
開始源碼說明之前,先說明一下工具的使用過程。
1、準備需要去重的數(shù)據(jù)文件。
2、使用工具執(zhí)行去重操作。
3、處理完成后的結果文件。
PyQt5 界面UI相關的模塊引用
from PyQt5.QtWidgets import * from PyQt5.QtGui import *
核心組件
from PyQt5.QtCore import *
主題樣式模塊引用
from QCandyUi import CandyWindow
在這個應用中使用一個默認的楊氏模塊QCandyUi,可以改變整個應用的主題顏色設計不用一個控件一個控件的去修改樣式。有一個不好的地方就是應用本身設置的標題和應用圖標不能生效,必須利用這個樣式控件CandyWindow來修改,就像下面這樣需要將我們自己寫的UI空間放到里面。
# w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號:[Python 集中營]', # ico_path='數(shù)據(jù)去重.ico') # w.show()
應用操作相關模塊
import sys import os
Excel數(shù)據(jù)處理模塊
import pandas as pd import openpyxl as pxl
UI界面布局設計、信號量槽函數(shù)綁定實現(xiàn)
class EDataDel(QWidget): def __init__(self): super(EDataDel, self).__init__() self.init_ui() def init_ui(self): self.brower = QTextBrowser() self.brower.setReadOnly(True) self.brower.setFont(QFont('微軟雅黑', 8)) self.brower.setPlaceholderText('處理進程展示區(qū)域...') self.brower.ensureCursorVisible() form = QFormLayout() self.file_paths = QLineEdit() self.file_paths.setReadOnly(True) self.file_paths_btn = QPushButton() self.file_paths_btn.setText('加載批文件') self.file_paths_btn.clicked.connect(self.file_paths_btn_click) self.colums_label = QLabel() self.colums_label.setText('自定義去重復列') self.colums_text = QLineEdit() self.colums_text.setPlaceholderText('列名1,列名2,列名3,...') form.addRow(self.file_paths, self.file_paths_btn) form.addRow(self.colums_label, self.colums_text) self.work = DataWork(self) self.work.trigger.connect(self.update_log) self.work.finished.connect(self.finished) vbox = QVBoxLayout() self.start_btn = QPushButton() self.start_btn.setText('開始執(zhí)行') self.start_btn.clicked.connect(self.start_btn_click) vbox.addLayout(form) vbox.addWidget(self.start_btn) hbox = QHBoxLayout() hbox.addWidget(self.brower) hbox.addLayout(vbox) self.setLayout(hbox) def file_paths_btn_click(self): paths = QFileDialog.getOpenFileNames(self, '選擇文件', os.getcwd(), 'Excel Files(*.xlsx)') files = paths[0] path_strs = '' for file in files: path_strs = path_strs + file + ';' self.file_paths.setText(path_strs) if self.file_paths.text().strip() != '': self.update_log('已經(jīng)完成批文件路徑加載!') else: self.update_log('沒有選擇任何文件!') def save_dir_btn_click(self): directory = QFileDialog.getExistingDirectory(self, '選擇文件夾', os.getcwd()) self.save_dir.setText(directory) def update_log(self, text): cursor = self.brower.textCursor() cursor.movePosition(QTextCursor.End) self.brower.append(text) self.brower.setTextCursor(cursor) self.brower.ensureCursorVisible() def start_btn_click(self): self.start_btn.setEnabled(False) self.work.start() def finished(self, finished): if finished is True: self.start_btn.setEnabled(True)
創(chuàng)建子線程,處理業(yè)務邏輯(清理Excel重復文件)
class DataWork(QThread): trigger = pyqtSignal(str) finished = pyqtSignal(bool) def __init__(self, parent=None): super(DataWork, self).__init__(parent) self.parent = parent self.working = True def __del__(self): self.working = False self.wait() def run(self): self.trigger.emit('啟動批量處理子線程...') file_paths = self.parent.file_paths.text().strip() colums_text = self.parent.colums_text.text().strip() colums = [] if ',' in colums_text: colums = colums_text.split(',') else: colums.append(colums_text) self.trigger.emit('獲取配置項完成!') for file in file_paths.split(';'): if file.strip() != '': web_sheet = pxl.load_workbook(file) sheets = web_sheet.sheetnames print(file) new_file = file.split('.')[0] + '_已去重.' + file.split('.')[1] print(new_file) writer = pd.ExcelWriter(new_file) for sheet in sheets: sheet_name = sheet.title() print(sheet_name) self.trigger.emit('準備處理工作表名稱:' + str(sheet.title())) data_frame = pd.read_excel(file, sheet_name=sheet_name) print(data_frame) repe = data_frame.duplicated(subset=colums) repe = repe[repe] print(data_frame.iloc[repe.index]) res = data_frame.drop_duplicates(subset=colums) print(res) self.trigger.emit(str(sheet.title()) + ':已清除') res.to_excel(writer, sheet_name, index=False) writer.save() else: self.trigger.emit('當前文件路徑為空,繼續(xù)...') self.trigger.emit('數(shù)據(jù)處理完成...') self.finished.emit(True)
使用主函數(shù)啟動整個應用
if __name__ == '__main__': app = QApplication(sys.argv) w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號:[Python 集中營]', ico_path='數(shù)據(jù)去重.ico') w.show() sys.exit(app.exec_())
以上就是基于PyQt5制作Excel文件數(shù)據(jù)去重小工具的詳細內(nèi)容,更多關于PyQt5數(shù)據(jù)去重的資料請關注腳本之家其它相關文章!
相關文章
OpenCV圖像識別之姿態(tài)估計Pose?Estimation學習
這篇文章主要為大家介紹了OpenCV圖像識別之姿態(tài)估計Pose?Estimation學習,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-05-05python sklearn包——混淆矩陣、分類報告等自動生成方式
今天小編就為大家分享一篇python sklearn包——混淆矩陣、分類報告等自動生成方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02Python利用lxml庫實現(xiàn)XML高級處理詳解
在Python的世界中,lxml是處理XML和HTML的一款強大且易用的庫,本文主要介紹了如何解析、創(chuàng)建、修改XML文檔,如何使用XPath查詢,以及如何解析大型XML文檔,需要的可以參考下2023-08-08