對python讀寫文件去重、RE、set的使用詳解
更新時間:2018年12月11日 10:19:09 作者:IBoyMan
今天小編就為大家分享一篇對python讀寫文件去重、RE、set的使用詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示:
# -*- coding:utf-8 -*- from datetime import datetime import re def Main(): sourcr_dir = '/data/u_lx_data/fudan/muying/muying_11yue_all.txt' target_dir = '/data/u_lx_data/fudan/muying/python/uid_regular_get.txt' uset = set() #去重 print("開始。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) with open(target_dir, 'w+') as f_write: with open(sourcr_dir, 'r') as f_scorce: for line in f_scorce: line = line.strip().split("\t") # 寶寶樹 if line[2] == 'babytree.com': uidList = re.findall(r'.*NL=u%02(u\d+)', line[3], re.I) if uidList: # 去重代碼 if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) print("寶寶樹已完成") # 柚寶寶 elif line[2] == 'youzibuy.com': if line[4].find("yunqi.youzibuy.com/tae_top_notify") != -1: uidList = re.findall(r'.*myuid=(\d+)', line[4], re.I) if uidList: if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) print("柚寶寶已完成") # 媽媽幫 elif line[2] == 'mmbang.com': uidList = re.findall(r'.*uid=(\d+)', line[3], re.I) if uidList: if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) print("媽媽幫已完成") # 媽媽網(wǎng) elif line[2] == 'mama.cn': if line[4].find("mapi.mama.cn/feed/users/show") != -1: uidList = re.findall(r'.*friend_uid=(\d+)', line[4], re.I) if uidList: if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) if line[4].find("mamaquan/mmq_thread") != -1: uidList = re.findall(r'.*uid=(\d+)', line[4], re.I) if uidList: if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) print("媽媽網(wǎng)已完成") # 育兒網(wǎng) elif line[2] == 'ci123.com': uidList = re.findall(r'.*ci123js=([a-zA-Z]+\d+)', line[3], re.I) if uidList: if uidList[0] not in uset: f_write.write(uidList[0] + "\n") uset.add(uidList[0]) print("育兒網(wǎng)已完成") print("完成。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) if __name__ == "__main__": Main()
以上這篇對python讀寫文件去重、RE、set的使用詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Yolov5訓(xùn)練意外中斷后如何接續(xù)訓(xùn)練詳解
目標(biāo)檢測是計算機視覺上的一個重要任務(wù),下面這篇文章主要給大家介紹了關(guān)于Yolov5訓(xùn)練意外中斷后如何接續(xù)訓(xùn)練的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-03-03Python機器學(xué)習(xí)之scikit-learn庫中KNN算法的封裝與使用方法
這篇文章主要介紹了Python機器學(xué)習(xí)之scikit-learn庫中KNN算法的封裝與使用方法,結(jié)合實例形式分析了scikit-learn庫中KNN算法的相關(guān)調(diào)用與使用技巧,需要的朋友可以參考下2018-12-12Python實現(xiàn)定時自動關(guān)閉的tkinter窗口方法
今天小編就為大家分享一篇Python實現(xiàn)定時自動關(guān)閉的tkinter窗口方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02Python與xlwings黃金組合處理Excel各種數(shù)據(jù)和自動化任務(wù)
這篇文章主要為大家介紹了Python與xlwings黃金組合處理Excel各種數(shù)據(jù)和自動化任務(wù)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>2023-12-12