對python讀寫文件去重、RE、set的使用詳解
更新時間:2018年12月11日 10:19:09 作者:IBoyMan
今天小編就為大家分享一篇對python讀寫文件去重、RE、set的使用詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示:
# -*- coding:utf-8 -*-
from datetime import datetime
import re
def Main():
sourcr_dir = '/data/u_lx_data/fudan/muying/muying_11yue_all.txt'
target_dir = '/data/u_lx_data/fudan/muying/python/uid_regular_get.txt'
uset = set() #去重
print("開始。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
with open(target_dir, 'w+') as f_write:
with open(sourcr_dir, 'r') as f_scorce:
for line in f_scorce:
line = line.strip().split("\t")
# 寶寶樹
if line[2] == 'babytree.com':
uidList = re.findall(r'.*NL=u%02(u\d+)', line[3], re.I)
if uidList:
# 去重代碼
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
print("寶寶樹已完成")
# 柚寶寶
elif line[2] == 'youzibuy.com':
if line[4].find("yunqi.youzibuy.com/tae_top_notify") != -1:
uidList = re.findall(r'.*myuid=(\d+)', line[4], re.I)
if uidList:
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
print("柚寶寶已完成")
# 媽媽幫
elif line[2] == 'mmbang.com':
uidList = re.findall(r'.*uid=(\d+)', line[3], re.I)
if uidList:
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
print("媽媽幫已完成")
# 媽媽網(wǎng)
elif line[2] == 'mama.cn':
if line[4].find("mapi.mama.cn/feed/users/show") != -1:
uidList = re.findall(r'.*friend_uid=(\d+)', line[4], re.I)
if uidList:
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
if line[4].find("mamaquan/mmq_thread") != -1:
uidList = re.findall(r'.*uid=(\d+)', line[4], re.I)
if uidList:
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
print("媽媽網(wǎng)已完成")
# 育兒網(wǎng)
elif line[2] == 'ci123.com':
uidList = re.findall(r'.*ci123js=([a-zA-Z]+\d+)', line[3], re.I)
if uidList:
if uidList[0] not in uset:
f_write.write(uidList[0] + "\n")
uset.add(uidList[0])
print("育兒網(wǎng)已完成")
print("完成。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
if __name__ == "__main__":
Main()
以上這篇對python讀寫文件去重、RE、set的使用詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Yolov5訓(xùn)練意外中斷后如何接續(xù)訓(xùn)練詳解
目標(biāo)檢測是計算機視覺上的一個重要任務(wù),下面這篇文章主要給大家介紹了關(guān)于Yolov5訓(xùn)練意外中斷后如何接續(xù)訓(xùn)練的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-03-03
Python機器學(xué)習(xí)之scikit-learn庫中KNN算法的封裝與使用方法
這篇文章主要介紹了Python機器學(xué)習(xí)之scikit-learn庫中KNN算法的封裝與使用方法,結(jié)合實例形式分析了scikit-learn庫中KNN算法的相關(guān)調(diào)用與使用技巧,需要的朋友可以參考下2018-12-12
Python實現(xiàn)定時自動關(guān)閉的tkinter窗口方法
今天小編就為大家分享一篇Python實現(xiàn)定時自動關(guān)閉的tkinter窗口方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
Python與xlwings黃金組合處理Excel各種數(shù)據(jù)和自動化任務(wù)
這篇文章主要為大家介紹了Python與xlwings黃金組合處理Excel各種數(shù)據(jù)和自動化任務(wù)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>2023-12-12

