#帶小數(shù)點的以小數(shù)點分割 取出小數(shù)點前后部分進行拼接
  if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0:
    derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1])
  elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0:
    derive_regcapital = filter(str.isdigit, info.split('.')[0])

  elif filter(str.isdigit,info)=='':
    derive_regcapital='0'
  else:
    derive_regcapital=filter(str.isdigit,info)
  #單位 以萬和不含萬 為統(tǒng)一
  if '萬' in info:
    derive_danwei='萬'
  else:
    derive_danwei='不含萬'
  #幣種 第一次清洗 外幣保留外幣字段 聚合大量數(shù)據(jù) 發(fā)現(xiàn)數(shù)據(jù)中含有外幣的情況大致有下面這些情況 如果有新外幣出現(xiàn) 進行數(shù)據(jù)的update操作即可
  if '美元' in info:
      derive_currency='美元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '阿富汗尼' in info:
    derive_currency = '阿富汗尼'
  elif '澳元' in info:
    derive_currency = '澳元'
  elif '英鎊' in info:
     derive_currency = '英鎊'
  elif '加拿大元' in info:
    derive_currency = '加拿大元'
  elif '日元' in info:
    derive_currency = '日元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '法郎' in info:
    derive_currency = '法郎'
  elif '歐元' in info:
    derive_currency = '歐元'
  elif '新加坡' in info:
    derive_currency = '新加坡元'
  else:
     derive_currency = '人民幣'

#coding:utf-8
from class_mysql import Mysql
project=Mysql('s_58infor_data',[],0,conn_type='local')
p2=Mysql('etl1_58infor_data',[],24,conn_type='local')
field_list=p2.select_fields(db='local_db',table='etl1_58infor_data')
print field_list
project2=Mysql('etl1_58infor_data',field_list=field_list,field_num=26,conn_type='local')
#以上部分 看不懂沒關系 由于我有兩套數(shù)據(jù)庫環(huán)境，測試和生產
#不同的數(shù)據(jù)庫連接和網(wǎng)段，因此要傳遞不同的參數(shù)進行切換數(shù)據(jù)庫和數(shù)據(jù)連接 如果一套環(huán)境 連接一次數(shù)據(jù)庫即可 數(shù)據(jù)處理需要經常做測試 方便自己調用
data_tuple=project.select(db='local_db',id=0)
#data_tuple 是我實例化自己寫的操作數(shù)據(jù)庫的類對數(shù)據(jù)庫數(shù)據(jù)進行全字段進行讀取，返回值是一個不可變的對象元組tuple,清洗需要保留舊表全部字段，同時增加3個清洗后的數(shù)據(jù)字段
data_tuple=project.select(db='local_db',id=0)
#遍歷元組 用字典去存儲每個字段的值 插入到增加3個清洗字段的表 etl1_58infor_data
for data in data_tuple:
  item={}
#old_data不取最后一個字段 是因為那個字段我想用當前處理的時間 
#這樣可以計算數(shù)據(jù)總量運行的時間 來調整二次清洗的時間去和和kettle定時任務對接
#元組轉換為列表 轉換的原因是因為元組為不可變類型 如果有數(shù)據(jù)中有null值 遍歷轉換為字符串會報錯
  old_data=list(data[:-1])
  if data[-2]:
    if len(data[-2]) >0 :
      info=data[-2].encode('utf-8')
  else:
    info=''

  if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0:
    derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1])
  elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0:
    derive_regcapital = filter(str.isdigit, info.split('.')[0])

  elif filter(str.isdigit,info)=='':
    derive_regcapital='0'
  else:
    derive_regcapital=filter(str.isdigit,info)
  if '萬' in info:
    derive_danwei='萬'
  else:
    derive_danwei='不含萬'
  if '美元' in info:
      derive_currency='美元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '阿富汗尼' in info:
    derive_currency = '阿富汗尼'
  elif '澳元' in info:
    derive_currency = '澳元'
  elif '英鎊' in info:
     derive_currency = '英鎊'
  elif '加拿大元' in info:
    derive_currency = '加拿大元'
  elif '日元' in info:
    derive_currency = '日元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '法郎' in info:
    derive_currency = '法郎'
  elif '歐元' in info:
    derive_currency = '歐元'
  elif '新加坡' in info:
    derive_currency = '新加坡元'
  else:
     derive_currency = '人民幣'
  time_58infor_data = p2.create_time()
  old_data.append(time_58infor_data)
  old_data.append(derive_regcapital)
  old_data.append(derive_danwei)
  old_data.append(derive_currency)
  #print len(old_data)
  for i in range(len(old_data)):
    if not old_data[i] :
      old_data[i]=''
    else:
      pass
    data2=old_data[i].replace('"','')
    item[i+1]=data2
  print item[1]
  #插入測試環(huán)境 的表 
  project2.insert(item=item,db='local_db')

import datetime
from datetime import datetime as dt
#%進行轉義使用%%來轉義
#主要構造sql中條件“where create_time like %s%%“ % yesterday
#寫入腳本運行的當前時間 

def create_time(self):
  create_time = dt.now().strftime('%Y-%m-%d %H:%M:%S')
  return create_time

def yesterday(self):
  yestoday= datetime.date.today()-datetime.timedelta(days=1)
  return yestoday