#帶小數點的以小數點分割 取出小數點前后部分進行拼接
  if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0:
    derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1])
  elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0:
    derive_regcapital = filter(str.isdigit, info.split('.')[0])

  elif filter(str.isdigit,info)=='':
    derive_regcapital='0'
  else:
    derive_regcapital=filter(str.isdigit,info)
  #單位 以萬和不含萬 為統(tǒng)一
  if '萬' in info:
    derive_danwei='萬'
  else:
    derive_danwei='不含萬'
  #幣種 第一次清洗 外幣保留外幣字段 聚合大量數據 發(fā)現數據中含有外幣的情況大致有下面這些情況 如果有新外幣出現 進行數據的update操作即可
  if '美元' in info:
      derive_currency='美元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '阿富汗尼' in info:
    derive_currency = '阿富汗尼'
  elif '澳元' in info:
    derive_currency = '澳元'
  elif '英鎊' in info:
     derive_currency = '英鎊'
  elif '加拿大元' in info:
    derive_currency = '加拿大元'
  elif '日元' in info:
    derive_currency = '日元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '法郎' in info:
    derive_currency = '法郎'
  elif '歐元' in info:
    derive_currency = '歐元'
  elif '新加坡' in info:
    derive_currency = '新加坡元'
  else:
     derive_currency = '人民幣'

#coding:utf-8
from class_mysql import Mysql
project=Mysql('s_58infor_data',[],0,conn_type='local')
p2=Mysql('etl1_58infor_data',[],24,conn_type='local')
field_list=p2.select_fields(db='local_db',table='etl1_58infor_data')
print field_list
project2=Mysql('etl1_58infor_data',field_list=field_list,field_num=26,conn_type='local')
#以上部分 看不懂沒關系 由于我有兩套數據庫環(huán)境，測試和生產
#不同的數據庫連接和網段，因此要傳遞不同的參數進行切換數據庫和數據連接 如果一套環(huán)境 連接一次數據庫即可 數據處理需要經常做測試 方便自己調用
data_tuple=project.select(db='local_db',id=0)
#data_tuple 是我實例化自己寫的操作數據庫的類對數據庫數據進行全字段進行讀取，返回值是一個不可變的對象元組tuple,清洗需要保留舊表全部字段，同時增加3個清洗后的數據字段
data_tuple=project.select(db='local_db',id=0)
#遍歷元組 用字典去存儲每個字段的值 插入到增加3個清洗字段的表 etl1_58infor_data
for data in data_tuple:
  item={}
#old_data不取最后一個字段 是因為那個字段我想用當前處理的時間 
#這樣可以計算數據總量運行的時間 來調整二次清洗的時間去和和kettle定時任務對接
#元組轉換為列表 轉換的原因是因為元組為不可變類型 如果有數據中有null值 遍歷轉換為字符串會報錯
  old_data=list(data[:-1])
  if data[-2]:
    if len(data[-2]) >0 :
      info=data[-2].encode('utf-8')
  else:
    info=''

  if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0:
    derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1])
  elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0:
    derive_regcapital = filter(str.isdigit, info.split('.')[0])

  elif filter(str.isdigit,info)=='':
    derive_regcapital='0'
  else:
    derive_regcapital=filter(str.isdigit,info)
  if '萬' in info:
    derive_danwei='萬'
  else:
    derive_danwei='不含萬'
  if '美元' in info:
      derive_currency='美元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '阿富汗尼' in info:
    derive_currency = '阿富汗尼'
  elif '澳元' in info:
    derive_currency = '澳元'
  elif '英鎊' in info:
     derive_currency = '英鎊'
  elif '加拿大元' in info:
    derive_currency = '加拿大元'
  elif '日元' in info:
    derive_currency = '日元'
  elif '港幣' in info:
    derive_currency = '港幣'
  elif '法郎' in info:
    derive_currency = '法郎'
  elif '歐元' in info:
    derive_currency = '歐元'
  elif '新加坡' in info:
    derive_currency = '新加坡元'
  else:
     derive_currency = '人民幣'
  time_58infor_data = p2.create_time()
  old_data.append(time_58infor_data)
  old_data.append(derive_regcapital)
  old_data.append(derive_danwei)
  old_data.append(derive_currency)
  #print len(old_data)
  for i in range(len(old_data)):
    if not old_data[i] :
      old_data[i]=''
    else:
      pass
    data2=old_data[i].replace('"','')
    item[i+1]=data2
  print item[1]
  #插入測試環(huán)境 的表 
  project2.insert(item=item,db='local_db')

import datetime
from datetime import datetime as dt
#%進行轉義使用%%來轉義
#主要構造sql中條件“where create_time like %s%%“ % yesterday
#寫入腳本運行的當前時間 

def create_time(self):
  create_time = dt.now().strftime('%Y-%m-%d %H:%M:%S')
  return create_time

def yesterday(self):
  yestoday= datetime.date.today()-datetime.timedelta(days=1)
  return yestoday