欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用python的pandas庫讀取csv文件保存至mysql數據庫

 更新時間:2018年08月20日 17:09:34   作者:Jesszen  
這篇文章主要介紹了利用python的pandas庫讀取csv文件保存至mysql數據庫的方法,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下

第一:pandas.read_csv讀取本地csv文件為數據框形式

data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')

第二:如果存在日期格式數據,利用pandas.to_datatime()改變類型

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意:=號,這樣在原始的數據框中,改變了列的類型

第三:查看列類型

print(data.dtypes)

第四:方法一:保存至MYSQL【缺點耗時長】

利用MYSQLdb庫,封裝成一個類,實現創(chuàng)建表,添加數據的操作,缺點耗時長

class Jess_mysql():
 """
 設置mysql類,實現創(chuàng)建數據框,表,及添加數據
 """
 def __init__(self):
  self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
  self.conn=self.mysql.cursor()
 def create_table(self,table_names,col_names):
  """
  創(chuàng)建表
  :param table_names: 表名
  :param col_names: 列名,列表格式
  :return:
  """
  tables=' varchar(20),'.join(['%s'] *len(col_names))
  sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要標注格式
  ss=sql_yuju %(tuple(col_names))
  print(ss)
  self.conn.execute(ss)
  self.mysql.commit()
 def add_data(self,table_name,col_names,col_data):
  """
  :param table_name: 表名
  :param col_names: 列名,字段名
  :param col_data: 字段值
  :return:
  """
  colname=','.join(['%s']*len(col_names))
  data=','.join(['%s']*len(col_data))
  sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
  ss=sql_yuju%(*col_names,*col_data)
  #print(ss)
  self.conn.execute(ss)
  self.mysql.commit()

第五:利用sqlalchemy的create_engine()方法

1、創(chuàng)建連接

import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
        (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相關參數的設置。

此外,保存到mysql中,需要注意日期格式的列,因為在mysql對應的field設置格式為varchar(20)后,原始的日期2015-8-9,寫入數據庫,只有2015,這需要兩步操作。

a、上面第二目錄的,利用pandas.to_datetime(,format='%Y-%m-%d')       #format的格式要和原始字符2016-8-9格式一樣

b、利用datetime庫,實現format='%Y%m%d'

x=data.shape[0]
for i in range(x):
 col_data=list(df.iloc[i,:])
 col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

•這一步后,日期格式由原始的2016-6-2,轉為20160606,就可以以寫入數據庫對應的字段【其字段類型varchar(20)】

第六:讀取mysql的數據

df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)

默認不設置索引列,可以自行指定索引列名。

總結

以上所述是小編給大家介紹的使用python的pandas庫讀取csv文件保存至mysql數據庫,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!

相關文章

  • Jupyter Notebook運行代碼無反應問題及解決方法

    Jupyter Notebook運行代碼無反應問題及解決方法

    這篇文章主要介紹了Jupyter Notebook運行代碼無反應問題及解決方法,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-01-01
  • Python pip安裝如何切換國內源

    Python pip安裝如何切換國內源

    在Python開發(fā)中,pip是一個非常重要的工具,它允許我們安裝和管理Python包,本文將介紹如何切換pip的國內源,并推薦幾個常用的國內源,感興趣的朋友一起看看吧
    2024-04-04
  • Windows下Python使用Pandas模塊操作Excel文件的教程

    Windows下Python使用Pandas模塊操作Excel文件的教程

    Pandas是一個強大的Python數據分析模塊,這里我們先使用ANACONDA來幫助獲取Pandas所以來的一些環(huán)境,然后來初步學習Windows下Python使用Pandas模塊操作Excel文件的教程
    2016-05-05
  • 使用Python實現Excel文件轉換為SVG格式

    使用Python實現Excel文件轉換為SVG格式

    SVG(Scalable Vector Graphics)是一種基于XML的矢量圖像格式,這種格式在Web開發(fā)和其他圖形應用中非常流行,提供了一種高效的方式來呈現復雜的矢量圖形,本文將介紹如何使用Python轉換Excel文件為SVG格式,需要的朋友可以參考下
    2024-07-07
  • pytest用例間參數傳遞的兩種實現方式示例

    pytest用例間參數傳遞的兩種實現方式示例

    pytest提供了許多運行命令以供定制化運行某一類測試用例或者某個測試用例等,下面這篇文章主要給大家介紹了關于pytest用例間參數傳遞的兩種實現方式,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2021-12-12
  • python接口自動化測試數據和代碼分離解析

    python接口自動化測試數據和代碼分離解析

    代碼的可維護性除了代碼冗余之外還有就是數據盡量不要和代碼摻雜在一起,因為閱讀起來會非常的凌亂;數據分離能更好的增加代碼可讀性和可維護性,也能更好的二次修改使用
    2021-09-09
  • pycharm轉移緩存目錄的實現

    pycharm轉移緩存目錄的實現

    Pycharm在使用過程中,Pycharm會生成大量緩存文件,而這些緩存文件默認存儲在C盤的用戶目錄里面,導致C盤空間被占用,本文主要介紹了pycharm轉移緩存目錄,感興趣的可以了解一下
    2023-10-10
  • Python的SQLAlchemy框架使用入門

    Python的SQLAlchemy框架使用入門

    這篇文章主要介紹了Python的SQLAlchemy框架使用入門,SQLAlchemy框架是Python中用來操作數據庫的ORM框架之一,需要的朋友可以參考下
    2015-04-04
  • python中numpy矩陣的零填充的示例代碼

    python中numpy矩陣的零填充的示例代碼

    本文主要介紹了python中numpy矩陣的零填充的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2022-08-08
  • Django中的FBV和CBV用法詳解

    Django中的FBV和CBV用法詳解

    這篇文章主要介紹了Django中的FBV和CBV用法詳解,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-09-09

最新評論