欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)的示例詳解

 更新時間:2022年06月28日 09:40:41   作者:姚小丹  
MySQLBulkLoader是MySQL?Connector/Net類中的一個類,用于包裝MySQL語句。本文將利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)功能,感興趣的可以了解一下

介紹

最近在項目中遇到插入數(shù)據(jù)瓶頸,幾萬、幾十萬、幾百萬的數(shù)據(jù)保存到MYSQL數(shù)據(jù)庫,使用EF插入數(shù)據(jù)速度非常慢,數(shù)據(jù)量非常大時EF插入需要幾十分鐘,甚至幾個小時,這樣子的速度肯定不是我們所期望的。

后面經(jīng)過了解與研究發(fā)現(xiàn)MySqlBulkLoader,可以批量將數(shù)據(jù)插入到數(shù)據(jù)庫并且速度上面遠遠優(yōu)于EF。

MySqlBulkLoader主要的實現(xiàn)方式:將需要插入的數(shù)據(jù)轉成DataTable,DataTable轉成一個CSV文件,將CSV文件使用批量導入的形式導入到數(shù)據(jù)庫里面去。

注意:

1).數(shù)據(jù)庫連接地址需要添加配置AllowLoadLocalInfile=true,允許本地文件導入;

Data Source = 數(shù)據(jù)庫地址; Port = 端口; Initial Catalog = 數(shù)據(jù)庫名; User Id = 用戶名; Password = 密碼;AllowLoadLocalInfile=true;

2).插入的時候會返回插入行數(shù),但是檢查所有的數(shù)據(jù)都正確,也沒有報異常,卻返回了插入數(shù)量為0,可以檢查表是否有唯一索引,插入的數(shù)據(jù)是否違反了唯一索引。

(以下分塊展示了代碼,如果需要看完整的代碼直接看 5.完整的代碼) 

1.將List轉化為DataTable 

/// <summary>
        /// 將List轉化為DataTable
        /// </summary>
        /// <returns></returns>
        public DataTable ListToDataTable<T>(List<T> data)
        {
            #region 創(chuàng)建一個DataTable,以實體名稱作為DataTable名稱

            var tableName = typeof(T).Name;
            tableName = tableName.ToSnakeCase(); /*實體名稱與表名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
            DataTable dt = new DataTable
            {
                TableName = tableName
            };

            #endregion

            #region 拿取列名,以實體的屬性名作為列名       

            var properties = typeof(T).GetProperties();
            foreach (var item in properties)
            {
                var curFileName = item.Name;
                curFileName = curFileName.ToSnakeCase();/*列名與字段名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
                dt.Columns.Add(curFileName);
            }

            #endregion

            #region 列賦值
            foreach (var item in data)
            {
                DataRow dr = dt.NewRow();
                var columns = dt.Columns;

                var curPropertyList = item.GetType().GetProperties();
                foreach (var p in curPropertyList)
                {
                    var name = p.Name;
                    name = name.ToSnakeCase();/*列名與字段名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
                    var curValue = p.GetValue(item);

                    int i = columns.IndexOf(name);
                    dr[i] = curValue;
                }

                dt.Rows.Add(dr);
            }

            #endregion  

            return dt;
        }

2.將DataTable轉換為標準的CSV文件 

/// <summary>
    /// csv擴展
    /// </summary>
    public static class CSVEx
    {
        /// <summary>
        ///將DataTable轉換為標準的CSV文件
        /// </summary>
        /// <param name="table">數(shù)據(jù)表</param>
        /// <param name="tmpPath">文件地址</param>
        /// <returns>返回標準的CSV</returns>
        public static void ToCsv(this DataTable table, string tmpPath)
        {
            //以半角逗號(即,)作分隔符,列為空也要表達其存在。
            //列內容如存在半角逗號(即,)則用半角引號(即"")將該字段值包含起來。
            //列內容如存在半角引號(即")則應替換成半角雙引號("")轉義,并用半角引號(即"")將該字段值包含起來。
            StringBuilder sb = new StringBuilder();
            DataColumn colum;
            foreach (DataRow row in table.Rows)
            {
                for (int i = 0; i < table.Columns.Count; i++)
                {
                    Type _datatype = typeof(DateTime);
                    colum = table.Columns[i];
                    if (i != 0) sb.Append("\t");
                    //if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
                    //{
                    //    sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
                    //}
                    if (colum.DataType == _datatype)
                    {
                        sb.Append(((DateTime)row[colum]).ToString("yyyy/MM/dd HH:mm:ss"));
                    }
                    else sb.Append(row[colum].ToString());
                }
                sb.Append("\r\n");
            }
            StreamWriter sw = new StreamWriter(tmpPath, false, UTF8Encoding.UTF8);
            sw.Write(sb.ToString());
            sw.Close();
        }

    }

3.CSV文件導入數(shù)據(jù)到數(shù)據(jù)庫

/// <summary>
    /// 批量導入mysql幫助類
    /// </summary>
    public static class MySqlHelper
    {
        /// <summary>
        /// MySqlBulkLoader批量導入
        /// </summary>
        /// <param name="_mySqlConnection">數(shù)據(jù)庫連接地址</param>
        /// <param name="table"></param>
        /// <param name="csvName"></param>
        /// <returns></returns>
        public static int BulkLoad(MySqlConnection _mySqlConnection, DataTable table, string csvName)
        {
            var columns = table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList();
            MySqlBulkLoader bulk = new MySqlBulkLoader(_mySqlConnection)
            {
                FieldTerminator = "\t",
                FieldQuotationCharacter = '"',
                EscapeCharacter = '"',
                LineTerminator = "\r\n",
                FileName = csvName,
                NumberOfLinesToSkip = 0,
                TableName = table.TableName,

            };

            bulk.Columns.AddRange(columns);
            return bulk.Load();
        }
    }

4.使用MySqlBulkLoader批量插入數(shù)據(jù)

/// <summary>
        /// 使用MySqlBulkLoader批量插入數(shù)據(jù)
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="data"></param>
        /// <returns></returns>
        /// <exception cref="Exception"></exception>
        public int BulkLoaderData<T>(List<T> data)
        {
            if (data.Count <= 0) return 0;

            var connectString = "數(shù)據(jù)庫連接地址";
            using (MySqlConnection connection = new MySqlConnection(connectString))
            {
                MySqlTransaction sqlTransaction = null;
                try
                {
                    if (connection.State == ConnectionState.Closed)
                    {
                        connection.Open();
                    }
                    sqlTransaction = connection.BeginTransaction();


                    var dt = ListToDataTable<T>(data); //將List轉成dataTable
                    string tmpPath = Path.GetTempFileName();
                    dt.ToCsv(tmpPath); //將DataTable轉成CSV文件
                    var insertCount = MySqlHelper.BulkLoad(connection, dt, tmpPath); //使用MySqlBulkLoader插入數(shù)據(jù)
                    sqlTransaction.Commit();

                    try
                    {
                        if (File.Exists(tmpPath)) File.Delete(tmpPath);
                    }
                    catch (Exception)
                    {
                        //刪除文件失敗

                    }
                    return insertCount; //返回執(zhí)行成功的條數(shù)
                }
                catch (Exception e)
                {
                    if (sqlTransaction != null)
                    {
                        sqlTransaction.Rollback();
                    }
                    //執(zhí)行異常 
                    throw e;
                }
            }

        }

5.完整的代碼

namespace WebApplication1.BrantchInsert
{

    /// <summary>
    /// 批量插入
    /// </summary>
    public class BulkLoader
    {


        /// <summary>
        /// 測試批量插入入口
        /// </summary>
        /// <returns></returns>
        public int BrantchDataTest()
        {

            #region 模擬數(shù)據(jù)
            var data = new List<CrmCouponTestDto>() {
                 new CrmCouponTestDto {
                     Id=1,
                     CouponCode="test001",
                     CouponId = 1,
                     MemberId=100,
                     IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
                     UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
                     UsageShopId=0,
                     UsageBillNo="",
                     EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
                     EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
                     Status=0
                 },
                 new CrmCouponTestDto {
                     Id=2,
                     CouponCode="test002",
                     CouponId = 1,
                       MemberId=101,
                     IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
                     UsageTime=Convert.ToDateTime("2022-06-27 14:30:00"),
                     UsageShopId=2,
                     UsageBillNo="CS202206271430001",
                     EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
                     EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
                     Status=1
                 },
                  new CrmCouponTestDto {
                     Id=3,
                     CouponCode="test003",
                     CouponId = 1,
                     MemberId=102,
                     IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
                     UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
                     UsageShopId=0,
                     UsageBillNo="",
                     EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
                     EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
                     Status=0
                 },
                    new CrmCouponTestDto {
                     Id=4,
                     CouponCode="test004",
                     CouponId = 1,
                     MemberId=103,
                     IssueTime=Convert.ToDateTime("2022-06-27 14:00:00"),
                     UsageTime=Convert.ToDateTime("3000-12-31 00:00:00"),
                     UsageShopId=0,
                     UsageBillNo="",
                     EffectiveStart=Convert.ToDateTime("2022-06-27 14:00:00"),
                     EffectiveEnd=Convert.ToDateTime("2023-06-27 14:00:00"),
                     Status=0
                 }
             };
            #endregion
            var result = BulkLoaderData<CrmCouponTestDto>(data);
            return result;

        }


        /// <summary>
        /// 使用MySqlBulkLoader批量插入數(shù)據(jù)
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="data"></param>
        /// <returns></returns>
        /// <exception cref="Exception"></exception>
        public int BulkLoaderData<T>(List<T> data)
        {
            if (data.Count <= 0) return 0;

            var connectString = "數(shù)據(jù)庫連接地址";
            using (MySqlConnection connection = new MySqlConnection(connectString))
            {
                MySqlTransaction sqlTransaction = null;
                try
                {
                    if (connection.State == ConnectionState.Closed)
                    {
                        connection.Open();
                    }
                    sqlTransaction = connection.BeginTransaction();


                    var dt = ListToDataTable<T>(data); //將List轉成dataTable
                    string tmpPath = Path.GetTempFileName();
                    dt.ToCsv(tmpPath); //將DataTable轉成CSV文件
                    var insertCount = MySqlHelper.BulkLoad(connection, dt, tmpPath); //使用MySqlBulkLoader插入數(shù)據(jù)
                    sqlTransaction.Commit();

                    try
                    {
                        if (File.Exists(tmpPath)) File.Delete(tmpPath);
                    }
                    catch (Exception)
                    {
                        //刪除文件失敗

                    }
                    return insertCount; //返回執(zhí)行成功的條數(shù)
                }
                catch (Exception e)
                {
                    if (sqlTransaction != null)
                    {
                        sqlTransaction.Rollback();
                    }
                    //執(zhí)行異常 
                    throw e;
                }
            }

        }


        /// <summary>
        /// 將List轉化為DataTable核心方法
        /// </summary>
        /// <returns></returns>
        public DataTable ListToDataTable<T>(List<T> data)
        {
            #region 創(chuàng)建一個DataTable,以實體名稱作為DataTable名稱

            var tableName = typeof(T).Name;
            tableName = tableName.ToSnakeCase(); /*實體名稱與表名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
            DataTable dt = new DataTable
            {
                TableName = tableName
            };

            #endregion

            #region 拿取列名,以實體的屬性名作為列名       

            var properties = typeof(T).GetProperties();
            foreach (var item in properties)
            {
                var curFileName = item.Name;
                curFileName = curFileName.ToSnakeCase();/*列名與字段名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
                dt.Columns.Add(curFileName);
            }

            #endregion

            #region 列賦值
            foreach (var item in data)
            {
                DataRow dr = dt.NewRow();
                var columns = dt.Columns;

                var curPropertyList = item.GetType().GetProperties();
                foreach (var p in curPropertyList)
                {
                    var name = p.Name;
                    name = name.ToSnakeCase();/*列名與字段名進行轉化,主要根據(jù)各項目的規(guī)定進行轉化,不一定就是我這些寫的這種轉換方式*/
                    var curValue = p.GetValue(item);

                    int i = columns.IndexOf(name);
                    dr[i] = curValue;
                }

                dt.Rows.Add(dr);
            }

            #endregion  

            return dt;
        }


    }


    /// <summary>
    /// 批量導入mysql幫助類
    /// </summary>
    public static class MySqlHelper
    {
        /// <summary>
        /// MySqlBulkLoader批量導入
        /// </summary>
        /// <param name="_mySqlConnection">數(shù)據(jù)庫連接地址</param>
        /// <param name="table"></param>
        /// <param name="csvName"></param>
        /// <returns></returns>
        public static int BulkLoad(MySqlConnection _mySqlConnection, DataTable table, string csvName)
        {
            var columns = table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList();
            MySqlBulkLoader bulk = new MySqlBulkLoader(_mySqlConnection)
            {
                FieldTerminator = "\t",
                FieldQuotationCharacter = '"',
                EscapeCharacter = '"',
                LineTerminator = "\r\n",
                FileName = csvName,
                NumberOfLinesToSkip = 0,
                TableName = table.TableName,

            };

            bulk.Columns.AddRange(columns);
            return bulk.Load();
        }
    }


    /// <summary>
    /// csv擴展
    /// </summary>
    public static class CSVEx
    {
        /// <summary>
        ///將DataTable轉換為標準的CSV文件
        /// </summary>
        /// <param name="table">數(shù)據(jù)表</param>
        /// <param name="tmpPath">文件地址</param>
        /// <returns>返回標準的CSV</returns>
        public static void ToCsv(this DataTable table, string tmpPath)
        {
            //以半角逗號(即,)作分隔符,列為空也要表達其存在。
            //列內容如存在半角逗號(即,)則用半角引號(即"")將該字段值包含起來。
            //列內容如存在半角引號(即")則應替換成半角雙引號("")轉義,并用半角引號(即"")將該字段值包含起來。
            StringBuilder sb = new StringBuilder();
            DataColumn colum;
            foreach (DataRow row in table.Rows)
            {
                for (int i = 0; i < table.Columns.Count; i++)
                {
                    Type _datatype = typeof(DateTime);
                    colum = table.Columns[i];
                    if (i != 0) sb.Append("\t");
                    //if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
                    //{
                    //    sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
                    //}
                    if (colum.DataType == _datatype)
                    {
                        sb.Append(((DateTime)row[colum]).ToString("yyyy/MM/dd HH:mm:ss"));
                    }
                    else sb.Append(row[colum].ToString());
                }
                sb.Append("\r\n");
            }
            StreamWriter sw = new StreamWriter(tmpPath, false, UTF8Encoding.UTF8);
            sw.Write(sb.ToString());
            sw.Close();
        }

    }

    /// <summary>
    /// 字符串轉化
    /// </summary>
    public static class StringExtensions
    {
        /// <summary>
        /// 轉換為 main_keys_id 這種形式的字符串方式
        /// </summary>
        public static string ToSnakeCase(this string input)
        {
            if (string.IsNullOrEmpty(input)) { return input; }

            var startUnderscores = Regex.Match(input, @"^_+");
            return startUnderscores + Regex.Replace(input, @"([a-z0-9])([A-Z])", "$1_$2").ToLower();
        }
    }


    /// <summary>
    /// 實體
    /// </summary>
    public class CrmCouponTestDto
    {
        /// <summary>
        /// ID
        /// </summary>
        public long Id { get; set; }

        /// <summary>
        /// 卡券號
        /// </summary>     
        public string CouponCode { get; set; }

        /// <summary>
        /// 卡券ID
        /// </summary>
        public int CouponId { get; set; }

        /// <summary>
        /// 會員ID
        /// </summary>
        public int MemberId { get; set; }

        /// <summary>
        /// 發(fā)放時間
        /// </summary>   
        public DateTime IssueTime { get; set; }

        /// <summary>
        /// 使用時間
        /// </summary>      
        public DateTime UsageTime { get; set; }

        /// <summary>
        /// 使用店鋪ID
        /// </summary>      

        public int UsageShopId { get; set; }

        /// <summary>
        /// 使用單號
        /// </summary>      
        public string UsageBillNo { get; set; }

        /// <summary>
        /// 有效開始時間
        /// </summary>      
        public DateTime EffectiveStart { get; set; }

        /// <summary>
        /// 有效結束時間
        /// </summary>      
        public DateTime EffectiveEnd { get; set; }

        /// <summary>
        /// 狀態(tài)
        /// CouponStatus 卡券狀態(tài):
        /// -1:未領用
        /// 0:未使用
        /// 1:已使用
        /// 2:已過期
        ///3:已作廢
        ///4:轉贈中
        /// </summary>

        public Int16 Status { get; set; }
    }
}

以上就是利用MySqlBulkLoader實現(xiàn)批量插入數(shù)據(jù)的示例詳解的詳細內容,更多關于MySqlBulkLoader批量插入數(shù)據(jù)的資料請關注腳本之家其它相關文章!

相關文章

  • C#的循環(huán)語句集錦及案例詳解

    C#的循環(huán)語句集錦及案例詳解

    這篇文章主要介紹了C#中的基本循環(huán):while循環(huán)、for循環(huán)和foreach循環(huán),大家都知道循環(huán)結構可以簡化程序編碼,更好地實現(xiàn)理想的效果,并結合案例給大家講解,需要的朋友可以參考下
    2015-07-07
  • C#、ASP.NET通用工具類IsWhat?(可以判斷數(shù)字、身份證、數(shù)據(jù)類型等等)

    C#、ASP.NET通用工具類IsWhat?(可以判斷數(shù)字、身份證、數(shù)據(jù)類型等等)

    這篇文章主要介紹了C#、ASP.NET通用工具類IsWhat?(可以判斷數(shù)字、身份證、數(shù)據(jù)類型等等),本文收集整理了多個擴展函數(shù),簡單實用,項目必備,如值范圍、在里面嗎、是null或""?、是零?等等,需要的朋友可以參考下
    2015-06-06
  • c# 線程安全隊列的用法原理及使用示例

    c# 線程安全隊列的用法原理及使用示例

    這篇文章主要介紹了c# 線程安全隊列的用法原理及使用示例,幫助大家更好的理解和使用c#,感興趣的朋友可以了解下
    2020-11-11
  • 淺談C# 構造方法(函數(shù))

    淺談C# 構造方法(函數(shù))

    這篇文章主要介紹了C# 構造方法(函數(shù))的的相關資料,文中講解非常詳細,幫助大家更好的學習C#,感興趣的朋友可以了解下
    2020-06-06
  • 關于C#中yield?return用法的思考

    關于C#中yield?return用法的思考

    在這篇文章中,我們將深入討論?C#?中yield?return的機制和用法,幫助您更好地理解這個強大的功能,并在實際開發(fā)中靈活使用它,感興趣的小伙伴可以跟隨小編一起學習一下
    2023-05-05
  • C#圖片按比例縮放的實現(xiàn)代碼

    C#圖片按比例縮放的實現(xiàn)代碼

    這篇文章主要介紹了C#圖片按比例縮放的實現(xiàn)代碼,有需要的朋友可以參考一下
    2014-01-01
  • HTML文本框的值改變后觸發(fā)后臺代碼的方法

    HTML文本框的值改變后觸發(fā)后臺代碼的方法

    asp.net用日期插件,當選中一個日期時觸發(fā)一個事件,以查詢當前日期的數(shù)據(jù)。這是要跟數(shù)據(jù)庫交互的。先貼出控件代碼:
    2013-04-04
  • UGUI繪制多點連續(xù)的平滑曲線

    UGUI繪制多點連續(xù)的平滑曲線

    這篇文章主要為大家詳細介紹了UGUI繪制多點連續(xù)的平滑曲線,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-12-12
  • C#中各種計時器用法小結

    C#中各種計時器用法小結

    這篇文章主要介紹了C#中各種計時器用法,結合實例形式總結分析了C#中各種常用時間相關類實現(xiàn)計時器功能的操作技巧,需要的朋友可以參考下
    2017-06-06
  • C#實現(xiàn)判斷操作系統(tǒng)是否為Win8以上版本

    C#實現(xiàn)判斷操作系統(tǒng)是否為Win8以上版本

    這篇文章主要介紹了C#實現(xiàn)判斷操作系統(tǒng)是否為Win8以上版本,本文講解了利用C#獲取OS的版本號、利用反射獲取當前正在運行的程序的版本信息、 利用C#判斷當前操作系統(tǒng)是否為Win8系統(tǒng)等內容,需要的朋友可以參考下
    2015-06-06

最新評論