欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

.Net Core導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法

 更新時(shí)間:2021年05月20日 14:25:51   作者:chingho  
今天我們談?wù)凪ySQL怎么高性能插入千萬(wàn)級(jí)的數(shù)據(jù)的,討論這個(gè)問(wèn)題牽扯到一個(gè)數(shù)據(jù)遷移功能,高性能的插入數(shù)據(jù),接下來(lái)通過(guò)本文給大家分享幾種實(shí)現(xiàn)方法,感興趣的朋友跟隨小編一起學(xué)習(xí)下吧

​最近在工作中,涉及到一個(gè)數(shù)據(jù)遷移功能,從一個(gè)txt文本文件導(dǎo)入到MySQL功能。

數(shù)據(jù)遷移,在互聯(lián)網(wǎng)企業(yè)可以說(shuō)經(jīng)常碰到,而且涉及到千萬(wàn)級(jí)、億級(jí)的數(shù)據(jù)量是很常見(jiàn)的。大數(shù)據(jù)量遷移,這里面就涉及到一個(gè)問(wèn)題:高性能的插入數(shù)據(jù)。

今天我們就來(lái)談?wù)凪ySQL怎么高性能插入千萬(wàn)級(jí)的數(shù)據(jù)。

我們一起對(duì)比以下幾種實(shí)現(xiàn)方法:

前期準(zhǔn)備

訂單測(cè)試表

CREATE TABLE `trade` (
  `id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
  `trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
  UNIQUE INDEX `id` (`id`),
  INDEX `trade_no` (`trade_no`)
)
COMMENT='訂單'
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB;

測(cè)試環(huán)境

操作系統(tǒng):Window 10 專業(yè)版

CPU:Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ

內(nèi)存:16G

MySQL版本:5.7.26

實(shí)現(xiàn)方法:

1、單條數(shù)據(jù)插入

這是最普通的方式,通過(guò)循環(huán)一條一條的導(dǎo)入數(shù)據(jù),這個(gè)方式的缺點(diǎn)很明顯就是每一次都需要連接一次數(shù)據(jù)庫(kù)。

實(shí)現(xiàn)代碼:

//開(kāi)始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬(wàn)數(shù)據(jù)
    for (var i = 0; i < 100000; i++)
    {
        //插入
        var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",
            Guid.NewGuid().ToString(), "trade_" + (i + 1)
            );
        var sqlComm = new MySqlCommand();
        sqlComm.Connection = conn;
        sqlComm.CommandText = sql;
        sqlComm.ExecuteNonQuery();
        sqlComm.Dispose();
    }
​
    conn.Close();
}
​
//完成時(shí)間
var endTime = DateTime.Now;
​
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("循環(huán)插入方式耗時(shí):" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬(wàn)條測(cè)試耗時(shí):

上面的例子,我們是批量導(dǎo)入10萬(wàn)條數(shù)據(jù),需要連接10萬(wàn)次數(shù)據(jù)庫(kù)。我們把SQL語(yǔ)句改為1000條拼接為1條,這樣就能減少數(shù)據(jù)庫(kù)連接,實(shí)現(xiàn)代碼修改如下:

//開(kāi)始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬(wàn)數(shù)據(jù)
    var sql = new StringBuilder();
    for (var i = 0; i < 100000; i++)
    {
        //插入
        sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",
            Guid.NewGuid().ToString(), "trade_" + (i + 1)
            );
​
        //合并插入
        if (i % 1000 == 999)
        {
            var sqlComm = new MySqlCommand();
            sqlComm.Connection = conn;
            sqlComm.CommandText = sql.ToString();
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Clear();
        }
    }
​
    conn.Close();
}
​
//完成時(shí)間
var endTime = DateTime.Now;
​
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("循環(huán)插入方式耗時(shí):" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬(wàn)條測(cè)試耗時(shí):

通過(guò)優(yōu)化后,原本需要10萬(wàn)次連接數(shù)據(jù)庫(kù),只需連接100次。從最終運(yùn)行效果看,由于數(shù)據(jù)庫(kù)是在同一臺(tái)服務(wù)器,不涉及網(wǎng)絡(luò)傳輸,性能提升不明顯。

2、合并數(shù)據(jù)插入

在MySQL同樣也支持,通過(guò)合并數(shù)據(jù)來(lái)實(shí)現(xiàn)批量數(shù)據(jù)導(dǎo)入。實(shí)現(xiàn)代碼:

//開(kāi)始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬(wàn)數(shù)據(jù)
    var sql = new StringBuilder();
    for (var i = 0; i < 100000; i++)
    {
        if (i % 1000 == 0)
        {
            sql.Append("insert into trade(id,trade_no) values");
        }
​
        //拼接
        sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));
​
        //一次性插入1000條
        if (i % 1000 == 999)
        {
            var sqlComm = new MySqlCommand();
            sqlComm.Connection = conn;
            sqlComm.CommandText = sql.ToString().TrimEnd(',');
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Clear();
        }
    }
        
​
    conn.Close();
}
​
//完成時(shí)間
var endTime = DateTime.Now;
​
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("合并數(shù)據(jù)插入方式耗時(shí):" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬(wàn)條測(cè)試耗時(shí):

通過(guò)這種方式插入操作明顯能夠提高程序的插入效率。雖然第一種方法通過(guò)優(yōu)化后,同樣的可以減少數(shù)據(jù)庫(kù)連接次數(shù),但第二種方法:合并后日志量(MySQL的binlog和innodb的事務(wù)讓日志)減少了,降低日志刷盤的數(shù)據(jù)量和頻率,從而提高效率。同時(shí)也能減少SQL語(yǔ)句解析的次數(shù),減少網(wǎng)絡(luò)傳輸?shù)腎O。

3、MySqlBulkLoader插入

MySQLBulkLoader也稱為L(zhǎng)OAD DATA INFILE,它的原理是從文件讀取數(shù)據(jù)。所以我們需要將我們的數(shù)據(jù)集保存到文件,然后再?gòu)奈募锩孀x取。

實(shí)現(xiàn)代碼:

//開(kāi)始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
    var table = new DataTable();
    table.Columns.Add("id", typeof(string));
    table.Columns.Add("trade_no", typeof(string));
​
    //生成10萬(wàn)數(shù)據(jù)
    for (var i = 0; i < 100000; i++)
    {
        if (i % 500000 == 0)
        {
            table.Rows.Clear();
        }
​
        //記錄
        var row = table.NewRow();
        row[0] = Guid.NewGuid().ToString();
        row[1] = "trade_" + (i + 1);
        table.Rows.Add(row);
​
        //50萬(wàn)條一批次插入
        if (i % 500000 != 499999 && i < (100000 - 1))
        {
            continue;
        }
        Console.WriteLine("開(kāi)始插入:" + i);
​
        //數(shù)據(jù)轉(zhuǎn)換為csv格式
        var tradeCsv = DataTableToCsv(table);
        var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";
        File.WriteAllText(tradeFilePath, tradeCsv);
​
        #region 保存至數(shù)據(jù)庫(kù)
        var bulkCopy = new MySqlBulkLoader(conn)
        {
            FieldTerminator = ",",
            FieldQuotationCharacter = '"',
            EscapeCharacter = '"',
            LineTerminator = "\r\n",
            FileName = tradeFilePath,
            NumberOfLinesToSkip = 0,
            TableName = "trade"
        };
​
        bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
        bulkCopy.Load();
        #endregion
    }
​
    conn.Close();
}
​
//完成時(shí)間
var endTime = DateTime.Now;
​
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk方式耗時(shí):" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬(wàn)條測(cè)試耗時(shí):

注意:MySQL數(shù)據(jù)庫(kù)配置需開(kāi)啟:允許文件導(dǎo)入。配置如下:

secure_file_priv=

性能測(cè)試對(duì)比

針對(duì)上面三種方法,分別測(cè)試10萬(wàn)、20萬(wàn)、100萬(wàn)、1000萬(wàn)條數(shù)據(jù)記錄,最終性能入如下:

最后

通過(guò)測(cè)試數(shù)據(jù)看,隨著數(shù)據(jù)量的增大,MySqlBulkLoader的方式表現(xiàn)依舊良好,其他方式性能下降比較明顯。MySqlBulkLoader的方式完全可以滿足我們的需求。

以上就是.Net Core導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql數(shù)據(jù)庫(kù)的詳細(xì)內(nèi)容,更多關(guān)于.Net Core導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • ASP.NET?Core使用固定窗口限流

    ASP.NET?Core使用固定窗口限流

    本文詳細(xì)講解了ASP.NET?Core使用固定窗口限流的算法實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-12-12
  • asp.net 分頁(yè)sql語(yǔ)句(結(jié)合aspnetpager)

    asp.net 分頁(yè)sql語(yǔ)句(結(jié)合aspnetpager)

    一直用的是存儲(chǔ)過(guò)程分頁(yè),小項(xiàng)目一般不寫存儲(chǔ)過(guò)程,就需要直接寫分頁(yè)sql語(yǔ)句。
    2009-01-01
  • asp.net ajaxControlToolkit FilteredTextBoxExtender的簡(jiǎn)單用法

    asp.net ajaxControlToolkit FilteredTextBoxExtender的簡(jiǎn)單用法

    最近寫的東西驗(yàn)證比較多,尤其是數(shù)字驗(yàn)證,無(wú)意中發(fā)現(xiàn)這個(gè)控件,有點(diǎn)兒意思。記錄一下
    2008-11-11
  • Attribute/特性心得隨筆

    Attribute/特性心得隨筆

    從事asp.net工作的相關(guān)人員對(duì)Attribute并不陌生吧,本文就來(lái)為大家介紹下Attribute特性,下面有個(gè)不錯(cuò)的示例,喜歡的朋友感受下
    2013-11-11
  • Visual?Studio?2022?MAUI?NU1105(NETSDK1005)?問(wèn)題處理記錄

    Visual?Studio?2022?MAUI?NU1105(NETSDK1005)?問(wèn)題處理記錄

    某一天修改了幾行代碼后,突然項(xiàng)目無(wú)法編譯了,提示NU1105錯(cuò)誤,這篇文章主要介紹了Visual?Studio?2022?MAUI?NU1105(NETSDK1005)?處理記錄,需要的朋友可以參考下
    2022-12-12
  • System.Web.Routing入門及進(jìn)階

    System.Web.Routing入門及進(jìn)階

    System.Web.Routing已經(jīng)作為一個(gè)程序集包含在.net3.5sp1中發(fā)布了。雖然我們并沒(méi)有在3.5sp1中發(fā)現(xiàn)Asp.net Mvc的蹤跡,但是亦以感覺(jué)到它離我們不遠(yuǎn)了
    2011-12-12
  • CZGL.ProcessMetrics處理監(jiān)控?cái)?shù)據(jù)的三種方式介紹

    CZGL.ProcessMetrics處理監(jiān)控?cái)?shù)據(jù)的三種方式介紹

    這篇文章介紹了CZGL.ProcessMetrics處理監(jiān)控?cái)?shù)據(jù)的三種方式,對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-04-04
  • .Net Core使用MongoDB的詳細(xì)教程

    .Net Core使用MongoDB的詳細(xì)教程

    這篇文章主要給大家介紹了關(guān)于.Net Core使用MongoDB的完整步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • ASP.NET中驗(yàn)證控件的使用方法

    ASP.NET中驗(yàn)證控件的使用方法

    這篇文章主要內(nèi)容是ASP.NET中驗(yàn)證控件的使用方法,RequiredFieldValidation控件的介紹,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2015-08-08
  • WPF實(shí)現(xiàn)漸變淡入淡出的登陸窗口效果

    WPF實(shí)現(xiàn)漸變淡入淡出的登陸窗口效果

    這篇文章主要介紹了WPF實(shí)現(xiàn)漸變淡入淡出的登陸窗口效果的方法,詳細(xì)講述了該效果的實(shí)現(xiàn)原理與功能代碼,具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2014-11-11

最新評(píng)論