C#高效比較兩個(gè)DataTable數(shù)據(jù)差異化的方法實(shí)現(xiàn)
假如有兩個(gè)DataTable表格分別是dt1,dt2,dt2中有些數(shù)據(jù)跟dt1一樣,現(xiàn)在想找出dt2的數(shù)據(jù)在dt1中不存在的數(shù)據(jù)集(換句話也可以說dt2刪除已經(jīng)存在于dt1中的數(shù)據(jù)),傳統(tǒng)思想可能直接用循環(huán)找差異,這種是非常低效的做法,數(shù)據(jù)量少無所謂,數(shù)據(jù)量大,簡(jiǎn)直要了程序猿老命,既然直接循環(huán)查找不可取,那么有沒有高效一點(diǎn)的做法呢(廢話,湊數(shù)字用,當(dāng)然是有了),C# linq 中IEnumerable 提供了Expect(差集)的方法,眾所周知,DataTable提供了AsEnumerable()的轉(zhuǎn)換方法,能把DataTable轉(zhuǎn)成IEnumerable<DataRow>,這樣我們就能linq 來處理DataTable了,如果dt1和dt2的結(jié)構(gòu)相同,則可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())來獲得兩個(gè)表格的差異,當(dāng)然這個(gè)結(jié)果的返回是一個(gè)IEnumerable<DataRow>,如果想要一個(gè)DataTable結(jié)果,可以直接調(diào)用方法CopyToDataTable()(該方法調(diào)用之前需要判斷結(jié)果集是否沒有數(shù)據(jù),沒有數(shù)據(jù)會(huì)報(bào)錯(cuò))
var list=dt2.AsEnumerable().Except(dt1.AsEnumerable()); DataTable resultDt; if(list.Count()>0) resultDt=list.CopyToDataTable(); else resultDt=dt2.Clone();//克隆個(gè)結(jié)構(gòu);
如果dt1,dt2的結(jié)構(gòu)不一樣,那么就不能直接用Except方法來處理了,這里我的建議是用linq中的join方法,先把dt1,dt2兩個(gè)表做一個(gè)內(nèi)連接的關(guān)聯(lián)處理,找出dt2跟dt1相同的部分,然后再利用dt2跟dt2于dt1相同的部分做一次差集處理,就能得出dt2和dt1的差集,直接上代碼,代碼演示用的是linqpad工具,其中的Dump方法是用來輸出打印的,vs調(diào)試的話,請(qǐng)自行修改成Console,測(cè)試數(shù)據(jù)用了50w,60w如果單靠差集處理,是秒級(jí)別
void Main() { Stopwatch sw = new Stopwatch(); sw.Start(); var dt1 = CreateDt(500000, 3); var dt2 = CreateDt(600000, 5); sw.Stop(); sw.Elapsed.Dump("生成兩個(gè)表的時(shí)間"); sw.Restart(); //dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的結(jié)構(gòu)相同,則直接差集處理得出結(jié)果 var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//內(nèi)連接,查詢兩個(gè)表格相同部分,再利用相同部分做差集處理得出結(jié)果就是dt2在dt1中的差集 var result = dt2.AsEnumerable().Except(dt).ToList(); sw.Stop(); result.Count.Dump("差集結(jié)果條數(shù)"); sw.Elapsed.Dump("查詢差異的時(shí)間"); sw.Restart(); DataTable resultDt; if (result.Count() > 0) resultDt = result.CopyToDataTable(); else resultDt = dt2.Clone(); sw.Stop(); sw.Elapsed.Dump("轉(zhuǎn)成DataTable耗時(shí):"); } DataTable CreateDt(int row, int count) { var dt = new DataTable(); for (int i = 0; i < count; i++) dt.Columns.Add("col" + i); var rnd = new Random(); for (int i = 0; i < row; i++) { var num = rnd.Next(0, row); dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray()); } return dt; }
結(jié)果圖:
從結(jié)果上看,關(guān)聯(lián)和差異處理共耗時(shí)1秒左右,這個(gè)速度還是能接受的
到此這篇關(guān)于C#高效比較兩個(gè)DataTable數(shù)據(jù)差異化的方法實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)C# 兩個(gè)DataTable數(shù)據(jù)差異化內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
C#實(shí)現(xiàn)發(fā)送簡(jiǎn)單HTTP請(qǐng)求的方法
這篇文章主要介紹了C#實(shí)現(xiàn)發(fā)送簡(jiǎn)單HTTP請(qǐng)求的方法,涉及C#操作http的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-04-04C#絕對(duì)路徑拼接相對(duì)路徑的實(shí)例代碼
C#絕對(duì)路徑拼接相對(duì)路徑的實(shí)例代碼,需要的朋友可以參考一下2013-03-03C#使用udp如何實(shí)現(xiàn)消息的接收和發(fā)送
這篇文章主要介紹了C#使用udp如何實(shí)現(xiàn)消息的接收和發(fā)送問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02