一、前言
以前的系統(tǒng)由于表設(shè)計(jì)比較復(fù)雜（多張表，表與表直接有主從關(guān)系），這個是業(yè)務(wù)邏輯決定的。 插入效率簡直實(shí)在無法忍受，必須優(yōu)化。在了解了Postgre的Copy,unlogged table 特性
之后，決定一探究竟。

二、測試用例

1.數(shù)據(jù)表結(jié)構(gòu):表示一個員工工作績效的表（work_test）：共15個字段
id,no,name,sex,tel,address,provice,city,post,mobile,department,work,start_time,end_time,score
索引（b-tree的集群索引或者叫聚集索引）：id,no,name,sex,tel,address,provice,city,post,mobile,department,work

2.測試環(huán)境：win7，四核，2GB內(nèi)存；postgre版本9.3；Npgsql連接Postgre數(shù)據(jù)庫。

三、insert/ transaction/ copy/unlogged table

1.insert 一個10W數(shù)據(jù)大概需要120s，雖然已經(jīng)提升“不少”，但是還是不盡如人意。以前用SQLite時發(fā)現(xiàn)Transaction可以大幅提升性能，于是在Postgre中試試，發(fā)現(xiàn)并沒有明顯變
化。不知何故。

2. copy可以將文件（csv）中的數(shù)據(jù)復(fù)制進(jìn)數(shù)據(jù)庫中，當(dāng)然數(shù)據(jù)表的結(jié)構(gòu)和要數(shù)據(jù)類型要與文件一一對應(yīng)。據(jù)說可以大幅提升插入性能。

　　
使用Copy后發(fā)現(xiàn)插入的性能立馬提升至30s，相當(dāng)于1s插入3300條記錄。這中間還包含生成csv文件的時間。

3.unlogged table
unlogged table，網(wǎng)上的文章說可以10倍于insert。使用方法也很簡單:Create unlogged table ...
但是unlogged table 在遇到Postgre服務(wù)器異常重啟后會丟失全部數(shù)據(jù)，所以如果你的數(shù)據(jù)不允許丟失，請不要使用。
使用后發(fā)現(xiàn)，大概20s，1s插入5000條記錄。

下面是三種插入方式的走勢圖：

說明：x軸表示數(shù)據(jù)庫中已有的記錄數(shù)，單位百萬，每個點(diǎn)是10W.Y軸表示每次插入所耗時間，單位秒。
藍(lán)色線：insert;之所以后面比較穩(wěn)定是因?yàn)殡娔X沒有運(yùn)行其他程序。所以說，電腦工作狀態(tài)對Postgre效率有一定的影響。
粉紅色：copy;
黃色線：copy+unlogged
 雖然建了索引，并且表中的數(shù)據(jù)一直累加進(jìn)來，對于后續(xù)插入數(shù)據(jù)性能并沒有任何影響，這個結(jié)果就是我想看到的。

四、查詢測試
按name字段搜索：

說明：x軸表示數(shù)據(jù)庫中已有的記錄數(shù)，單位百萬，每個點(diǎn)是10W.Y軸表示每次查詢所耗時間，單位毫秒。

藍(lán)色線：insert;
粉紅色：copy;
黃色線：copy+unlogged

由于三種插入方式結(jié)果都是一樣的，所以對比并沒有意義，這里主要看查詢耗時。平均下來：500ms,并且隨著Row count的增加，查詢效率并沒有降低。這主要得益于良好的索引。
另外發(fā)現(xiàn)：條件越多，查詢效率越高，因?yàn)閽呙璧男袛?shù)在減少，后面的圖就不貼出來了。

最新評論