C++開發(fā)的Redis數(shù)據(jù)導入工具優(yōu)化
背景
使用C++開發(fā)了一個Redis數(shù)據(jù)導入工具
從oracle中將所有表數(shù)據(jù)導入到redis中;
不是單純的數(shù)據(jù)導入,每條oracle中的原有記錄,需要經(jīng)過業(yè)務邏輯處理,
并添加索引(redis集合);
工具完成后,性能是個瓶頸;
優(yōu)化效果
使用了2個樣本數(shù)據(jù)測試:
樣本數(shù)據(jù)a表8763 條記錄;
b表940279 條記錄;
優(yōu)化前,a表耗時11.417s;
優(yōu)化后,a表耗時1.883s;
用到的工具
gprof, pstrace,time
使用time工具查看每次執(zhí)行的耗時,分別包含用戶時間和系統(tǒng)時間;
使用pstrace打印實時運行,查詢進程主要的系統(tǒng)調(diào)用,發(fā)現(xiàn)耗時點;
使用gprof統(tǒng)計程序的耗時匯總,集中精力優(yōu)化最耗時的地方;
使用簡介:
1.對g++的所有編輯和連接選項都必須要加上-pg(第一天由于沒有在連接處加上-pg選項,導致無法出統(tǒng)計報告);
2.執(zhí)行完程序后,本目錄會產(chǎn)生gmon.out文件;
3.gprof redistool gmou.out > report,生成可讀文件report,打開report集中優(yōu)化最耗時的函數(shù);
優(yōu)化過程
優(yōu)化前11.417s:
time ./redistool im a a.csv
real 0m11.417s
user 0m6.035s
sys 0m4.782s (發(fā)現(xiàn)系統(tǒng)調(diào)用時間過長)
文件內(nèi)存映射
系統(tǒng)調(diào)用時間過長,主要是文件讀寫,初步考慮是讀取文件時,調(diào)用api次數(shù)過于頻繁;
讀取樣本采用的是文件fgets一行行的讀取,采用文件內(nèi)存映射mmap后,可直接使用指針操作整個文件內(nèi)存快;
日志開關提前
改進了文件讀寫后,發(fā)現(xiàn)優(yōu)化效果比較有限(提高了2s左右);fgets是C的文件讀取庫函數(shù),相比系統(tǒng)read(),是帶了緩沖區(qū)了,應該不會太慢(網(wǎng)上有人測試,文件內(nèi)存映射相比fgets()能快上一個數(shù)量級,感覺場景應該比較特殊);
之后通過pstrace工具發(fā)現(xiàn)log.dat打開次數(shù)過多;原來是調(diào)試日志的開關寫到了后面,導致 調(diào)試日志都是會打開日志文件open("log.dat");
將日志開關提前;改進后,3.53s
time ./redistool im a a.csv
real 0m3.530s
user 0m2.890s
sys 0m0.212s
vector空間預先分配
后續(xù)通過gprof分析,某個函數(shù)的vector內(nèi)存分配次數(shù)多,并有不少復制次數(shù):
改進以下這行代碼:
vector <string> vSegment;
使用靜態(tài)vector變量,并預先分配內(nèi)存:
static vector <string> vSegment;
vSegment.clear();
static int nCount = 0;
if( 0 == nCount)
{
vSegment.reserve(64);
}
++nCount;
優(yōu)化后,提升至2.286s
real 0m2.286s
user 0m1.601s
sys 0m0.222s
同樣,另外一個類中的成員vector也使用預先分配空間(在構造函數(shù)中):
m_vtPipecmd.reserve(256);
優(yōu)化后,提升至2.166s;
real 0m2.166s
user 0m1.396s
sys 0m0.204s
函數(shù)改寫 && 內(nèi)聯(lián)
繼續(xù)執(zhí)行程序,發(fā)現(xiàn)SqToolStrSplitByCh()函數(shù)消耗過大,改寫整個函數(shù)邏輯,并將改寫后的函數(shù)內(nèi)聯(lián):
優(yōu)化后,提升至1.937s
real 0m1.937s
user 0m1.301s
sys 0m0.186s
去除調(diào)試符和優(yōu)化監(jiān)測符號
最后,去掉debug和pg調(diào)試符號后,最終效果為1.883s;
real 0m1.883s
user 0m1.239s
sys 0m0.191s
滿足生產(chǎn)要求
以上最后幾步看似毫秒級的提升,擴大到全表數(shù)據(jù)后,效果就很明顯了;
優(yōu)化后,生產(chǎn)上a表為152w,導入耗時大約326s(~6分鐘);
b表數(shù)據(jù)420w,導入耗時大約1103s(~18分鐘)
以上所述就是本文的全部內(nèi)容了,希望大家能夠喜歡。
相關文章
C++ 中的INT_MAX,INT_MIN數(shù)值大小操作
這篇文章主要介紹了C++ 中的INT_MAX,INT_MIN數(shù)值大小操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03Qt圖形圖像開發(fā)曲線圖表模塊QChart庫縮放/平移詳細方法與實例
這篇文章主要介紹了Qt圖形圖像開發(fā)曲線圖表模塊QChart庫縮放/平移詳細方法與實例,需要的朋友可以參考下2020-03-03