欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

C++開發(fā)的Redis數(shù)據(jù)導入工具優(yōu)化

 更新時間:2015年07月01日 10:03:19   投稿:hebedich  
這篇文章主要介紹了C++開發(fā)的Redis數(shù)據(jù)導入工具優(yōu)化方法的相關資料,需要的朋友可以參考下

背景

使用C++開發(fā)了一個Redis數(shù)據(jù)導入工具
從oracle中將所有表數(shù)據(jù)導入到redis中;
不是單純的數(shù)據(jù)導入,每條oracle中的原有記錄,需要經(jīng)過業(yè)務邏輯處理,
并添加索引(redis集合);
工具完成后,性能是個瓶頸;

優(yōu)化效果

使用了2個樣本數(shù)據(jù)測試:
樣本數(shù)據(jù)a表8763 條記錄;
b表940279 條記錄;

優(yōu)化前,a表耗時11.417s;
優(yōu)化后,a表耗時1.883s;

用到的工具

gprof, pstrace,time

使用time工具查看每次執(zhí)行的耗時,分別包含用戶時間和系統(tǒng)時間;
使用pstrace打印實時運行,查詢進程主要的系統(tǒng)調(diào)用,發(fā)現(xiàn)耗時點;
使用gprof統(tǒng)計程序的耗時匯總,集中精力優(yōu)化最耗時的地方;

使用簡介:

1.對g++的所有編輯和連接選項都必須要加上-pg(第一天由于沒有在連接處加上-pg選項,導致無法出統(tǒng)計報告);
2.執(zhí)行完程序后,本目錄會產(chǎn)生gmon.out文件;
3.gprof redistool gmou.out > report,生成可讀文件report,打開report集中優(yōu)化最耗時的函數(shù);

優(yōu)化過程

優(yōu)化前11.417s:

復制代碼 代碼如下:

time ./redistool im a a.csv
real    0m11.417s
user    0m6.035s
sys     0m4.782s (發(fā)現(xiàn)系統(tǒng)調(diào)用時間過長)

文件內(nèi)存映射

系統(tǒng)調(diào)用時間過長,主要是文件讀寫,初步考慮是讀取文件時,調(diào)用api次數(shù)過于頻繁;
讀取樣本采用的是文件fgets一行行的讀取,采用文件內(nèi)存映射mmap后,可直接使用指針操作整個文件內(nèi)存快;

日志開關提前

改進了文件讀寫后,發(fā)現(xiàn)優(yōu)化效果比較有限(提高了2s左右);fgets是C的文件讀取庫函數(shù),相比系統(tǒng)read(),是帶了緩沖區(qū)了,應該不會太慢(網(wǎng)上有人測試,文件內(nèi)存映射相比fgets()能快上一個數(shù)量級,感覺場景應該比較特殊);

之后通過pstrace工具發(fā)現(xiàn)log.dat打開次數(shù)過多;原來是調(diào)試日志的開關寫到了后面,導致 調(diào)試日志都是會打開日志文件open("log.dat");
將日志開關提前;改進后,3.53s

復制代碼 代碼如下:

time ./redistool im a a.csv
real    0m3.530s
user    0m2.890s
sys     0m0.212s

vector空間預先分配

后續(xù)通過gprof分析,某個函數(shù)的vector內(nèi)存分配次數(shù)多,并有不少復制次數(shù):
改進以下這行代碼:

vector <string> vSegment;
使用靜態(tài)vector變量,并預先分配內(nèi)存:

復制代碼 代碼如下:

static vector <string> vSegment;
vSegment.clear();
static int nCount = 0;
if( 0 == nCount)
{
    vSegment.reserve(64);
}
++nCount;

優(yōu)化后,提升至2.286s

復制代碼 代碼如下:

real    0m2.286s
user    0m1.601s
sys     0m0.222s

同樣,另外一個類中的成員vector也使用預先分配空間(在構造函數(shù)中):

m_vtPipecmd.reserve(256);
優(yōu)化后,提升至2.166s;

復制代碼 代碼如下:

real    0m2.166s
user    0m1.396s
sys     0m0.204s

函數(shù)改寫 && 內(nèi)聯(lián)

繼續(xù)執(zhí)行程序,發(fā)現(xiàn)SqToolStrSplitByCh()函數(shù)消耗過大,改寫整個函數(shù)邏輯,并將改寫后的函數(shù)內(nèi)聯(lián):
優(yōu)化后,提升至1.937s

復制代碼 代碼如下:

real    0m1.937s
user    0m1.301s
sys     0m0.186s

去除調(diào)試符和優(yōu)化監(jiān)測符號

最后,去掉debug和pg調(diào)試符號后,最終效果為1.883s;

復制代碼 代碼如下:

real    0m1.883s
user    0m1.239s
sys     0m0.191s

滿足生產(chǎn)要求

以上最后幾步看似毫秒級的提升,擴大到全表數(shù)據(jù)后,效果就很明顯了;
優(yōu)化后,生產(chǎn)上a表為152w,導入耗時大約326s(~6分鐘);
b表數(shù)據(jù)420w,導入耗時大約1103s(~18分鐘)

以上所述就是本文的全部內(nèi)容了,希望大家能夠喜歡。

相關文章

  • C++重載的奧義之函數(shù)重載詳解

    C++重載的奧義之函數(shù)重載詳解

    函數(shù)重載是C++多態(tài)(靜態(tài)多態(tài))的特征體現(xiàn),它可以允許重復使用同一個函數(shù)名(籃子)的函數(shù),但是函數(shù)的參數(shù)列表(籃子裝的東西)是可以不一樣的。下面就簡單講講C++中函數(shù)重載的相關應用吧
    2023-04-04
  • C++ 中的INT_MAX,INT_MIN數(shù)值大小操作

    C++ 中的INT_MAX,INT_MIN數(shù)值大小操作

    這篇文章主要介紹了C++ 中的INT_MAX,INT_MIN數(shù)值大小操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • C++Stack棧類模版實例詳解

    C++Stack棧類模版實例詳解

    這篇文章主要為大家詳細介紹了C++Stack棧類模版實例,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2022-02-02
  • C語言分別實現(xiàn)棧和隊列詳解流程

    C語言分別實現(xiàn)棧和隊列詳解流程

    棧和隊列,嚴格意義上來說,也屬于線性表,因為它們也都用于存儲邏輯關系為 "一對一" 的數(shù)據(jù),但由于它們比較特殊,因此將其單獨作為一章,做重點講解
    2022-04-04
  • 基于Qt實現(xiàn)可拖動自定義控件

    基于Qt實現(xiàn)可拖動自定義控件

    這篇文章主要為大家詳細介紹了如何基于Qt實現(xiàn)可拖動自定義控件,文中的示例代碼講解詳細,具有一定的借鑒價值,感興趣的小伙伴可以了解一下
    2023-04-04
  • Qt圖形圖像開發(fā)曲線圖表模塊QChart庫縮放/平移詳細方法與實例

    Qt圖形圖像開發(fā)曲線圖表模塊QChart庫縮放/平移詳細方法與實例

    這篇文章主要介紹了Qt圖形圖像開發(fā)曲線圖表模塊QChart庫縮放/平移詳細方法與實例,需要的朋友可以參考下
    2020-03-03
  • C++實現(xiàn)飛機大戰(zhàn)游戲

    C++實現(xiàn)飛機大戰(zhàn)游戲

    這篇文章主要為大家詳細介紹了C++實現(xiàn)飛機大戰(zhàn)游戲,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-06-06
  • C++異常使用詳解(看這一篇就夠了)

    C++異常使用詳解(看這一篇就夠了)

    C++中的異常是指在程序執(zhí)行過程中發(fā)生錯誤,導致程序無法正常運行的情況,下面這篇文章主要給大家介紹了關于C++異常使用的相關資料,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
    2023-10-10
  • c語言實現(xiàn)http下載器的方法

    c語言實現(xiàn)http下載器的方法

    這篇文章主要介紹了c語言實現(xiàn)http下載器的相關知識,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-07-07
  • C語言練習題:求1到10的階乘之和簡單實例

    C語言練習題:求1到10的階乘之和簡單實例

    下面小編就為大家?guī)硪黄狢語言練習題:求1到10的階乘之和簡單實例。小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2016-05-05

最新評論