Java大文本并行計(jì)算實(shí)現(xiàn)過程解析
簡(jiǎn)單提高文本讀取效率,使用BufferedReader是個(gè)不錯(cuò)的選擇。速度最快的方法是MappedByteBuffer,但是,相比BufferedReader而言,效果不是非常明顯。也就是說,后者雖然快,但也快的有限(不要抱有性能提升幾倍的幻想)。
對(duì)于大文本的讀取,性能瓶頸主要在IO,read占時(shí)間多是正常的,硬盤本身就不快,讀入內(nèi)存后還要轉(zhuǎn)成對(duì)象,都比較耗時(shí)間。
想要提速應(yīng)當(dāng)用并行的辦法,用多線程同時(shí)讀取和處理數(shù)據(jù),但Java寫多線程程序很麻煩,并行分段讀同一個(gè)文件時(shí)還要考慮調(diào)整邊界,也比較麻煩。
比如要這么個(gè)場(chǎng)景:分組匯總每個(gè)客戶的銷售額,部分源數(shù)據(jù)如下:
O_ORDERKEY O_CUSTKEY O_ORDERDATE O_TOTALPRICE 10262 RATTC 1996-07-22 14487.0 10263 ERNSH 1996-07-23 43818.0 10264 FOLKO 2007-07-24 1101.0 10265 BLONP 1996-07-25 5528.0 10266 WARTH 1996-07-26 7719.0 10267 FRANK 1996-07-29 20858.0 10268 GROSR 1996-07-30 19887.0 10269 WHITC 1996-07-31 456.0 10270 WARTH 1996-08-01 13654.0 ...
期望的結(jié)果:
Java部分多線程代碼大概要寫成這樣:
... final int DOWN_THREAD_NUM = 8; CountDownLatch doneSignal = new CountDownLatch(DOWN_THREAD_NUM); RandomAccessFile[] outArr = new RandomAccessFile[DOWN_THREAD_NUM]; try{ long length = new File(OUT_FILE_NAME).length(); long numPerThred = length / DOWN_THREAD_NUM; long left = length % DOWN_THREAD_NUM; for (int i = 0; i < DOWN_THREAD_NUM; i++) { outArr[i] = new RandomAccessFile(OUT_FILE_NAME, "rw"); ... if (i == DOWN_THREAD_NUM - 1) { new ReadThread(i * numPerThred, (i + 1) * numPerThred + left, outArr[i],keywords,doneSignal).start(); ... } else { new ReadThread(i * numPerThred, (i + 1) * numPerThred,outArr[i],keywords,doneSignal).start(); ... } } } ...
如果有集算器就簡(jiǎn)單多了,它對(duì)Java的多線程進(jìn)行了封裝,提供了對(duì)大文件分段并行的功能,寫起來容易多了,對(duì)人員要求也低。比如上面問題,2行就搞定了(集算器內(nèi)置了并行選項(xiàng)@m,不設(shè)置并行數(shù),默認(rèn)按核數(shù)做為并行數(shù)):
=file("/workspace/orders.txt").cursor@mt()
=A1.groups(O_CUSTKEY;sum(O_TOTALPRICE):AMOUNT)
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
spring boot整合CAS Client實(shí)現(xiàn)單點(diǎn)登陸驗(yàn)證的示例
本篇文章主要介紹了spring boot整合CAS Client實(shí)現(xiàn)單點(diǎn)登陸驗(yàn)證的示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-01-01Java嵌入式開發(fā)的優(yōu)勢(shì)及有點(diǎn)總結(jié)
在本篇內(nèi)容里小編給大家整理了關(guān)于Java嵌入式開發(fā)的優(yōu)勢(shì)及相關(guān)知識(shí)點(diǎn)內(nèi)容,有興趣的朋友們學(xué)習(xí)下。2022-11-11