Java通過(guò)導(dǎo)出超大Excel文件解決內(nèi)存溢出問(wèn)題
前言
將業(yè)務(wù)數(shù)據(jù)導(dǎo)出到Excel表中,導(dǎo)出任務(wù)數(shù)據(jù)量較大時(shí),導(dǎo)出的項(xiàng)目就會(huì)內(nèi)存溢出,本文通過(guò)Java操作Poi的SXSSFWorkbook類進(jìn)行導(dǎo)出,解決內(nèi)存溢出問(wèn)題。
1.采用Poi中的SXSSFWorkbook
在實(shí)現(xiàn)excel導(dǎo)出時(shí),在數(shù)據(jù)量過(guò)大的情況下,總是容易發(fā)生內(nèi)存溢出的情況??梢允褂肞OI提供的 SXSSFWorkbook 類來(lái)避免內(nèi)存溢出。

2.maven中引入Poi
<!-- poi start --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.1.2</version> </dependency> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>4.1.2</version> </dependency> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml-schemas</artifactId> <version>4.1.2</version> </dependency> <!-- poi end -->
3.測(cè)試過(guò)程
先使用普通的寫法測(cè)試(XSSFWorkbook),編寫writeNormalExcelTest測(cè)試方法,寫入的行數(shù)太多時(shí),會(huì)報(bào)內(nèi)存溢出(在設(shè)置-server -Xmx64m -Xms64m -Xmn32m的情況下)。
接著編寫SXSSFWorkbook操作excel的測(cè)試,測(cè)試方法writeHugeExcelTest(同樣在設(shè)置-server -Xmx64m -Xms64m -Xmn32m的情況下),結(jié)果證明無(wú)內(nèi)存溢出,能完好的導(dǎo)出1000000行測(cè)試數(shù)據(jù),整個(gè)Java類代碼如下:
4.單元測(cè)試Java代碼
package cn.gzsendi.exceltest;
import java.io.FileOutputStream;
import java.io.IOException;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.junit.Test;
public class HugeExcelExportTest {
private int totalRowNumber = 1000000; //寫入的excel數(shù)據(jù)行數(shù)
private int totalCellNumber = 40; //excel每行共40列
//普通的寫入excel的方法,會(huì)消耗內(nèi)存,寫入的行數(shù)太大時(shí),會(huì)報(bào)內(nèi)存溢出
@Test
public void writeNormalExcelTest(){
Workbook wb = null;
FileOutputStream out = null;
try {
long startTime = System.currentTimeMillis();
wb = new XSSFWorkbook();
Sheet sheet = wb.createSheet("Sheet 1");
//定義Row和Cell變量, Rows從0開(kāi)始.
Row row;
Cell cell;
for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
row = sheet.createRow(rowNumber);
for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
cell = row.createCell(cellNumber);
cell.setCellValue(Math.random()); //寫入一個(gè)隨機(jī)數(shù)
}
//打印測(cè)試,
if(rowNumber % 10000 ==0) {
System.out.println(rowNumber);
}
}
//Write excel to a file
out = new FileOutputStream("d:\\temp\\normalExcel_" + totalRowNumber + ".xlsx");
wb.write(out);
long endTime = System.currentTimeMillis();
System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if(out != null) out.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
if(wb != null) wb.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
//結(jié)合臨時(shí)文件壓縮等寫入excel,默認(rèn)超過(guò)100行就寫到臨時(shí)文件,不會(huì)報(bào)內(nèi)存溢出
@Test
public void writeHugeExcelTest(){
SXSSFWorkbook wb = null;
FileOutputStream out = null;
try {
long startTime = System.currentTimeMillis();
wb = new SXSSFWorkbook();//默認(rèn)100行,超100行將寫入臨時(shí)文件
wb.setCompressTempFiles(false); //是否壓縮臨時(shí)文件,否則寫入速度更快,但更占磁盤,但程序最后是會(huì)將臨時(shí)文件刪掉的
Sheet sheet = wb.createSheet("Sheet 1");
//定義Row和Cell變量, Rows從0開(kāi)始.
Row row;
Cell cell;
for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
row = sheet.createRow(rowNumber);
for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
cell = row.createCell(cellNumber);
cell.setCellValue(Math.random()); //寫入一個(gè)隨機(jī)數(shù)
}
//打印測(cè)試,
if(rowNumber % 10000 ==0) {
System.out.println(rowNumber);
}
}
//Write excel to a file
out = new FileOutputStream("d:\\temp\\hugeExcel_" + totalRowNumber + ".xlsx");
wb.write(out);
long endTime = System.currentTimeMillis();
System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
} catch (Exception ex) {
ex.printStackTrace();
} finally {
if (wb != null) {
wb.dispose();// 刪除臨時(shí)文件,很重要,否則磁盤可能會(huì)被寫滿
}
try {
if(out != null) out.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
if(wb != null) wb.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
5.結(jié)論
導(dǎo)出excel數(shù)據(jù)量大時(shí),采用SXSSFWorkbook進(jìn)行操作,數(shù)據(jù)達(dá)到一定數(shù)據(jù)將寫數(shù)據(jù)到臨時(shí)文件,不會(huì)一直占用內(nèi)存,因此不會(huì)報(bào)內(nèi)存溢出
到此這篇關(guān)于Java通過(guò)導(dǎo)出超大Excel文件解決內(nèi)存溢出問(wèn)題的文章就介紹到這了,更多相關(guān)Java導(dǎo)出超大Excel文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
JVM內(nèi)存溢出和內(nèi)存泄漏的區(qū)別及說(shuō)明
這篇文章主要介紹了JVM內(nèi)存溢出和內(nèi)存泄漏的區(qū)別及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
基于Java+SpringBoot實(shí)現(xiàn)人臉識(shí)別搜索
人臉識(shí)別搜索技術(shù)作為現(xiàn)代計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向之一,已經(jīng)在多個(gè)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力,隨著信息技術(shù)的飛速發(fā)展,人臉識(shí)別搜索在多個(gè)領(lǐng)域得到了廣泛關(guān)注和應(yīng)用,本文旨在探討人臉識(shí)別搜索技術(shù)的背景、原理以及其在實(shí)際應(yīng)用中的意義和挑戰(zhàn)2023-08-08
Spring Data JPA帶條件分頁(yè)查詢實(shí)現(xiàn)原理
這篇文章主要介紹了Spring Data JPA帶條件分頁(yè)查詢實(shí)現(xiàn)原理,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
Java中如何利用Set判斷List集合中是否有重復(fù)元素
在開(kāi)發(fā)工作中,我們有時(shí)需要去判斷List集合中是否含有重復(fù)的元素,這時(shí)候我們不需要找出重復(fù)的元素,我們只需要返回一個(gè)?Boolean?類型就可以了,下面通過(guò)本文給大家介紹Java中利用Set判斷List集合中是否有重復(fù)元素,需要的朋友可以參考下2023-05-05
MyBatis自定義映射關(guān)系和關(guān)聯(lián)查詢實(shí)現(xiàn)方法詳解
這篇文章主要介紹了MyBatis自定義映射關(guān)系和關(guān)聯(lián)查詢實(shí)現(xiàn)方法,當(dāng)POJO屬性名與數(shù)據(jù)庫(kù)列名不一致時(shí),需要自定義實(shí)體類和結(jié)果集的映射關(guān)系,在MyBatis注解開(kāi)發(fā)中,使用@Results定義并使用自定義映射,使用 @ResultMap使用自定義映射2023-04-04
詳解java中Reference的實(shí)現(xiàn)與相應(yīng)的執(zhí)行過(guò)程
不知道大家知不知道特殊的reference對(duì)象都是被jvm專門處理的,所以這篇文章就相應(yīng)的工作流程和referencequeue之間的協(xié)作進(jìn)行梳理.有需要的朋友們可以參考借鑒。2016-09-09

