【昕宝爸爸小模块】深入浅出之为什么POI的SXSSFWorkbook占用内存更小

在这里插入图片描述


➡️博客首页       https://blog.csdn.net/Java_Yangxiaoyuan


       欢迎优秀的你👍点赞、🗂️收藏、加❤️关注哦。


       本文章CSDN首发,欢迎转载,要注明出处哦!


       先感谢优秀的你能认真的看完本文,有问题欢迎评论区交流,都会认真回复!


🔓为什么POI的SXSSFWorkbook占用内存更小?

  • 🏆POI的SXSSFWorkbook
  • 🏆POI的SXSSFWorkbook占用内存
  • 🏆扩展
    • 配置行缓存限制

🏆POI的SXSSFWorkbook

SXSSFWorkbook类是Apache POI库的一部分,它是一个流行的Java库,用于读写Microsoft Office文件。

SXSSFWorkbook类代表XSSFWorkbook类的流版本,用于创建和操作Excel(.xlsx)文件。

通过使用SXSSFWorkbook类,您可以处理大型Excel文件而不会遇到OutOfMemoryError,因为它将数据写入临时文件而不是全部保存在内存中。这使得处理大型数据集时非常高效。

以下是使用SXSSFWorkbook创建Excel文件的示例:


import org.apache.poi.xssf.streaming.SXSSFWorkbook;import org.apache.poi.xssf.usermodel.XSSFSheet;import org.apache.poi.xssf.usermodel.XSSFRow;import org.apache.poi.xssf.usermodel.XSSFCell;import java.io.FileOutputStream;public class ExcelWriter {public static void main(String[] args) {try (SXSSFWorkbook workbook = new SXSSFWorkbook(); // 创建一个SXSSFWorkbook对象FileOutputStream outputStream = new FileOutputStream("output.xlsx")) { // 创建一个文件输出流XSSFSheet sheet = workbook.createSheet("Sheet1"); // 创建一个名为"Sheet1"的工作表// 创建行和单元格for (int rowNum = 0; rowNum < 10; rowNum++) {XSSFRow row = sheet.createRow(rowNum); // 创建一行for (int cellNum = 0; cellNum < 5; cellNum++) {XSSFCell cell = row.createCell(cellNum); // 创建一个单元格cell.setCellValue("Row " + rowNum + ", Cell " + cellNum); // 设置单元格的值}}workbook.write(outputStream); // 将工作簿写入文件} catch (Exception e) {e.printStackTrace();}}
}

在这个示例中,我们创建了一个新的SXSSFWorkbook,然后在其中创建了一个sheet,并将sheet填充了行和单元格。最后,我们使用FileOutputStream将工作簿写入输出文件中。

🏆POI的SXSSFWorkbook占用内存

SXSSFWorkbook 类是为了处理大型 Excel 文件而设计的。它的实现原理是通过将部分数据写入磁盘上的临时文件来减少内存占用

在SXSSFWorkbook类中,有一个类叫做sheetDataWriter,这个类的作用就是将部分数据写入磁盘上的临时文件的

public class SXSSFWorkbook implements Workbook {protected SheetDatalriter createSheetDatawriter() throws IOException {if( compressTmpFiles) {return new GZIPSheetDatawriter( sharedStringSource);}return new SheetDatawriter( sharedStringSource);}
}

写入过程是在 SheetDataWriter 的 writeRow 方法中实现的。此方法会被 SXSSFSheet 调用,以将行数据转换成XML 并写入临时文件。

public void writeRow(int rownum,SXSSFRow row) throws IOException {if ( numberOfFlushedRows == 0) _lowestIndex0fFlushedRows = rownum;_numberLastFlushedRow = Math.max(rownum, numberLastFlushedRow);_numberOfCellsOfLastFlushedRow = row.getLastCellNum();_numberOfFlushedRows++;beginRow(rownum, row);Iterator<Cel1> cells = row.allCellsIterator();int columnIndex = 0;while (cells.hasNext()) {writeCell(columnIndex++, cells.next());}endRow();
}

writeRow()方法会循环调用writeCell()方法:

 public void writeCell(int columnIndex,Cell cell) throws IOException {if (cell == null) {return;}String ref = new CellReference( rownum, columnIndex).formatAsString();_out.write("<c");writeAttribute("r", ref);Cellstyle cellstyle = cell.getCellstyle();if (cellstyle.getIndex() != ) {// need to convert the short to unsigned short as the indexes can be up to 64k// ideally we would use int for this index, but that would need changes to some more//APIswriteAttribute("s"Integer.toString(cellStyle.getIndex() & 0xffff));}CellType cellType = cel1.getCellType();switch (cellType) {case BLANK: {_out.write('>');break;}case FORMULA: {switch(cell.getCachedFormulaResultType()) {case NUMERIC:writeAttribute("t","n");break;case STRING:writeAttribute("t"STCellType.STR.toString());break;case BOOLEAN:writeAttribute("t""b");break;case ERROR:writeAttribute("t""e");break;}_out.write("><f>");outputQuotedString(cell.getCellFormula());_out.write("</f>"):switch (cell.getCachedFormulaResultType()) {case NUMERIC:double nval = cell.getNumericCellValue();if (!Double.isNaN(nval)) {_out.write("<v>");_out.write(Double.tostring(nval));_out.write("</v>");}break;case STRING:String value = cell.getstringCellValue();if(value != null && !value.isEmpty()) {_out.write("<v>");_out.write(value);_out.write("</v>");}break;case BOOLEAN:_out.write("><v>");_out.write(cell.getBooleanCellValue() ?1:"0");_out.write("</v>");break;case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());_out.write("><v>");_out.write(error.getString());_out.write("</v>");break;}}break;}case STRING:  {if ( sharedStringSource != null) {XSSFRichTextString rt = new XSSFRichTextString(cell.getStringCellValue());int sRef = sharedStringSource.addSharedStringItem(rt);writeAttribute("t"STCellType.s.toString());_out.write("><v>");_out.write(String.value0f(sRef));_out.write("</v>");} else {writeAttribute("t","inlineStr");_out.write("><is><t");if (hasLeadingTrailingSpaces(cell.getStringCellValue())) {writeAttribute("xml:space","preserve");}out .write(">");outputQuotedstring(cell.getstringCellValue());_out.write("</t></is>");}break;}case NUMERIC: {writeAttribute("t""n");_out.write("><v>");_out.write(Double.toString(cell.getNumericCellValue()));_out .write("</v>) ;break;}case BOOLEAN: {writeAttribute("t""b");_out .write("><v>) ;_out.write(cell.getBooleanCellValue() ?"1” :"0");out.write("</v>");break;}case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());writeAttribute("t","e");_out .write("><v>);_out.write(error.getstring());_out.write("</v>");break;}default: {throw new IllegalStateException("Invalid cell type: " + cellType);}}_out.write("</c>");}

在这个方法中,数据会在 out.write(…) 调用时写入磁盘,这里的_out其实就是一个写入磁盘文件的Writer,他的write方法就会把内容写入到临时文件中。

我尝试着在 out初始化的地方,也就是:

public SheetDatawriter() throws IOException {_fd = createTempFile();_out = createWriter( fd);
}

中加了断点,就能在运行过程中找到这个临时文件,tail一下临时文件就会发现它不断地有文件写入。

在这里插入图片描述
感兴趣的也可以debug看一下这个临时文件的内容,其实它就是一个xml文件,然后写入的就是我们excel中的内容。

在这里插入图片描述
所以,在SXSSFWorkbook中,我们在写入文件时,并不是把所有内容都暂留在内存内,而是会把部分数据写入临时文件,来减少对内存的占用,内存中只保留当前的一部分数据,这样就可以避免内存溢出的问题了。

🏆扩展

配置行缓存限制

我们可以主动设置行缓存限制,超过这个限制的数据将被写入磁盘上的临时文件。在创建SXSSFWorkbook的时候,可以指定rowAccessWindowSize来实现。

/*** Construct an empty workbook and specify the window for row access.* <p>* When a new node is created via (@link SXSSFSheet#createRow) and the total number* of unflushed records would exceed the specified value, then the* row with the lowest index value is flushed and cannot be accessed*  via f@link SXSSFSheet#getRow] anymore.* </p>* <p>* A value of <code>-1</code> indicates unlimited access. In this case all* records that have not been flushed by a call to <code>flush()</code> are available* for random access.* </p>* <p>* A value of <code>0</code> is not allowed because it would flush any newly created row* without having a chance to specify any cells.* </p>* @param rowAccesslindowSize the number of rows that are kept in memory until flushed out , see above.*/public SXSSFWorkbook(int rowAccesswindowSize){this(null /*workbook*/, rowAccessWindowSize):}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/244554.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python爬虫之协程

Python爬虫之协程 为什么要用协程 协程声明 await aiohttp aiofiles 案例修改 案例完整代码 为什么要用协程 轻量级&#xff1a;协程是轻量级的执行单元&#xff0c;可以在同一个线程中并发执行。相比于多线程或多进程&#xff0c;创建和切换协程的开销更小。高效利用资源&…

Git 入门精讲

我们为什么要学习git&#xff1f; 就当下的发展而言&#xff0c;只要你从事开发就一定会接触git。作为最强大的分布式版本控制器&#xff0c;git 与 svn 有着本质上的区别。 Git是一种分布式版本控制系统&#xff0c;每个开发者都可以在本地维护完整的代码库&#xff0c;可以离…

Nas-FPN(CVPR 2019)原理与代码解析

paper&#xff1a;NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection third-party implementation&#xff1a;https://github.com/open-mmlab/mmdetection/tree/main/configs/nas_fpn 本文的创新点 本文采用神经网络结构搜索&#xff08;Neur…

ctfshow-反序列化(web267-web270)

目录 web267 web268 web269 web270 总结 web267 页面用的什么框架不知道 看源码看一下 框架就是一种软件工具&#xff0c;它提供了一些基础功能和规范&#xff0c;可以帮助开发者更快地构建应用程序。比如Yii框架和ThinkPHP框架就是两个流行的PHP框架&#xff0c;它们提供…

SpringBoot集成mybatis时idea控制台中文乱码问题解决

在application.yml中配置好映射文件打印数据库日志文件时&#xff0c;控制台出现乱码的情况解决如下 问题 在执行查询操作的时候&#xff0c;查询时可以查看是没有问题的&#xff0c;但是控制台乱码了 解决 在File-Setting-Editor-File Encodings中设置如图所示就可以了 现在…

激光无人机打击系统——光束控制和指向系统

激光无人机&#xff08;UAV&#xff09;打击系统中的光束控制和指向系统通常包括以下几个关键组件和技术&#xff1a; 激光发射器&#xff1a;这是系统的核心&#xff0c;负责生成高能量的激光束。常用的激光类型包括固体激光器、化学激光器、光纤激光器等&#xff0c;选择取决…

Hive-SQL语法大全

Hive SQL 语法大全 基于语法描述说明 CREATE DATABASE [IF NOT EXISTS] db_name [LOCATION] path; SELECT expr, ... FROM tbl ORDER BY col_name [ASC | DESC] (A | B | C)如上语法&#xff0c;在语法描述中出现&#xff1a; []&#xff0c;表示可选&#xff0c;如上[LOCATI…

学单片机前先学什么?

学单片机前先学什么&#xff1f; 在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「单片机的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff…

[计算机网络]基本概念

目录 1.ip地址和端口号 1.1IP地址 1.2端口号 2.认识协议 2.1概念&#xff1a; 2.2知名协议的默认端口 3.五元组 4.协议分层 4.1分层的作用 4.2OSI七层模型 4.3TCP/IP五层&#xff08;四层&#xff09;模型 ​编辑4.4网络设备对应的分层&#xff1a; ​编辑以下为跨…

使用PHP自定义一个加密算法,实现编码配合加密,将自己姓名的明文加密一下

<meta charset"UTF-8"> <?phpfunction customEncrypt($lin, $key mySecretKey){// 定义一个简单的替换规则$li array(L > M, I > Y, Y > O, A > N, E > Q, );$yan ;for($i 0; $i < strlen($lin); $i){$char $lin[$i];if(isset($li[…

这才是问界M9惊艳到你的10大配置

文 | AUTO芯球 作者 | 李诞 盘点M9的十项科技&#xff0c;看看有没有惊艳到你&#xff1f; 一、猫头转向&#xff0c;5米2的大型SUV转弯可5.8米&#xff0c; 比很多我们的额家用小车的转弯半径都小&#xff0c;好开。 二、大灯抠图&#xff0c;夜晚开启大灯可以不晃对面车的…

Python列表与元组

Python 列表和元组是Python编程语言中两种重要的数据结构&#xff0c;它们在实际的编程中扮演着不可或缺的角色。本文将深入探讨Python列表和元组的特性、用法以及它们之间的区别&#xff0c;帮助读者更好地理解和运用这两种数据结构。 Python 列表 Python 列表是一种有序、可…

SpringBoot+Vue充电桩管理系统 附带详细运行指导视频

文章目录 一、项目演示二、项目介绍三、运行截图四、主要代码1. 分页获取预约数据代码2.保存预约信息代码3.修改订单状态代码 一、项目演示 项目演示地址&#xff1a; 视频地址 二、项目介绍 项目描述&#xff1a;这是一个基于SpringBootVue框架开发的充电桩管理系统。首先&…

postgresql(Windows)初始化数据库教程

省流&#xff1a;本文章内容讲的是如何初始化postgresql数据库环境&#xff0c;前提是已经安装好postgresql数据库&#xff0c;安装步骤参考postgresql&#xff08;Windows&#xff09;安装教程 # 开始&#xff1a;安装postgresql-12.14-2-windows-x64.exe完成后进行初始化数据…

指针-回调函数

回调函数的含义 回调函数通常作为参数传递给其他函数&#xff0c;它是一个通过函数指针调用的函数。简单来说这个函数的作用就是用来在特殊的条件满足时用来调用其他函数的一个函数。 回调函数的使用 当相同或者相似的函数出现多份的时候&#xff0c;那么由于相同的部分出现…

【后端技术】术有千法,道本归一

目录 1.概述 2.机器的问题 2.1.计算 2.2.存储 2.3.传输 3.人的问题 3.1.代码工程的管理 3.2.过程的把控 4.总结 1.概述 术有千法&#xff0c;道本归一。 之所以这样说&#xff0c;是因为当前出现的纷繁复杂的后端技术&#xff0c;其本质其实都是为了解决同一套问题。…

Node.JS CreateWriteStream(大容量写入文件流优化)

Why I Need Node.JS Stream 如果你的程序收到以下错误&#xff0c;或者需要大容量写入很多内容(几十几百MB甚至GB级别)&#xff0c;则必须使用Stream文件流甚至更高级的技术。 Error: EMFILE, too many open files 业务场景&#xff0c;我们有一个IntradayMissingRecord的补…

Webpack5 基本使用 - 3(完结)

环境区分 可以定义多个配置文件&#xff0c;通过 webpack-merge 合并配置文件。 安装 webpack-merge yarn add webpack-merge公共配置 // webpack.common.js const path require(path) const HtmlWebpackPlugin require(html-webpack-plugin)module.exports {entry: path…

Spring第七天(AOP)

简介 AOP(Aspect Oriented Programing)面向切面编程&#xff0c;一种编程范式&#xff0c;指导开发者如何组织程序结构 作用 在不惊动原始设计的基础上为其进行功能增强 Spring理念&#xff1a;无入侵式/无侵入式 基本概念 连接点(JoinPoint) : 程序执行过程中的任意位置&a…

5分钟做自己的微信红包封面

文章目录 怎么制作自己的红包封面&#xff1f;开通红包封面的要求如下&#xff1a;收费情况制作具体网站&#xff1a;https://chatapi.onechat.fun/register?affYoU6 提交审核logo封面、挂件、气泡证明材料 发放红包封面其他 怎么制作自己的红包封面&#xff1f; 开通红包封面…