摘要:閱讀原文如何高效導(dǎo)出百萬級(jí)數(shù)據(jù)在一個(gè)具有統(tǒng)計(jì)功能的系統(tǒng)中,導(dǎo)出功能幾乎是一定的,如何導(dǎo)出導(dǎo)出的數(shù)據(jù)有多少如何高效的導(dǎo)出簡介什么是就不用介紹了,這里主要說明不同版本下每個(gè)下的行列限制。
閱讀原文:POI如何高效導(dǎo)出百萬級(jí)Excel數(shù)據(jù)?
在一個(gè)具有統(tǒng)計(jì)功能的系統(tǒng)中,導(dǎo)出excel功能幾乎是一定的,如何導(dǎo)出excel?導(dǎo)出的數(shù)據(jù)有多少?如何高效的導(dǎo)出?
Excel簡介
什么是excel就不用介紹了,這里主要說明不同版本下每個(gè)sheet下的行列限制。
版本區(qū)間 | 行數(shù) | 列數(shù) | 生成文件后綴 |
---|---|---|---|
Excel 2003及以下 | 65535 | 256 | xls |
Excel 2007及以上 | 1048576 | 16384 | xlsx |
由上面可知 Excel 2003及以下是無法實(shí)現(xiàn)單sheet百萬級(jí)的數(shù)據(jù)。
Apache POI
簡介
Apache POI 是用Java編寫的免費(fèi)開源的跨平臺(tái)的 Java API,Apache POI提供API給Java程式對(duì)Microsoft Office(Excel、WORD、PowerPoint、Visio等)格式檔案讀和寫的功能。POI為“Poor Obfuscation Implementation”的首字母縮寫,意為“可憐的模糊實(shí)現(xiàn)”。
常用類
HSSF - 提供讀寫Microsoft Excel XLS格式檔案的功能。
XSSF - 提供讀寫Microsoft Excel OOXML XLSX格式檔案的功能。
SXSSF - 一種基于XSSF的低內(nèi)存占用的API(3.8版本開始出現(xiàn))。
HWPF - 提供讀寫Microsoft Word DOC97格式檔案的功能。
XWPF - 提供讀寫Microsoft Word DOC2003格式檔案的功能。
HSLF - 提供讀寫Microsoft PowerPoint格式檔案的功能。
HDGF - 提供讀Microsoft Visio格式檔案的功能。
HPBF - 提供讀Microsoft Publisher格式檔案的功能。
HSMF - 提供讀Microsoft Outlook格式檔案的功能。
我們這里是導(dǎo)出Excel,所以使用的是前三個(gè)。
導(dǎo)出策略
方案
使用XSSF和SXSSF分別導(dǎo)入1w,10w,100w數(shù)據(jù)
使用SXSSF,SXSSF以10w分頁,SXSSF多線程以10w分頁導(dǎo)入100w數(shù)據(jù)
性能對(duì)比
時(shí)間不包含網(wǎng)絡(luò)耗時(shí)
圖片描述
類型 | 1w條/時(shí)間 | 10w條/時(shí)間 | 100w條/時(shí)間 |
---|---|---|---|
XSSF | 1331ms | 10496ms | 小心電腦
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。 轉(zhuǎn)載請(qǐng)注明本文地址:http://www.ezyhdfw.cn/yun/73612.html 相關(guān)文章
發(fā)表評(píng)論0條評(píng)論![]() lemanli男|高級(jí)講師TA的文章閱讀更多
閱讀需要支付1元查看
|