摘要：消費(fèi)之后，多線程處理文件導(dǎo)出，生成文件后上傳到等文件服務(wù)器。前端直接查詢并且展現(xiàn)對(duì)應(yīng)的任務(wù)執(zhí)行列表，去等文件服務(wù)器下載文件即可。這客戶體驗(yàn)不友好，而且網(wǎng)絡(luò)傳輸，系統(tǒng)占用多種問(wèn)題。拓展閱讀導(dǎo)出最佳實(shí)踐框架

產(chǎn)品經(jīng)理需要導(dǎo)出一個(gè)頁(yè)面的所有的信息到 EXCEL 文件。

對(duì)于 excel 導(dǎo)出，是一個(gè)很常見(jiàn)的需求。

最常見(jiàn)的解決方案就是使用 poi 直接同步導(dǎo)出一個(gè) excel 文件。

客戶體驗(yàn)

如果導(dǎo)出的文件比較大，比如幾十萬(wàn)條數(shù)據(jù)，同步導(dǎo)出頁(yè)面就會(huì)卡主，用戶無(wú)法進(jìn)行其他操作。

服務(wù)性能

導(dǎo)出的時(shí)候，任務(wù)比較耗時(shí)就會(huì)阻塞主線程。

如果導(dǎo)出的服務(wù)是暴露給外部（前后端分離），這種大量的數(shù)據(jù)傳輸十分消耗性能。

使用異常處理導(dǎo)出請(qǐng)求，后臺(tái) MQ 通知自己進(jìn)行處理。

MQ 消費(fèi)之后，多線程處理 excel 文件導(dǎo)出，生成文件后上傳到 FTP 等文件服務(wù)器。

前端直接查詢并且展現(xiàn)對(duì)應(yīng)的任務(wù)執(zhí)行列表，去 FTP 等文件服務(wù)器下載文件即可。

正常的 poi 在處理比較大的 excel 的時(shí)候，會(huì)出現(xiàn)內(nèi)存溢出。

網(wǎng)上的解決方案也比較多。

比如官方的 SXSSF (Since POI 3.8 beta3) 解決方式。

或者使用封裝好的包

easypoi ExcelBatchExportServer

hutool BigExcelWriter

原理都是強(qiáng)制使用 xssf 版本的Excel。

你也可以使用 easyexcel，當(dāng)然這個(gè)注釋文檔有些欠缺，而且設(shè)計(jì)的比較復(fù)雜，不是很推薦。

我這里使用的是 hutool BigExcelWriter，
懶得自己再寫一遍。

如果一次查詢 100W 條數(shù)據(jù)庫(kù)，然后把這些信息全部加載到內(nèi)存中，是不可取的。

建議有2個(gè)：

限制每一次分頁(yè)的數(shù)量。比如一次最多查詢 1w 條。分成 100 次查詢。(必須)

限制查詢得總條數(shù)。比如限制為最多 10W 條。（根據(jù)實(shí)際情況選擇）

雖然使用者提出要導(dǎo)出類似于 3 個(gè)月的所有信息，但是數(shù)量太多，毫無(wú)意義。(提出者自己可能體會(huì)不到)

盡量避免 FULL-GC 的情況發(fā)生，因?yàn)槟壳暗乃蟹绞綄?duì)于 excel 的輸出流都會(huì)占用內(nèi)存，100W 條很容易導(dǎo)致 FULL-GC。

去數(shù)據(jù)庫(kù)讀取的時(shí)候一定要記得分頁(yè)，免得給數(shù)據(jù)庫(kù)太大的壓力。

一次讀取太多，也會(huì)導(dǎo)致內(nèi)存直線上升。

比如 100W 條數(shù)據(jù)，則分成 100 次去數(shù)據(jù)庫(kù)讀取。

傳統(tǒng)的 excel 導(dǎo)出，都是前端一個(gè)請(qǐng)求，直接 HTTP 同步返回。導(dǎo)出 100W 條，就在那里傻等。

這客戶體驗(yàn)不友好，而且網(wǎng)絡(luò)傳輸，系統(tǒng)占用多種問(wèn)題。

建議使用異步處理的方式，將文件上傳到文件服務(wù)器。前端直接去文件服務(wù)器讀取。

對(duì)于上面提到的工具，比如 Hutool，在表頭的處理方面沒(méi)法很方便的統(tǒng)一。

你可以自己定義類似于 easypoi/easyexcel 中的注解，自己反射解析。

然后統(tǒng)一處理表頭即可。

OO 的方式操作 excel，編程更加方便優(yōu)雅。

sax 模式讀取，SXSS 模式寫入。避免 excel 大文件 OOM。

基于注解，編程更加靈活。

寫入可以基于對(duì)象列表，也可以基于 Map，實(shí)際使用更加方便。

設(shè)計(jì)簡(jiǎn)單，注釋完整。方便大家學(xué)習(xí)改造。

讀取跳過(guò)空白行

excel 樣式相關(guān)的注解開發(fā)

實(shí)際工作和學(xué)習(xí)中，apache poi 操作 excel 過(guò)于復(fù)雜。

近期也看了一些其他的工具框架：

easypoi

easyexcel

hutool-poi

都或多或少難以滿足自己的實(shí)際需要，于是就自己寫了一個(gè)操作 excel 導(dǎo)出的工具。

使用 maven 管理。

     com.github.houbb
     iexcel
     0.0.2

你可以直接參考 ExcelUtilTest.java

定義一個(gè)需要寫入/讀取的 excel 對(duì)象。

ExcelFieldModel.java

只有聲明了 @ExcelField 的屬性才會(huì)被處理，使用說(shuō)明：@ExcelField

public class ExcelFieldModel {

    @ExcelField
    private String name;

    @ExcelField(headName = "年齡")
    private String age;

    @ExcelField(mapKey = "EMAIL", writeRequire = false, readRequire = false)
    private String email;

    @ExcelField(mapKey = "ADDRESS", headName = "地址", writeRequire = true)
    private String address;
    
    //getter and setter
}

IExcelWriter 有幾個(gè)實(shí)現(xiàn)類，你可以直接 new 或者借助 ExcelUtil 類去創(chuàng)建。

IExcelWriter 接口說(shuō)明

excelWriter03Test()

一個(gè)將對(duì)象列表寫入 2003 excel 文件的例子。

/**
 * 寫入到 03 excel 文件
 */
@Test
public void excelWriter03Test() {
    // 待生成的 excel 文件路徑
    final String filePath = "excelWriter03.xls";

    // 對(duì)象列表
    List models = buildModelList();

    try(IExcelWriter excelWriter = ExcelUtil.get03ExcelWriter();
        OutputStream outputStream = new FileOutputStream(filePath)) {
        // 可根據(jù)實(shí)際需要，多次寫入列表
        excelWriter.write(models);

        // 將列表內(nèi)容真正的輸出到 excel 文件
        excelWriter.flush(outputStream);
    } catch (IOException e) {
        throw new ExcelRuntimeException(e);
    }
}

buildModelList()

/**
 * 構(gòu)建測(cè)試的對(duì)象列表
 * @return 對(duì)象列表
 */
private List buildModelList() {
    List models = new ArrayList<>();
    ExcelFieldModel model = new ExcelFieldModel();
    model.setName("測(cè)試1號(hào)");
    model.setAge("25");
    model.setEmail("123@gmail.com");
    model.setAddress("貝克街23號(hào)");

    ExcelFieldModel modelTwo = new ExcelFieldModel();
    modelTwo.setName("測(cè)試2號(hào)");
    modelTwo.setAge("30");
    modelTwo.setEmail("125@gmail.com");
    modelTwo.setAddress("貝克街26號(hào)");

    models.add(model);
    models.add(modelTwo);
    return models;
}

有時(shí)候列表只寫入一次很常見(jiàn)，所有就簡(jiǎn)單的封裝了下：

/**
 * 只寫入一次列表
 * 其實(shí)是對(duì)原來(lái)方法的簡(jiǎn)單封裝
 */
@Test
public void onceWriterAndFlush07Test() {
    // 待生成的 excel 文件路徑
    final String filePath = "onceWriterAndFlush07.xlsx";

    // 對(duì)象列表
    List models = buildModelList();

    // 對(duì)應(yīng)的 excel 寫入對(duì)象
    IExcelWriter excelWriter = ExcelUtil.get07ExcelWriter();

    // 只寫入一次列表
    ExcelUtil.onceWriteAndFlush(excelWriter, models, filePath);
}

excel 讀取時(shí)會(huì)根據(jù)文件名稱判斷是哪個(gè)版本的 excel。

IExcelReader 有幾個(gè)實(shí)現(xiàn)類，你可以直接 new 或者借助 ExcelUtil 類去創(chuàng)建。

IExcelReader 接口說(shuō)明

/**
 * 讀取測(cè)試
 */
@Test
public void readWriterTest() {
    File file = new File("excelWriter03.xls");
    IExcelReader excelReader = ExcelUtil.getExcelReader(file);
    List models = excelReader.readAll(ExcelFieldModel.class);
    System.out.println(models);
}

@ExcelField 的屬性說(shuō)明如下：

/**
 * 寫出數(shù)據(jù)，本方法只是將數(shù)據(jù)寫入Workbook中的Sheet，并不寫出到文件

 * 

 * data中元素支持的類型有：
 *  
 * 1. Bean，既元素為一個(gè)Bean，第一個(gè)Bean的字段名列表會(huì)作為首行，剩下的行為Bean的字段值列表，data表示多行 

 * 
 * @param data 數(shù)據(jù)
 * @return this
 */
IExcelWriter write(Collection data);

/**
 * 寫出數(shù)據(jù)，本方法只是將數(shù)據(jù)寫入Workbook中的Sheet，并不寫出到文件

 *  將 map 按照 targetClass 轉(zhuǎn)換為對(duì)象列表
 *  應(yīng)用場(chǎng)景: 直接 mybatis mapper 查詢出的 map 結(jié)果，或者其他的構(gòu)造結(jié)果。
 * @param mapList map 集合
 * @param targetClass 目標(biāo)類型
 * @return this
 */
IExcelWriter write(Collection> mapList, final Class targetClass);

/**
 * 將Excel Workbook刷出到輸出流
 *
 * @param outputStream 輸出流
 * @return this
 */
IExcelWriter flush(OutputStream outputStream);

創(chuàng)建 IExcelWriter 的時(shí)候，可以指定 sheet 的下標(biāo)或者名稱。來(lái)指定寫入的 sheet。

創(chuàng)建 IExcelWriter 的后，可以調(diào)用 excelWriter.containsHead(bool) 指定是否生成 excel 表頭。

/**
 * 讀取當(dāng)前 sheet 的所有信息
 * @param tClass 對(duì)應(yīng)的 javabean 類型
 * @return 對(duì)象列表
 */
List readAll(Class tClass);

/**
 * 讀取指定范圍內(nèi)的
 * @param tClass 泛型
 * @param startIndex 開始的行信息(從0開始)
 * @param endIndex 結(jié)束的行信息
 * @return 讀取的對(duì)象列表
 */
List read(Class tClass, final int startIndex, final int endIndex);

創(chuàng)建 IExcelReader 的時(shí)候，可以指定 sheet 的下標(biāo)或者名稱。來(lái)指定讀取的 sheet。

注意：大文件 sax 讀取模式，只支持指定 sheet 的下標(biāo)。

創(chuàng)建 IExcelReader 的后，可以調(diào)用 excelReader.containsHead(bool) 指定是否讀取 excel 表頭。

excel 導(dǎo)出最佳實(shí)踐

iexcel 框架