ETL工具Kettle自動(dòng)生成報(bào)表郵件

IT那活兒發(fā)布于2023-01-11 13:20 / 2325人閱讀

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

kettle介紹

ETL 是Extract-Transform-Load三個(gè)單詞的簡(jiǎn)稱，即抽取、轉(zhuǎn)換、加載。使用ETL工具可以完成從目標(biāo)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取，經(jīng)過(guò)一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型并加載到數(shù)據(jù)庫(kù)中。

Kettle是開(kāi)源ETL工具，提供一系列的組件用于完成各種抽取、轉(zhuǎn)換、加載的工作。

Kettle中兩個(gè)核心是轉(zhuǎn)換(transformation)與作業(yè)(job)：

轉(zhuǎn)換即完成數(shù)據(jù)ETL工作；
作業(yè)即定義一個(gè)完成整個(gè)工作流的控制。

注：Kettle如何發(fā)送郵件可查看之前發(fā)布的《ETL工具Kettle發(fā)送郵件》文章。

項(xiàng)目背景

業(yè)務(wù)人員日常需要通過(guò)手工統(tǒng)計(jì)加工的方式進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和分析，通過(guò)Kettle進(jìn)行自動(dòng)化的定期對(duì)數(shù)據(jù)數(shù)據(jù)抽取、加工和匯總，需要用到關(guān)鍵的技術(shù)是通過(guò)傳參將處理數(shù)據(jù)每次更新到每一期的郵件，實(shí)現(xiàn)采集、加工和統(tǒng)計(jì)匯總的自動(dòng)化。

自動(dòng)生成報(bào)表

1. kettle發(fā)送郵件正文處添加表格

Kettle發(fā)送郵件正文處添加表格，是指將數(shù)據(jù)庫(kù)里面的數(shù)據(jù)通過(guò)kettle組件進(jìn)行抽取出來(lái)，按照所需要的格式以及排版轉(zhuǎn)換成表格形式，在發(fā)送郵件時(shí)展示到郵件正文處，方便收件人更加直觀的看到所需數(shù)據(jù)。

圖1: Kettle發(fā)送郵件正文處添加表格流程圖

2. kettle發(fā)送郵件正文處添加表格步驟詳解

1）Start：開(kāi)始執(zhí)行作業(yè)

2）設(shè)置昨日日期變量-轉(zhuǎn)換：獲取時(shí)間日期，按照需要的格式進(jìn)行加工并設(shè)置為變量，供其他組件使用。

圖2: 昨日日期變量

獲取系統(tǒng)信息：可以獲取當(dāng)前系統(tǒng)時(shí)間、昨日時(shí)間、明天時(shí)間、本月/上月/下個(gè)月月初/末等時(shí)間。
字段選擇：可以對(duì)獲取到的系統(tǒng)時(shí)間按照業(yè)務(wù)需求設(shè)置格式，例如：yyyyMMdd、MM-dd-yyyy HH:mm:ss。
設(shè)置變量：將獲取到的系統(tǒng)時(shí)間設(shè)置為變量，供后面的組件使用，例如：獲取昨天時(shí)間，設(shè)置的變量名為：ZTDATE，使用該變量時(shí)的格式為：${ ZTDATE }。

3）數(shù)據(jù)轉(zhuǎn)換：從目標(biāo)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取，經(jīng)過(guò)一系列的數(shù)據(jù)轉(zhuǎn)換，最終形成需要的數(shù)據(jù)模型。例如：將數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換成文件形式、將文件形式的數(shù)據(jù)轉(zhuǎn)換加載到數(shù)據(jù)庫(kù)、將數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換設(shè)置為變量來(lái)使用等。本文是將數(shù)據(jù)庫(kù)中的數(shù)據(jù)以HTML格式輸出，并設(shè)置成變量展示到郵件正文處。

圖3:數(shù)據(jù)轉(zhuǎn)換

表輸入：用來(lái)查詢數(shù)據(jù)庫(kù)數(shù)據(jù)的組件。選擇數(shù)據(jù)表來(lái)源數(shù)據(jù)庫(kù)，可以獲取SQL查詢語(yǔ)句或根據(jù)業(yè)務(wù)需求自定義SQL語(yǔ)句。
本文中是用拼接的形式將HTML中所用的標(biāo)簽進(jìn)行拼接，最終用聚合函數(shù)string_agg(expression,delimiter)將多行數(shù)據(jù)合并成一行。
其中，expression是指需要合并的字段名，delimiter是指合并時(shí)用什么分隔符進(jìn)行分割，例如可為空格、逗號(hào)、分號(hào)等自定義字符。