摘要：作為阿里云大數(shù)據(jù)旗艦產(chǎn)品，的級別性能處理達到了全球領先性，被評為全球云端數(shù)據(jù)倉庫領導者。天弘基金天弘基金旗下的余額寶，是中國規(guī)模最大的貨幣基金。場景二阿里云產(chǎn)品消費賬單分析準備工作完成案例中準備工作步驟。

摘要： 一、 MaxCompute是什么 你的OSS數(shù)據(jù)是否作堆積在一旁沉睡已久存儲成本變?yōu)槠髽I(yè)負擔你是否想喚醒沉睡的數(shù)據(jù)驅動你的業(yè)務前行MaxCompute可以幫助你高效且低成本的解決這些問題通過對海量數(shù)據(jù)進行分析和計算來實現(xiàn)勾勒用戶畫像、提升營銷轉化、挖掘產(chǎn)品優(yōu)化方向、預測業(yè)務發(fā)展等豐富的業(yè)務場景。

一、 MaxCompute是什么？

你的OSS數(shù)據(jù)是否作堆積在一旁沉睡已久，存儲成本變?yōu)槠髽I(yè)負擔？你是否想喚醒沉睡的數(shù)據(jù)，驅動你的業(yè)務前行？MaxCompute可以幫助你高效且低成本的解決這些問題，通過對海量數(shù)據(jù)進行分析和計算來實現(xiàn)勾勒用戶畫像、提升營銷轉化、挖掘產(chǎn)品優(yōu)化方向、預測業(yè)務發(fā)展等豐富的業(yè)務場景。

MaxCompute是一項提供快速、完全托管的EB級數(shù)據(jù)倉庫解決方案的大數(shù)據(jù)計算服務，可以高效并經(jīng)濟的分析處理海量數(shù)據(jù)。作為阿里云大數(shù)據(jù)旗艦產(chǎn)品，MaxCompute的EB級別性能處理達到了全球領先性，被Forrester評為全球云端數(shù)據(jù)倉庫領導者。同時，MaxCompute也是阿里巴巴內(nèi)部大數(shù)據(jù)旗艦平臺，阿里巴巴近99%的數(shù)據(jù)存儲以及95%的計算能力都在這個平臺上產(chǎn)生。

最近MaxCompute重磅推出了一項重要特性：OSS外表查詢功能。該功能可以幫助您直接對OSS中的海量文件進行查詢，而不必將數(shù)據(jù)加載到MaxCompute 表中，既節(jié)約了數(shù)據(jù)搬遷的時間和人力，也節(jié)省了多地存儲的成本。除此之外，MaxCompute外表查詢功能還擁有如下的優(yōu)勢：

1、MaxCompute是一個無服務器的分布式計算架構，無需用戶再額外維護和管理服務器基礎設施，能方便及時的為OSS用戶提供臨時按需的查詢服務，從而大大幫助企業(yè)節(jié)省成本。目前該功能處于公測階段，免費使用；

2、支持處理OSS上開源格式的結構化文件，包括：Avro、CSV、ORC、Parquet、RCFile、RegexSerDe、SequenceFile和TextFile，同時支持gzip壓縮格式；

3、提供靈活的用戶自定義代碼的處理框架，用來支持處理OSS上非結構化文件，用戶可以自行編寫代碼直接對OSS上的數(shù)據(jù)進行處理和計算。比如對OSS上的視頻，圖像，音頻，基因，氣象等數(shù)據(jù)進行特征提取和分析，可以支持豐富的第三方音視頻處理庫；

二、 客戶案例

1、華大基因

基因技術從實驗室逐漸進入生活場景，數(shù)據(jù)體量爆發(fā)式增長，遠超出傳統(tǒng)計算能力所能支持的范圍?；谶@樣的背景，華大選擇了MaxCompute。在百萬人基因組項目中，對人群結構的分析，oss存放了大量的fastq文件，傳統(tǒng)計算方式需3-5天，且需要將數(shù)據(jù)同步到數(shù)據(jù)倉庫，現(xiàn)在通過外表功能，MaxCompute可使整個分析在1小時內(nèi)完成，極大加速了數(shù)據(jù)吞吐和交付生產(chǎn)效率。

2、天弘基金

天弘基金旗下的余額寶，是中國規(guī)模最大的貨幣基金。除理財功能外，余額寶還是移動互聯(lián)網(wǎng)時代的現(xiàn)金管理工具。余額寶每天有大量的金融數(shù)據(jù)交換文件存放在oss上，需要進行超大文本文件的結構化分析，之前是把oss文件先下載到本地，然后再上傳到MaxCompute，鏈路長且效率不高?，F(xiàn)在oss上的大文件可以直接用外部表的方式加載到MaxCompute做分析，整個鏈路的效率得到了大幅提升。

三、 如何使用MaxCompute？

下面我們通過兩個簡單的示例，介紹如何通過MaxCompute外表功能實現(xiàn)對OSS數(shù)據(jù)的分析和處理。

場景一：物聯(lián)網(wǎng)采集數(shù)據(jù)分析

Step1：準備工作

1、開通OSS 、MaxCompute服務

您可以通過官網(wǎng)分別開通OSS、MaxCompute服務，并創(chuàng)建OSS bucket、MaxCompute Project。

2、采集數(shù)據(jù)到OSS

您可以使用任何數(shù)據(jù)集來執(zhí)行測試，以驗證我們在這篇文章中概述的最佳實踐。

本文準備一批 CSV 數(shù)據(jù)存在 OSS 上，endpoint 為oss-cn-beijing-internal.aliyuncs.com，bucket 為oss-odps-test，數(shù)據(jù)文件的存放路徑為/demo/vehicle.csv。

3、授權MaxCompute訪問OSS

MaxCompute需要直接訪問OSS的數(shù)據(jù)，前提需要將OSS的數(shù)據(jù)相關權限賦給MaxCompute的訪問賬號，可以直接登錄阿里云賬號后，點擊此處完成一鍵授權。

Step2：通過MaxCompute創(chuàng)建外部表

創(chuàng)建外部表，語句如下：

CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_csv_external

(

vehicleId int,

recordId int,

patientId int,

calls int,

locationLatitute double,

locationLongtitue double,

recordTime string,

direction string

)

STORED BY "com.aliyun.odps.CsvStorageHandler"

LOCATION "oss://oss-cn-beijing-internal.aliyuncs.com/oss-odps-test/Demo/";

Step3：通過MaxCompute查詢外部表

外部表創(chuàng)建成功后，便可如同普通表一樣使用這個外部表。假設/demo/vehicle.csv數(shù)據(jù)如下：

1,1,51,1,46.81006,-92.08174,9/14/2014 0:00,S

1,2,13,1,46.81006,-92.08174,9/14/2014 0:00,NE

1,3,48,1,46.81006,-92.08174,9/14/2014 0:00,NE

1,4,30,1,46.81006,-92.08174,9/14/2014 0:00,W

1,5,47,1,46.81006,-92.08174,9/14/2014 0:00,S

1,6,9,1,46.81006,-92.08174,9/14/2014 0:00,S

1,7,53,1,46.81006,-92.08174,9/14/2014 0:00,N

1,8,63,1,46.81006,-92.08174,9/14/2014 0:00,SW

1,9,4,1,46.81006,-92.08174,9/14/2014 0:00,NE

10.? 1,10,31,1,46.81006,-92.08174,9/14/2014 0:00,N
執(zhí)行如下 SQL 語句：

select recordId, patientId, direction from ambulance_data_csv_external where patientId > 25;

輸出結果如下：

| recordId | patientId | direction |

| 1 | 51 | S |

| 3 | 48 | NE |

| 4 | 30 | W |

| 5 | 47 | S |

| 7 | 53 | N |

| 8 | 63 | SW |

10.? | 10 | 31 | N |

11.? +------------+------------+-----------+
關于更多詳細的OSS外表使用方法，請參考官方文檔，點這里。
場景二：阿里云產(chǎn)品消費賬單分析

Step1：準備工作

完成案例1中準備工作1、3步驟。

Step2：通過費用中心同步賬單數(shù)據(jù)到OSS

打開費用中心->消費記錄->存儲到OSS，輸入oss bucket，此示例為oms-yl

，服務開通后，每天會將增量的實例消費明細數(shù)據(jù)生成文件同步存儲到您的OSS指定的bucket中。

Step3：通過MaxCompute注冊賬單處理類

1、點擊這里下載，odps-udf-example-0.30.0-SNAPSHOT-jar-with-dependencies.jar

2、將自定義代碼編譯打包，并上傳到 MaxCompute。

add jar odps-udf-example-0.30.0-SNAPSHOT-jar-with-dependencies.jar

Step4：通過MaxCompute創(chuàng)建外部表

示例：創(chuàng)建5月4日的賬單消費表

CREATE EXTERNAL TABLE IF NOT EXISTS oms_oss_0504

(

月份 string,

資源擁有者 string,

消費時間 string,

消費類型 string,

賬單編號 string,

商品 string,

計費方式 string,

服務開始時間 string,

服務結束時間 string,

服務時長 string,

財務核算單元 string,

資源id string,

資源昵稱 string,

TAG string,

地域 string,

可用區(qū) string,

公網(wǎng)ip string,

內(nèi)網(wǎng)ip string,

資源配置 string,

原價 string,

優(yōu)惠金額 string,

應付金額 string,

計費項1 string,

使用量1 string,

資源包扣除1 string,

原價1 string ,

應付金額1 string,

計費項2 string,

使用量2 string,

資源包扣除2 string,

原價2 string,

應付金額2 string,

計費項3 string,

使用量3 string,

資源包扣除3 string,

原價3 string,

應付金額3 string,

計費項4 string,

使用量4 string,

資源包扣除4 string,

原價4 string,

應付金額4 string,

計費項5 string,

使用量5 string,

資源包扣除5 string,

原價5 string,

應付金額5 string,

計費項6 string,

使用量6 string,

資源包扣除6 string,

原價6 string,

應付金額6 string,

計費項7 string,

使用量7 string,

資源包扣除7 string,

原價7 string,

應付金額7 string,

計費項8 string,

使用量8 string,

資源包扣除8 string,

原價8 string,

應付金額8 string,

計費項9 string,

使用量9 string,

資源包扣除9 string,

原價9 string,

應付金額9 string

)

STORED BY "com.aliyun.odps.udf.example.text.TextStorageHandler" --STORED BY 指定自定義 StorageHandler 的類名。

with SERDEPROPERTIES (

"odps.text.option.complex.text.enabled"="true",

"odps.text.option.strict.mode"="false"

--遇到列數(shù)不一致的情況不會拋異常，如果實際列數(shù)少于schema列數(shù)，將所有列按順序匹配，剩下的不足的列補NULL

)

LOCATION "oss://oss-cn-beijing-internal.aliyuncs.com/oms-yl/2018-05-04/"

USING "text_oss.jar"; --同時需要指定賬單中的文本處理類定義所在的 jar 包

Step5：通過MaxCompute查詢外部表

查詢示例：查詢MaxCompute按量存儲消費賬單

select 月份,使用量3,原價3,應付金額3 from oms_oss
where 計費項3="Storage" and 商品=大數(shù)據(jù)計算服務MaxCompute（按量付費）;

輸出結果如下：

四、 總結

通過上述示例，將沉睡在OSS中的非結構化數(shù)據(jù)激活，通過MaxCompute把海量數(shù)據(jù)分析工作效率提升至分鐘級，幫助客戶更高效、更低成本的挖掘海量數(shù)據(jù)價值。

原文鏈接