如何在MaxCompute上處理存儲在OSS上的開源格式數(shù)據(jù)

lowett 發(fā)布于2019-08-15 18:03 / 2366人閱讀

摘要：在之前的文章中，我們已經(jīng)介紹過怎樣在上對存儲在上的文本，音頻，圖像等格式的數(shù)據(jù)，以及的數(shù)據(jù)進(jìn)行計算處理。外部表的必須與具體上存儲存儲數(shù)據(jù)的相符合。唯一不同的只是在內(nèi)部計算引擎將從上去讀取對應(yīng)的數(shù)據(jù)來進(jìn)行處理。

前言
MaxCompute作為使用最廣泛的大數(shù)據(jù)平臺，內(nèi)部存儲的數(shù)據(jù)以EB量級計算。巨大的數(shù)據(jù)存儲量以及大規(guī)模計算下高性能數(shù)據(jù)讀寫的需求，對于MaxCompute提出了各種高要求及挑戰(zhàn)。處在大數(shù)據(jù)時代，數(shù)據(jù)的來源多種多樣，開源社區(qū)經(jīng)過十幾年的發(fā)展，百花齊放，各種各樣的數(shù)據(jù)格式不斷的出現(xiàn)。我們的用戶也在各個場景上，通過各種計算框架，積累了各種不同格式的數(shù)據(jù)。怎樣將MaxCompute強(qiáng)大的計算能力開放給這些使用開源格式存儲沉淀下來的數(shù)據(jù)，在MaxCompute上挖掘這些數(shù)據(jù)中的信息，是MaxCompute團(tuán)隊希望解決的問題。

MaxCompute 2.0最近推出的非結(jié)構(gòu)化計算框架【公測階段】，旨在從存儲介質(zhì)和存儲格式兩個維度，打通計算與存儲的通道。在之前的文章中，我們已經(jīng)介紹過怎樣在MaxCompute上對存儲在OSS上的文本，音頻，圖像等格式的數(shù)據(jù)，以及TableStore(OTS)的KV數(shù)據(jù)進(jìn)行計算處理。在這里，則將介紹對于各種流行的開源數(shù)據(jù)格式(ORC, PARQUET, SEQUENCEFILE, RCFILE, AVRO, TEXTFILE等等)，怎樣將其存儲在OSS上面，并通過非結(jié)構(gòu)化框架在MaxCompute進(jìn)行處理。

本著不重造輪子的原則，對于絕大部分這些開源數(shù)據(jù)格式的解析工作，在非結(jié)構(gòu)化框架中會直接調(diào)用開源社區(qū)的實現(xiàn)，并且無縫的與MaxCompute系統(tǒng)做對接。

1. 創(chuàng)建EXTERNAL TABLE來綁定OSS外部數(shù)據(jù)
MaxCompute非結(jié)構(gòu)化數(shù)據(jù)框架通過EXTERNAL TABLE的概念來提供MaxCompute與各種數(shù)據(jù)的聯(lián)通，與讀取OSS數(shù)據(jù)的使用方法類似，對OSS數(shù)據(jù)進(jìn)行寫操作，首先要通過CREATE EXTERNAL TABLE語句創(chuàng)建出一個外部表，而在讀取開源數(shù)據(jù)格式時，創(chuàng)建外表的DDL語句格式如下：

DROP TABLE [IF EXISTS] ;

CREATE EXTERNAL TABLE [IF NOT EXISTS] 
()
[PARTITIONED BY (partition column schemas)]
[ROW FORMAT SERDE ""]
STORED AS 
LOCATION "oss://${accessKeyId}:${accessKeySecret}@${endpoint}/${bucket}/${userPath}/"

可以看到，這個語法與HIVE的語法是相當(dāng)接近的，而在這個CREATE EXTERNAL TABLE的ddl語句中，有如下幾點要說明：

首先要特別說明的是這里使用的是STORED AS的關(guān)鍵字，而不是普通非結(jié)構(gòu)化外表用的STORED BY關(guān)鍵字，這也是目前在讀取開源兼容數(shù)據(jù)時獨(dú)有的。
外部表的必須與具體OSS上存儲存儲數(shù)據(jù)的schema相符合。
ROW FORMAT SERDE 并非必選選項，只有在使用一些特殊的格式上，比如TEXTFILE時才需要使用。
STORED AS后面接的是文件格式名字，比如 ORC/PARQUET/RCFILE/SEQUENCEFILE/TEXTFILE 等等。
最后還要提到的是，在上面這個例子中，我們在LOCATION上使用了OSS明文AK，這只適用于在用戶對于AK的保密性不敏感情況下使用。對于數(shù)據(jù)安全比較敏感的場景，比如在多用戶場景或者彈外集群上，則推薦使用通過STS/RAM體系事先進(jìn)行鑒權(quán)，從而避免使用明文AK。
1.1 范例1：關(guān)聯(lián)OSS上存儲的PARQUET數(shù)據(jù)
現(xiàn)在再來看一個具體的例子，假設(shè)我們有一些PARQUET文件存放在一個OSS路徑上，每個文件都是PARQUET格式，存放著schema為16列(4列BINGINT, 4列DOUBLE, 8列STRING)的數(shù)據(jù)，那么可以通過如下DDL語句來描述：

CREATE EXTERNAL TABLE tpch_lineitem_parquet
(
  l_orderkey bigint,
  l_partkey bigint,
  l_suppkey bigint,
  l_linenumber bigint,
  l_quantity double,
  l_extendedprice double,
  l_discount double,
  l_tax double,
  l_returnflag string,
  l_linestatus string,
  l_shipdate string,
  l_commitdate string,
  l_receiptdate string,
  l_shipinstruct string,
  l_shipmode string,
  l_comment string
)
STORED AS PARQUET
LOCATION "oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/parquet_data/";

1.2 范例2：分區(qū)表關(guān)聯(lián)OSS上存儲的TEXTFILE數(shù)據(jù)
同樣的數(shù)據(jù)，如果是每行以JSON格式，存儲成OSS上TEXTFILE文件；同時，數(shù)據(jù)在OSS通過多個目錄組織，這時是可以使用MaxCompute分區(qū)表和數(shù)據(jù)關(guān)聯(lián)，則可以通過如下DDL語句來描述：

CREATE EXTERNAL TABLE tpch_lineitem_textfile
(
  l_orderkey bigint,
  l_partkey bigint,
  l_suppkey bigint,
  l_linenumber bigint,
  l_quantity double,
  l_extendedprice double,
  l_discount double,
  l_tax double,
  l_returnflag string,
  l_linestatus string,
  l_shipdate string,
  l_commitdate string,
  l_receiptdate string,
  l_shipinstruct string,
  l_shipmode string,
  l_comment string
)
PARTITIONED BY (ds string)
ROW FORMAT serde "org.apache.hive.hcatalog.data.JsonSerDe"
STORED AS TEXTFILE
LOCATION "oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data/";

如果OSS表目錄下面的子目錄是以Partition Name方式組織，比如:

oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data/ds=20170102/"
oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data/ds=20170103/"
...

則可以使用以下DDL語句ADD PARTITION：

ALTER TABLE tpch_lineitem_textfile ADD PARTITION(ds="20170102");
ALTER TABLE tpch_lineitem_textfile ADD PARTITION(ds="20170103");

如果OSS分區(qū)目錄不是按這種方式組織，或者根本不在表目錄下，比如：

oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data_20170102/;
oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data_20170103/;
...

則可以使用以下DDL語句ADD PARTITION：

ALTER TABLE tpch_lineitem_textfile ADD PARTITION(ds="20170102")
LOCATION "oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data_20170102/";
ALTER TABLE tpch_lineitem_textfile ADD PARTITION(ds="20170103")
LOCATION "oss://${accessKeyId}:${accessKeySecret}@oss-cn-hangzhou-zmf.aliyuncs.com/bucket/text_data_20170103/";
...

讀取以及處理 OSS 上面的開源格式數(shù)據(jù)

對比上面的兩個范例，可以看出對于不同文件類型，只要簡單修改STORED AS后的格式名。在接下來的例子中，我們將只集中描述對上面PARQUET數(shù)據(jù)對應(yīng)的外表（tpch_lineitem_parquet）的處理，如果要處理不同的文件類型，只要在DDL創(chuàng)建外表時指定是PARQUET/ORC/TEXTFILE/RCFILE/TEXTFILE即可，處理數(shù)據(jù)的語句則是一樣的。

2.1 直接讀取以及處理OSS上面的開源數(shù)據(jù)
在創(chuàng)建數(shù)據(jù)外表后，直接對外表就可以進(jìn)行與普通MaxCompute表的操作，直接對存儲在OSS上的數(shù)據(jù)進(jìn)行處理，比如：

SELECT l_returnflag,
    l_linestatus,
    SUM(l_extendedprice*(1-l_discount)) AS sum_disc_price,
    AVG(l_quantity) AS avg_qty,
    COUNT(*) AS count_order
FROM tpch_lineitem_parquet
WHERE l_shipdate <= "1998-09-02"
GROUP BY
    l_returnflag,
    l_linestatus;

可以看到，在這里tpch_lineitem_parquet這個外表被當(dāng)作一個普通的內(nèi)部表一樣使用。唯一不同的只是在MaxCompute內(nèi)部計算引擎將從OSS上去讀取對應(yīng)的PARQUET數(shù)據(jù)來進(jìn)行處理。

但是我們應(yīng)該強(qiáng)調(diào)的是，在這里直接使用外表，每次讀取的時候都需要涉及外部OSS的IO操作，并且MaxCompute系統(tǒng)本身針對內(nèi)部存儲做的許多高性能優(yōu)化都用不上了，所以性能上會有所損失。所以如果是需要對數(shù)據(jù)進(jìn)行反復(fù)計算以及對計算的高效性比較敏感的場景上，我們推薦下面這種用法：先將數(shù)據(jù)導(dǎo)入MaxCompute內(nèi)部，再進(jìn)行計算。

注意，上面例子中的tpch_lineitem_textfile表，因為使用了ROW FORMAT + STORED AS，需要手動設(shè)置flag（只使用STORED AS，odps.sql.hive.compatible默認(rèn)為TRUE），再進(jìn)行讀取，否則會有報錯。

SELECT * FROM tpch_lineitem_textfile LIMIT 1;
FAILED: ODPS-0123131:User defined function exception - Traceback:
com.aliyun.odps.udf.UDFException: java.lang.ClassNotFoundException: com.aliyun.odps.hive.wrapper.HiveStorageHandlerWrapper

--需要手動設(shè)置hive兼容flag

set odps.sql.hive.compatible=true;
SELECT * FROM tpch_lineitem_textfile LIMIT 1;
+------------+------------+------------+--------------+------------+-----------------+------------+------------+--------------+--------------+------------+--------------+---------------+----------------+------------+-----------+
| l_orderkey | l_partkey  | l_suppkey  | l_linenumber | l_quantity | l_extendedprice | l_discount | l_tax      | l_returnflag | l_linestatus | l_shipdate | l_commitdate | l_receiptdate | l_shipinstruct | l_shipmode | l_comment |
+------------+------------+------------+--------------+------------+-----------------+------------+------------+--------------+--------------+------------+--------------+---------------+----------------+------------+-----------+
| 5640000001 | 174458698  | 9458733    | 1            | 14.0       | 23071.58        | 0.08       | 0.06       | N            | O            | 1998-01-26 | 1997-11-16   | 1998-02-18    | TAKE BACK RETURN | SHIP       | cuses nag silently. quick |
+------------+------------+------------+--------------+------------+-----------------+------------+------------+--------------+--------------+------------+--------------+---------------+----------------+------------+-----------+

2.2 將OSS上的開源數(shù)據(jù)導(dǎo)入MaxCompute，再進(jìn)行計算
首先創(chuàng)建一個與外部表schema一樣的內(nèi)部表tpch_lineitem_internal，然后將OSS上的開源數(shù)據(jù)導(dǎo)入MaxCompute內(nèi)部表，以cFile格式存儲在MaxCompute內(nèi)部：

CREATE TABLE tpch_lineitem_internal LIKE tpch_lineitem_parquet;

INSERT OVERWRITE TABLE tpch_lineitem_internal
SELECT * FROM tpch_lineitem_parquet;

直接就可以對內(nèi)部表進(jìn)行同樣的操作：

SELECT l_returnflag,
    l_linestatus,
    SUM(l_extendedprice*(1-l_discount)) AS sum_disc_price,
    AVG(l_quantity) AS avg_qty,
    COUNT(*) AS count_order
FROM tpch_lineitem_internal
WHERE l_shipdate <= "1998-09-02"
GROUP BY
    l_returnflag,
    l_linestatus;

通過這樣子將數(shù)據(jù)先導(dǎo)入系統(tǒng)的情況下，對同樣數(shù)據(jù)的計算就會更高效得多。

4. 結(jié)語

開源的種種數(shù)據(jù)格式往往由各種數(shù)據(jù)處理生態(tài)產(chǎn)生，而MaxCompute非結(jié)構(gòu)化數(shù)據(jù)處理框架通過實現(xiàn)計算與存儲的互聯(lián)，希望打通阿里云核心計算平臺與各種數(shù)據(jù)的通路。在這個基礎(chǔ)上，各種各樣依賴于不同數(shù)據(jù)格式的應(yīng)用，將能在MaxCompute計算平臺上實現(xiàn)，后繼我們會對一些具體的這種應(yīng)用，比如基因計算等，再做一些具體的case study以及介紹。我們也歡迎有對開源數(shù)據(jù)進(jìn)行處理分析的更多應(yīng)用，能在MaxCompute強(qiáng)大計算能力的基礎(chǔ)上開花結(jié)果。
原文鏈接

云服務(wù)器 GPU云服務(wù)器圖像識別在人臉識別上的應(yīng)用快照存放在oss上云服務(wù)器上的iis在哪里 oss在https網(wǎng)站上

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/69592.html

發(fā)表評論

登陸后可評論

0條評論

lowett

男|高級講師

我要關(guān)注我要私信

TA的文章

[C/C++ -STL]vector底層實現(xiàn)機(jī)制刨析

閱讀 3180·2021-11-22 09:34
基于單片機(jī)的藍(lán)牙控制窗簾電路系統(tǒng)

閱讀 2598·2021-09-30 09:47
HaloCloud：45元/月/512MB內(nèi)存/20GB空間/500GB流量/100Mbps-1Gb

閱讀 1506·2021-09-03 10:32
TOTYUN：香港VPS/日本VPS/三網(wǎng)直連CN2線路/2核2G內(nèi)存/10Mbps不限流量/$12

閱讀 3825·2021-08-16 10:49
響應(yīng)式布局方案

閱讀 1852·2019-08-30 15:55
關(guān)于 vertical-align 的一些理解

閱讀 2537·2019-08-30 15:52
小程序開發(fā)坑點總結(jié)

閱讀 3381·2019-08-30 15:44
前端進(jìn)階之什么是BFC？BFC的原理是什么？如何創(chuàng)建BFC？

閱讀 1427·2019-08-30 15:44

亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

如何在MaxCompute上處理存儲在OSS上的開源格式數(shù)據(jù)

相關(guān)文章

MaxCompute助力OSS支持EB級計算力

MaxCompute讀取分析OSS非結(jié)構(gòu)化數(shù)據(jù)的實踐經(jīng)驗總結(jié)

發(fā)表評論

0條評論

lowett

男|高級講師

TA的文章

[C/C++ -STL]vector底層實現(xiàn)機(jī)制刨析

基于單片機(jī)的藍(lán)牙控制窗簾電路系統(tǒng)

HaloCloud：45元/月/512MB內(nèi)存/20GB空間/500GB流量/100Mbps-1Gb

TOTYUN：香港VPS/日本VPS/三網(wǎng)直連CN2線路/2核2G內(nèi)存/10Mbps不限流量/$12

響應(yīng)式布局方案

關(guān)于 vertical-align 的一些理解

小程序開發(fā)坑點總結(jié)

前端進(jìn)階之什么是BFC？BFC的原理是什么？如何創(chuàng)建BFC？

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

如何在MaxCompute上處理存儲在OSS上的開源格式數(shù)據(jù)

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！