資訊專欄INFORMATION COLUMN
摘要：相比其他開源的工具和其他商業(yè)的工具，對(duì)比下來(lái)還是比較強(qiáng)大和好用。
1.為什么要使用數(shù)據(jù)抽取
（1）為了不妨礙業(yè)務(wù)數(shù)據(jù)的讀取和寫入，需要進(jìn)行數(shù)據(jù)的抽取，抽取到另外數(shù)據(jù)庫(kù)表進(jìn)行讀取
（2）對(duì)某些總計(jì)數(shù)據(jù)可以進(jìn)行預(yù)先計(jì)算， 抽取到另外數(shù)據(jù)庫(kù)表
（3）隨訪業(yè)務(wù)數(shù)據(jù)庫(kù)為mongodb , 統(tǒng)計(jì)程序編程效率低，需要轉(zhuǎn)成sql 類數(shù)據(jù)庫(kù)提高效率
使用 kettle 開源etl工具
網(wǎng)址：http://community.pentaho.com/projects/data-integration/
總體來(lái)講，就是這么個(gè)步驟：
選擇數(shù)據(jù)輸入——中間數(shù)據(jù)處理——最后數(shù)據(jù)輸出
比如從mongodb 同步到 sqlserver過(guò)程如下：
（1）選擇核心對(duì)象中的bigdata MongoDB Input (數(shù)據(jù)輸入) (2)進(jìn)行數(shù)據(jù)處理 （這里篩選了需要抽取的字段） （3）選擇插入更新輸出 4.總結(jié)數(shù)據(jù)輸入的形式很多，各種形式的數(shù)據(jù)都可以做為一手?jǐn)?shù)據(jù)源， kettle 數(shù)據(jù)轉(zhuǎn)換的功能也很強(qiáng)大， 還可以進(jìn)行 java ,javascript 等腳本的編寫來(lái)進(jìn)行高級(jí)的數(shù)據(jù)處理， 最后得到需要的數(shù)據(jù)。
相比其他開源的etl工具和其他商業(yè)的etl工具，對(duì)比下來(lái) kettle還是比較強(qiáng)大和好用。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/18847.html
摘要：是一款國(guó)外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個(gè)數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉(cāng)庫(kù)中，下面就拿mongodb抽取到mysql為例，簡(jiǎn)述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...
摘要：是一款國(guó)外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個(gè)數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉(cāng)庫(kù)中，下面就拿mongodb抽取到mysql為例，簡(jiǎn)述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...
摘要：如銷售數(shù)據(jù)跟部門表，客戶表之間的關(guān)系。而查詢，又是這三者之間的粘合劑，它表達(dá)了用戶的需求，經(jīng)過(guò)引擎的解析，根據(jù)數(shù)據(jù)模型的描述，從數(shù)據(jù)倉(cāng)庫(kù)找到所需要的數(shù)據(jù)。 本文來(lái)自網(wǎng)易云社區(qū) 作者：王攀 我們知道，大部分公司都擁有了自己的財(cái)務(wù)，OA，CRM 等系統(tǒng)。這些系統(tǒng)都有自己的獨(dú)立數(shù)據(jù)庫(kù)，記錄著企業(yè)運(yùn)行情況某個(gè)方面的數(shù)據(jù)。但是單獨(dú)看這些系統(tǒng)的報(bào)表，并不一定能對(duì)企業(yè)運(yùn)行情況有全面客觀的了解。就像只...
閱讀 3659·2023-04-26 00:05
閱讀 1021·2021-11-11 16:55
閱讀 3661·2021-09-26 09:46
閱讀 3598·2019-08-30 15:56
閱讀 972·2019-08-30 15:55
閱讀 2988·2019-08-30 15:53
閱讀 2020·2019-08-29 17:11
閱讀 869·2019-08-29 16:52
