數據遷移工具輔助向云端遷移

scq000 發(fā)布于2019-04-25 16:45 / 3168人閱讀

摘要：如果我們可以克服一些數據遷移的挑戰(zhàn)，將一個數據倉庫以及其數據分析工具從數據中心中的專用服務器轉移到基于云的文件系統(tǒng)和數據庫就可以解決這個問題。數據遷移工具輔助向云端遷移從數據庫抽取數據很容易，從數據庫中有效挖掘大容量數據確是一項挑戰(zhàn)。

云計算和數據倉庫是合理的一對。云存儲可以按需擴展，云可以將大量服務器貢獻于某一具體任務。數據倉庫通用功能是本地數據分析工具，受到計算和存儲資源的限制，同時也受到設計者考慮新數據源集成的能力的限制。如果我們可以克服一些數據遷移的挑戰(zhàn)，將一個數據倉庫以及其數據分析工具從數據中心中的專用服務器轉移到基于云的文件系統(tǒng)和數據庫就可以解決這個問題。

云端數據管理通常牽扯到在分布式文件系統(tǒng)中加載和維護文件，像Hadoop分布式文件系統(tǒng)（HDFS），隨后用類似MapReduce這樣的工具處理數據。對于數據倉庫和其他的分析人物，像Hive這樣的數據庫工具在分布式文件系統(tǒng)之上提供了類SQL的功能。

盡管傳統(tǒng)關系型數據庫管理系統(tǒng)和云端非關系型數據庫之間可以并行描述，但是在兩個片段之間轉移數據時，不同的運行方式會導致問題。抽取轉換和加載流程甚至會造成更多挑戰(zhàn)。

數據遷移工具輔助向云端遷移

從數據庫抽取數據很容易，從數據庫中有效挖掘大容量數據確是一項挑戰(zhàn)。如果由于數據量的增長，數據倉庫面臨性能或者存儲問題，可能就是時候考慮使用運資源了。下面提供了一些工具來協(xié)助從關系型數據庫加載數據到云文件系統(tǒng)和數據庫。

專業(yè)工具，像Sqoop（SQL-to-Hadoop）生成代碼從關系型數據庫抽取數據，并將其拷貝到HDFS或者Hive。Sqoop使用JDBC驅動，同多種類型的關系型數據庫工作，但是通過JDBC推出大量數據導致了性能成本。

為了遷移到云端，從關系型數據庫抽取數據時，你可能需要進行數據轉換。如果你所工作的所有數據來自于單一數據庫，就可以在源數據庫中進行轉換。如果從兩個分離的系統(tǒng)合并數據，在抽取之后再轉移數據源更有效。然而，你應該在加載數據到最終數據存儲庫之前做這些。Cascading數據處理API可以協(xié)助這項任務的進行。

Cascading提供了運行在Hadoop之上的功能，像工作流處理計劃和調度。就比如說，它同管道過濾器工作；數據應用過濾器通過管道從一個源流到目的源。其他功能像grouping可以應用于數據流。Cascading用Java實現(xiàn)，在MapReduce工作中調用轉換API。

如果你正在同MySQL共事，Sqoop介意使用MySQL轉儲功能繞離JDBC并更加有效地抽取數據。Sqoop也可以生成Java類，這個類可以用于操縱加載數據并將其直接導入Hive。HIHO （Hadoop Input and Output）從關系型表抽取數據并提供一些基本的轉換服務，像去重以及合并輸入流。

當生成文件在將其加載到HDFS文件系統(tǒng)或者Hive數據倉庫之前，要求最小化轉換，你就能直接加載文件了。在確定目標表和分割規(guī)格后，Hive有一個命令來加載數據。Pig是數據分析程序的一種高水平語言，尤其是和Java中的MapReduce編碼對比的時候。它提供了一種基本的統(tǒng)計函數，你可以在關系型數據庫中找到（像minmaxcount），在數學和字符串處理功能中也能找到。Pig支持架構化和非結構化文本文件的壓縮。

云計算資源補充了數據倉庫基礎架構。然而，為將數據倉庫轉移到云端的利益較大化，適當結構化數據并使用正確的數據分析工具很重要。

TechTarget中國原創(chuàng)內容，原文鏈接：http://www.searchcloudcomputing.com.cn/showcontent_58751.htm

云服務器 GPU云服務器數據遷移工具大數據遷移工具 dts數據遷移工具 DTS 數據庫遷移工具

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/3562.html

如何克服云端數據倉庫數據遷移問題？

摘要：如果我們可以克服一些數據遷移的挑戰(zhàn)，將一個數據倉庫以及其數據分析工具從數據中心中的專用服務器轉移到基于云的文件系統(tǒng)和數據庫就可以解決這個問題。數據遷移工具輔助向云端遷移從數據庫抽取數據很容易，從數據庫中有效挖掘大容量數據確是一項挑戰(zhàn)。云計算和數據倉庫是合理的一對。云存儲可以按需擴展，云可以將大量服務器貢獻于某一具體任務。數據倉庫通用功能是本地數據分析工具，受到計算和存儲資源的限制，同時也...

sumory 2019-04-25 16:45 評論0 收藏0
一文看懂：云爆發(fā)的定義與應用

摘要：這種情況并非完全是一個云爆發(fā)的場景，因為根據定義，爆發(fā)意味著工作負載在一段時間內被移動到云端，然后最終返回到內部部署。在這種情況下，云爆發(fā)將是其設計的固有特征。如今，公共云已迅速成為構建IT基礎設施的一種簡單而無障礙的方式。如果企業(yè)已經擁有內部部署系統(tǒng)，那么在某些時候，可能就會希望將內部部署和外部部署整合在一起。而實現(xiàn)這一目標的一種方法是采用云爆發(fā)，但云爆發(fā)究竟是什么？以及爆發(fā)在云端意味著什...

LeanCloud 2019-04-30 14:40 評論0 收藏0
成功進行云遷移的12個關鍵步驟

摘要：以下概述了成功的云遷移所涉及的主要步驟。是大多數云遷移的典型模型。企業(yè)對云遷移的優(yōu)先級要特別小心謹慎。云計算架構師必須考慮整個部署范圍，并在執(zhí)行實際工作負載遷移之前安裝和驗證任何所需的依賴項。企業(yè)為將內部部署應用程序遷移到云端做好準備了嗎?從重新托管與重新設計到測試和監(jiān)控，企業(yè)需要遵循一些關鍵步驟才能成功實現(xiàn)云遷移。很多企業(yè)出于各種原因將工作負載遷移到了云端。公有云比大多數內部部署數...

不知名網友 2021-11-26 13:17 評論0 收藏0
2018年最緊俏的5大云計算技能

摘要：隨著機器學習等技術不斷沖擊就業(yè)市場，整個行業(yè)的技能差距將會越來越大。機器學習和機器學習人工智能和大數據正在逐漸成為項目的核心，預測機器學習和的將會出現(xiàn)爆炸性增長，未來三年的支出將增長。 2018年，隨著各種規(guī)模的企業(yè)開始推進云計算項目，預計公有云采用量將會增加，IDC預測在三年內公有云支出將達到1970億美元...

Godtoy 2019-04-25 16:22 評論0 收藏0
2018年最緊俏的5大云計算技能

摘要：隨著機器學習等技術不斷沖擊就業(yè)市場，整個行業(yè)的技能差距將會越來越大。機器學習和機器學習人工智能和大數據正在逐漸成為項目的核心，預測機器學習和的將會出現(xiàn)爆炸性增長，未來三年的支出將增長。 2018年，隨著各種規(guī)模的企業(yè)開始推進云計算項目，預計公有云采用量將會增加，IDC預測在三年內公有云支出將達到1970億美元，因此對云計算相關技能的需求越來越高。隨著機器學習等技術不斷沖擊就業(yè)市場，整個行業(yè)的...

stackfing 2019-04-25 17:50 評論0 收藏0