摘要:工具簡介工具簡介工具簡介本篇目錄概述概述原理說明原理說明版本和運行環(huán)境版本和運行環(huán)境概述概述概述適配器是為了解決訪問對象存儲的問題,實現(xiàn)了標準的文件系統(tǒng),支持等大數(shù)據(jù)計算框架可以像訪問文件系統(tǒng)一樣,來讀寫存儲在上的數(shù)據(jù)。
US3Hadoop適配器是為了解決Hadoop訪問UCloud對象存儲US3的問題,實現(xiàn)了標準的Hadoop文件系統(tǒng),支持Hive、Spark、Flink等大數(shù)據(jù)計算框架可以像訪問HDFS文件系統(tǒng)一樣,來讀寫存儲在US3上的數(shù)據(jù)。
適配器是實現(xiàn)了Hadoop提供的存儲訪問接口FileSystem的適配器組件,類似HDFS實現(xiàn)的DistributedFileSystem和基于AWS S3協(xié)議實現(xiàn)的S3AFileSystem。適配器直接把IO,索引請求發(fā)給US3,架構如下圖所示。
該架構適合備份場景和小規(guī)模計算分析場景。
當前版本:1.1.0
運行環(huán)境hadoop-2.6.0hadoop-2.8.3hadoop-2.8.5hadoop-3.1.1文章版權歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://www.ezyhdfw.cn/yun/126804.html
摘要:概覽概覽產(chǎn)品簡介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢使用限制存儲類型地域和域名計量計費產(chǎn)品價格計費規(guī)則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態(tài)網(wǎng)站托管域名管理鏡像回源跨區(qū)域復制跨域設置數(shù)據(jù)分析防盜鏈統(tǒng)計報 概覽產(chǎn)品簡介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢使用限制存儲類型地域和域名計量計費產(chǎn)品價格計費規(guī)則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...
摘要:工具簡介工具簡介工具簡介本篇目錄概述概述版本和運行環(huán)境版本和運行環(huán)境主要功能主要功能使用限制使用限制概述概述概述是一個在系統(tǒng)環(huán)境中,將的存儲空間掛載到本地掛載點的工具,掛載成功后,您可以像操作本地文件一樣操作存儲空間中的文件。 工具簡介本篇目錄概述版本和運行環(huán)境主要功能使用限制概述US3FS是一個在Linux/Windows系統(tǒng)環(huán)境中,將US3的存儲空間(Bucket)掛載到本地掛載點的工具...
摘要:工具簡介工具簡介工具簡介本篇目錄概述概述介紹介紹概述概述概述為了解決寫入對象存儲的問題,基于官方版本開發(fā),增加了中類型為對象存儲的支持,支持前綴掛載。介紹介紹介紹是一個用于的開源列式數(shù)據(jù)庫,開發(fā)。具體介紹可參見官網(wǎng) 工具簡介本篇目錄概述ClickHouse介紹概述為了解決clickhouse寫入UCloud對象存儲US3的問題,US3基于官方clickhouse版本v20.8.7.15-lt...
摘要:產(chǎn)品底層升級后,推出工具,便于用戶對存儲空間文件進行管理操作,操作方式更靈活。文件掛載工具文件系統(tǒng)掛載工具可幫助用戶在環(huán)境下以協(xié)議方式掛載文件目錄,對文件對象進行操作。一致性比對工具一致性比對工具用于比對用戶本地與存儲空間中的文件是否一致。 常用工具本篇目錄管理工具其他工具除使用 US3 管理控制臺之外,您還可以通過 US3 提供的各類常用工具對 US3 存儲空間及空間內(nèi)的文件對象進行管理,...
摘要:用戶可通過數(shù)據(jù)遷移的方式,將第三方的存儲集群數(shù)據(jù)遷移至的存儲空間中,充分利用對象存儲按需收費,無須購買額外硬件資源的優(yōu)勢,對數(shù)據(jù)進行歸檔,以實現(xiàn)成本最優(yōu)。 數(shù)據(jù)遷移方案本篇目錄背景US3 鏡像回源功能US3 數(shù)據(jù)遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優(yōu)勢,面對增量數(shù)據(jù)導致的存儲容量瓶頸、成本增加等問題。用戶可通過數(shù)據(jù)遷移的方式,將第三方的存儲集群數(shù)據(jù)遷移至 US3 的...
摘要:遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對象存儲提供的一款將數(shù)據(jù)遷移至存儲空間的工具。 遷移工具(歷史版本)本篇目錄介紹安裝步驟介紹ufile-import 是對象存儲 US3 提供的一款將數(shù)據(jù)遷移至 US3 存儲空間(Bucket) 的工具。您可以將 ufile-import 部署在本地服務或者云主機上,輕松將您其他云存儲的數(shù)據(jù)遷移到 ...
閱讀 1583·2025-02-07 13:29
閱讀 1007·2024-11-07 18:25
閱讀 131501·2024-02-01 10:43
閱讀 1364·2024-01-31 14:58
閱讀 1148·2024-01-31 14:54
閱讀 83575·2024-01-29 17:11
閱讀 3877·2024-01-25 14:55
閱讀 2392·2023-06-02 13:36