工具簡介對象存儲 US3

ernest.wang 發(fā)布于2022-07-12 17:03 / 2049人閱讀

摘要：工具簡介工具簡介工具簡介本篇目錄概述概述主要功能主要功能文件結(jié)構(gòu)文件結(jié)構(gòu)與原遷移工具對比與原遷移工具對比版本和運(yùn)行環(huán)境版本和運(yùn)行環(huán)境概述概述概述是一款將不同源的數(shù)據(jù)同步到的遷移工具。支持從存儲或者本地目錄將數(shù)據(jù)遷移到中。

工具簡介

本篇目錄

概述主要功能文件結(jié)構(gòu)與原遷移工具對比版本和運(yùn)行環(huán)境

概述

US3SYNC 是一款將不同源的數(shù)據(jù)同步到 US3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機(jī)中，可以便捷地從本地或者其他云環(huán)境中將數(shù)據(jù)遷移到 US3 存儲空間。US3SYNC工具可以創(chuàng)建兩種模式的任務(wù)：

普通模式： 普通同步任務(wù)可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務(wù)是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上?？梢灾该魑募匠晒褪『蟮幕卣{(diào)接口，US3SYNC會在同步任務(wù)完成后，發(fā)送相應(yīng)的通知。

普通任務(wù)工作原理

圖中master節(jié)點(diǎn)與worker節(jié)點(diǎn)功能：

master節(jié)點(diǎn)：

單點(diǎn)部署，負(fù)責(zé)遷移任務(wù)的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發(fā)給worker進(jìn)程遷移。

worker節(jié)點(diǎn)：

支持節(jié)點(diǎn)擴(kuò)展，負(fù)責(zé)遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節(jié)點(diǎn)與worker節(jié)點(diǎn)可以部署在同一臺機(jī)器，也可以部署在多臺機(jī)器上，用戶可以根據(jù)需要自行擴(kuò)展worker節(jié)點(diǎn)，下面分別介紹：

部署在同一臺機(jī)器：

master節(jié)點(diǎn)和worker節(jié)點(diǎn)通過啟動時配置的內(nèi)部通信監(jiān)聽地址進(jìn)行通信。用戶需要確保配置給worker節(jié)點(diǎn)的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復(fù)。

部署在不同機(jī)器：

master節(jié)點(diǎn)和worker節(jié)點(diǎn)通過啟動時配置的內(nèi)部通信監(jiān)聽地址進(jìn)行通信，確保該地址在worker機(jī)器上可以訪問。用戶需要確保配置給worker節(jié)點(diǎn)的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復(fù)。

Fetch任務(wù)工作原理

Fetch類型的任務(wù)跟普通任務(wù)工作原理大致類似，不同的是同步任務(wù)的源端需要發(fā)送POST請求來指定，而不是根據(jù)配置的源端的位置自動拉取。

POST請求語法

POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/json

請求頭部

Authorization為必選項(xiàng)，content-type, date等都是可選項(xiàng)

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：

method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature

請求內(nèi)容名稱描述類型必選Url源站資源地址,需要urlencodeString是Key桶內(nèi)文件路徑，不需要urlencodeString是Bucket桶名String是JobIdFetch任務(wù)IdString是SuccessCallbackUrl回源拉取成功的回調(diào)地址String否FailureCallbackUrl回源拉取失敗的回調(diào)地址String否

此處的JobId可以在界面中獲取

返回內(nèi)容名稱描述類型RetCode請求狀態(tài)碼IntErrMsg請求信息StringTaskId任務(wù)的唯一idString

{
    "RetCode":,
    "ErrMsg":,
    "TaskId":
    }

示例請求

POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
    "Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
    "Key":"movie.mp4",
    "JobId": "xxxxxxxxxxxxxxxxxxxx"
    "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
    "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}

HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
    "RetCode":0,
    "ErrMsg":"success",
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}

回調(diào)內(nèi)容

您可以在請求中指定任務(wù)完成后的回調(diào)地址，US3SYNC會依照任務(wù)執(zhí)行結(jié)果給相應(yīng)的地址放松POST請求，請求內(nèi)容示例如下：

Failure callback

{
    "Code":1,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "Message":"We encountered an internal error.",
    "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}

Success callback

{    
    "Code": 0,
    "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
    "ETag":"xxxxxxxx",
    "Key":"xxxxxxxxxxxxxxx.mp4",
    "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
    "Size":638304718
}

主要功能

支持從 s3，oss，qiniu，youpai，US3 云存儲遷移數(shù)據(jù)到 US3 中。支持從 NAS 存儲或者本地目錄將數(shù)據(jù)遷移到 US3 中。支持指定 URL 資源列表將數(shù)據(jù)遷移到 US3 中。支持 web 管理，通過 web 管理遷移任務(wù)，遷移節(jié)點(diǎn)。支持源端管理支持配置任務(wù)定期執(zhí)行支持失敗文件列表導(dǎo)出

注：暫不支持源端為歸檔類型的文件遷移到 US3。

文件結(jié)構(gòu)

US3SYNC
├── bin
│ |── master            # master 可執(zhí)行程序
│ └── worker            # worker 可執(zhí)行程序
├── conf
│ └── config.toml       # 配置文件
├── cert                # https證書
├── log                 # master日志文件存放路徑
├── pika                # 依賴pika
└── console.sh          # 啟動腳本

與原遷移工具對比

原遷移工具使用請參照：原遷移工具

US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合為單個多個配置文件數(shù)據(jù)不落盤，提高遷移效率數(shù)據(jù)落盤，需要根據(jù)需要提供磁盤資源使用pika緩存使用redis緩存按分片粒度并發(fā)，帶寬穩(wěn)定按文件粒度并發(fā)，對大文件遷移不友好支持按照大小進(jìn)行數(shù)據(jù)校驗(yàn)不支持校驗(yàn)

版本和運(yùn)行環(huán)境

軟件版本

當(dāng)前版本：1.4.0

運(yùn)行環(huán)境Linux：CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)

GPU云服務(wù)器云服務(wù)器 ucloud對象存儲產(chǎn)品us3 對象存儲簡介對象存儲遷移開源工具 php開發(fā)工具簡介

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/126749.html

發(fā)表評論

登陸后可評論

0條評論

ernest.wang

男|高級講師

我要關(guān)注我要私信

TA的文章

DeepSeek R1系列模型一鍵部署教程，支持云端免費(fèi)體驗(yàn)！

閱讀 1581·2025-02-07 13:29
特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

閱讀 1005·2024-11-07 18:25
幻獸帕魯常見問題匯總

閱讀 131500·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 1353·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 1146·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 83573·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動部署教程 - Windows篇

閱讀 3873·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 2391·2023-06-02 13:36

亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！