資訊專欄INFORMATION COLUMN
摘要：需求背景系統(tǒng)有數(shù)據(jù)識別數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量?？捎眯苑治隹捎眯员砀穹治鰣鼍坝绊懡导壴蚰撑_數(shù)據(jù)同步下線無影響數(shù)據(jù)同步無狀態(tài)，調(diào)度平臺重連其他的數(shù)據(jù)同步服務。
需求背景
系統(tǒng)有數(shù)據(jù)識別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量?，F(xiàn)在針對以下幾個需求進行講解
1、支持冗余設計
2、支持任務自動分發(fā)，支持自動負載均衡
3、支持隨時擴容節(jié)點而無需關(guān)停原有的系統(tǒng)和業(yè)務
調(diào)度平臺
使用Nginx方式來調(diào)用數(shù)據(jù)中心，通過注冊中心獲取數(shù)據(jù)中心的服務列表
可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時；
讀取控制臺DB的配置信息，定時執(zhí)行數(shù)據(jù)同步任務
對數(shù)據(jù)同步的調(diào)用，可以按照簡單的輪詢方式，也可以根據(jù)數(shù)據(jù)同步服務器的性能情況，進行負載均衡
數(shù)據(jù)同步
負責執(zhí)行數(shù)據(jù)庫異構(gòu)數(shù)據(jù)同步任務，可支持增量，全量模式，用DataX框架來實現(xiàn)
服務于調(diào)度平臺的調(diào)用
會存儲數(shù)據(jù)同步的執(zhí)行結(jié)果，供控制臺進行展示
會上報服務器的性能指標到數(shù)據(jù)同步DB，以供調(diào)度平臺參考
控制臺
配置管理界面，服務于用戶進行數(shù)據(jù)同步任務的配置信息，并存儲到控制臺DB中；
數(shù)據(jù)識別
負責針對數(shù)據(jù)庫的數(shù)據(jù)進行數(shù)據(jù)識別任務
數(shù)據(jù)脫敏
按照內(nèi)置規(guī)則、自定義配置，負責脫敏數(shù)據(jù)
可提前進行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉(zhuǎn)換環(huán)節(jié)調(diào)用
三個輔助服務發(fā)現(xiàn)模塊
注冊中心
用于服務發(fā)現(xiàn)和注冊
數(shù)據(jù)同步注冊實例并定期報心跳
可以用zookeerper來實現(xiàn)
調(diào)度平臺通過域名訪問注冊中心獲取數(shù)據(jù)同步的地址列表
Nginx
和域名系統(tǒng)配合，協(xié)助調(diào)度平臺訪問注冊中心獲取數(shù)據(jù)同步地址列表
和域名系統(tǒng)配合，協(xié)助用戶訪問控制臺進行配置管理
可用性分析高可用通過Nginx、注冊中心來實現(xiàn)，可以支持動態(tài)擴容。每個主要模塊都是以無狀態(tài)集群方式部署的，各自模塊都可以通過注冊中心來實現(xiàn)服務注冊，模塊之間的調(diào)用服務發(fā)現(xiàn)來獲取，并以域名方式實現(xiàn)。
考慮到擴展，所以設想的方案是盡可能的做到每個服務職責單一。
這樣的拆分，也是考量到每個環(huán)節(jié)的瓶頸都不一樣，目前預估不是很精確，這樣可以為后續(xù)擴展提供方便性。
數(shù)據(jù)脫敏、數(shù)據(jù)識別需要多帶帶獨立出來，原因：本身的服務不在數(shù)據(jù)同步中，可能提前預處理進行。
通過集群部署方式，支持冗余設計。
調(diào)度平臺、Nginx集群通過數(shù)據(jù)同步性能情況,實現(xiàn)任務自動分發(fā)，支持自動負載均衡。
可用性分析可用性表格分析
| 場景 | 影響 | 降級 | 原因 |
|---|---|---|---|
| 某臺數(shù)據(jù)同步下線 | 無影響 | - | 數(shù)據(jù)同步無狀態(tài)，調(diào)度平臺重連其他的數(shù)據(jù)同步服務。 |
| 所有數(shù)據(jù)同步下線 | 調(diào)度平臺無法執(zhí)行數(shù)據(jù)同步任務 | 控制臺正常運行；調(diào)度平臺把數(shù)據(jù)同步任務放入執(zhí)行隊列，等待執(zhí)行 | - |
| 某個Nginx下線 | 無影響 | - | 多Nginx部署，數(shù)據(jù)完全同步，注冊中心、控制臺域名通過SLB自動切換到其他存活的Nginx |
| 控制臺DB宕機 | 調(diào)度中心無影響，控制臺無法更新配置 | 調(diào)度平臺開啟配置緩存后，對配置的讀取不受數(shù)據(jù)庫宕機影響 | |
| 某臺數(shù)據(jù)識別、數(shù)據(jù)脫敏下線 | 無影響 | - | 數(shù)據(jù)識別、數(shù)據(jù)脫敏無狀態(tài)，數(shù)據(jù)同步重連其他的數(shù)據(jù)識別、數(shù)據(jù)脫敏同步服務 |
| 全部數(shù)據(jù)識別、數(shù)據(jù)脫敏下線 | 無影響 | - | 數(shù)據(jù)同步可執(zhí)行在線脫敏功能，會影響任務時長。 |
數(shù)據(jù)同步、控制臺、調(diào)度平臺、數(shù)據(jù)識別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務模塊，相互協(xié)作完成配置中心業(yè)務功能，Nginx、注冊中心是輔助微服務之間進行服務發(fā)現(xiàn)的模塊。
采用微服務架構(gòu)設計，架構(gòu)和部署（部署方式可以用容器思路來操作）都有一些復雜，但是每個服務職責單一，易于擴展。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/11990.html
摘要：接下來我們以余額寶為例，重點剖析天弘基金在日志數(shù)據(jù)分析領(lǐng)域是如何突破的此前，天弘基金一直使用開源的日志方案，研發(fā)和運維人員通過對日志數(shù)據(jù)進行處理，使用日志文件進行查詢檢索。 雙十一剛剛結(jié)束，其實最緊張的不是商鋪理貨，也不是網(wǎng)友緊盯大促商品準備秒殺，而是網(wǎng)購幕后的運維人員，他們最擔心：什么網(wǎng)絡中斷、應用卡頓、響應速度慢，服務器宕機……雙十一作為電商 IT 部門的頭等大事，大促前，運維人員就需要...
摘要：華為云數(shù)據(jù)庫安全服務，簡稱，經(jīng)過華為內(nèi)部大規(guī)模實踐和廣泛邀請各行業(yè)企業(yè)試用后，已經(jīng)在今年上線華為云。華為數(shù)據(jù)庫安全服務能夠更加全面的解決前文提到的敏感數(shù)據(jù)泄露的問題。5月12日，第九屆中國數(shù)據(jù)庫技術(shù)大會（DTCC2018）在北京落下帷幕，縱觀三天的會議議程，當前全球主要的數(shù)據(jù)庫例如Oracle，MySQL，SQL Server，PostgreSQL等紛紛亮相大會，來自國內(nèi)外互聯(lián)網(wǎng)、金融、教育...
摘要：阿里云成為唯一入選的中國產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
摘要：阿里云成為唯一入選的中國產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
閱讀 990·2021-10-25 09:48
閱讀 691·2021-08-23 09:45
閱讀 2548·2019-08-30 15:53
閱讀 1803·2019-08-30 12:45
閱讀 729·2019-08-29 17:21
閱讀 3543·2019-08-27 10:56
閱讀 2605·2019-08-26 13:48
閱讀 752·2019-08-26 12:24
