資訊專欄INFORMATION COLUMN
摘要：組件用于收集的，并準實時同步給下游，如等。為方便用戶和開發(fā)者更加深入理解和使用組件，以及基于組件做二次開發(fā)用于更多的業(yè)務(wù)場景，我們決定今天正式開源組件。近期我們將發(fā)布源碼閱讀指南，敬請期待。
TiDB Binlog 組件用于收集 TiDB 的 binlog，并準實時同步給下游，如：TiDB/MySQL等。該組件在功能上類似于 MySQL 的主從復(fù)制，會收集各個 TiDB 實例產(chǎn)生的 binlog，并按事務(wù)提交的時間排序，全局有序的將數(shù)據(jù)同步至下游。利用 TiDB Binlog 可以實現(xiàn)數(shù)據(jù)準實時同步到其他數(shù)據(jù)庫，以及 TiDB 數(shù)據(jù)準實時的備份與恢復(fù)。TiDB Binlog 作為 TiDB 的核心組件之一，已經(jīng)在上百家用戶的生產(chǎn)環(huán)境中長時間穩(wěn)定運行。
為方便用戶和開發(fā)者更加深入理解和使用 TiDB Binlog 組件，以及基于 TiDB Binlog 組件做二次開發(fā)用于更多的業(yè)務(wù)場景， 我們決定今天正式開源 TiDB Binlog 組件。
TiDB Binlog 適用的功能場景準實時數(shù)據(jù)同步：同步 TiDB 數(shù)據(jù)到其他數(shù)據(jù)庫或消息隊列（如TiDB/MySQL/MariaDB/Kafka）。
準實時備份和恢復(fù)：增量備份 TiDB 集群數(shù)據(jù)到外部系統(tǒng)，利用備份的數(shù)據(jù)在系統(tǒng)故障或者其他場景時可將數(shù)據(jù)恢復(fù)到任意時間點。
TiDB Binlog 架構(gòu) TiDB Binlog 核心特性支持類似 MySQL ROW 復(fù)制模式。
準實時并按事務(wù)提交的時間順序?qū)?shù)據(jù)同步至下游。
分布式架構(gòu)設(shè)計，支持水平彈性擴容和服務(wù)高可用。
數(shù)據(jù)高可靠，系統(tǒng)實時將數(shù)據(jù)持久化到本地磁盤。
支持多種輸出方式，如下：
文件：系統(tǒng)準實時將 binlog 寫入文件系統(tǒng)作為增量備份，利用此增量備份文件可將數(shù)據(jù)恢復(fù)到任意時間點。
消息隊列：按照 binlog slave protocol 輸出到 Kafka。
下游目標數(shù)據(jù)庫：TiDB/MySQL/MariaDB。
TiDB Binlog 代碼及文檔資源TiDB Binlog 源代碼
TiDB Binlog 使用手冊
深入理解 TiDB Binlog 組件實現(xiàn)原理
定制輸出方式或者輸出到其他下游存儲系統(tǒng)
歡迎大家一起參與 TiDB Binlog 的設(shè)計、研發(fā)、測試共同推進 TiDB Binlog 走向更成熟，更穩(wěn)定。近期我們將發(fā)布 TiDB Binlog 源碼閱讀指南，敬請期待。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/18016.html
摘要：原理解讀介紹項目地址是用于將數(shù)據(jù)從遷移到的工具。該工具既支持以全量備份文件的方式將的數(shù)據(jù)導(dǎo)入到，也支持通過解析執(zhí)行的方式將數(shù)據(jù)增量同步到。特別地，對于有多個實例的分庫分表需要合并后同步到同一個集群的場景，提供了良好的支持。 在剛剛結(jié)束的 TiDB DevCon 2019 上，我們宣布將大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 開源（驚不驚喜、意不...
閱讀 895·2021-09-22 15:18
閱讀 1262·2021-09-09 09:33
閱讀 2820·2019-08-30 10:56
閱讀 1262·2019-08-29 16:30
閱讀 1555·2019-08-29 13:02
閱讀 1515·2019-08-26 13:55
閱讀 1702·2019-08-26 13:41
閱讀 2016·2019-08-26 11:56
