資訊專欄INFORMATION COLUMN
摘要：上個文章集群搭建主主從模式中我們知道如何搭建主主從模式，今天這個文章正式進入高可用的架構(gòu)。由開發(fā)，用來管理和監(jiān)控雙主復制，雖然是雙主架構(gòu)，但是業(yè)務(wù)上同一時間只允許一個節(jié)點進行寫入操作。包含兩類角色和分別對應(yīng)讀寫節(jié)點和只讀節(jié)點。
上個文章 MySQL集群搭建(2)-主主從模式 中我們知道如何搭建 MySQL 主主從模式，今天這個文章正式進入 MySQL 高可用的架構(gòu)。
1 MMM 介紹 1.1 簡介MMM 是一套支持雙主故障切換以及雙主日常管理的第三方軟件。MMM 由 Perl 開發(fā)，用來管理和監(jiān)控雙主復制，雖然是雙主架構(gòu)，但是業(yè)務(wù)上同一時間只允許一個節(jié)點進行寫入操作。
MMM 包含兩類角色: writer 和 reader, 分別對應(yīng)讀寫節(jié)點和只讀節(jié)點。
使用 MMM 管理雙主節(jié)點的情況下，當 writer 節(jié)點出現(xiàn)宕機(假定是 master1)，程序會自動移除該節(jié)點上的讀寫 VIP，切換到 Master2 ，并設(shè)置 Master2 為 read_only = 0, 同時，所有 Slave 節(jié)點會指向 Master2。
除了管理雙主節(jié)點，MMM 也會管理 Slave 節(jié)點，在出現(xiàn)宕機、復制延遲或復制錯誤，MMM 會移除該節(jié)點的 VIP，直到節(jié)點恢復正常。
1.2 組件MMM 由兩類程序組成
monitor: 監(jiān)控集群內(nèi)數(shù)據(jù)庫的狀態(tài)，在出現(xiàn)異常時發(fā)布切換命令，一般和數(shù)據(jù)庫分開部署
agent: 運行在每個 MySQL 服務(wù)器上的代理進程，monitor 命令的執(zhí)行者，完成監(jiān)控的探針工作和具體服務(wù)設(shè)置，例如設(shè)置 VIP、指向新同步節(jié)點
其架構(gòu)如下:
以上述架構(gòu)為例，描述一下故障轉(zhuǎn)移的流程，現(xiàn)在假設(shè) Master1 宕機
Monitor 檢測到 Master1 連接失敗
Monitor 發(fā)送 set_offline 指令到 Master1 的 Agent
Master1 Agent 如果存活，下線寫 VIP，嘗試把 Master1 設(shè)置為 read_only=1
Moniotr 發(fā)送 set_online 指令到 Master2
Master2 Agent 接收到指令，執(zhí)行 select master_pos_wait() 等待同步完畢
Master2 Agent 上線寫 VIP，把 Master2 節(jié)點設(shè)為 read_only=0
Monitor 發(fā)送更改同步對象的指令到各個 Slave 節(jié)點的 Agent
各個 Slave 節(jié)點向新 Master 同步數(shù)據(jù)
從整個流程可以看到，如果主節(jié)點出現(xiàn)故障，MMM 會自動實現(xiàn)切換，不需要人工干預(yù)，同時我們也能看出一些問題，就是數(shù)據(jù)庫掛掉后，只是做了切換，不會主動補齊丟失的數(shù)據(jù)，所以 MMM 會有數(shù)據(jù)不一致性的風險。
2 MMM 安裝 2.1 yum 安裝如果服務(wù)器能連網(wǎng)或者有合適 yum 源，直接執(zhí)行以下命令安裝
# 增加 yum 源(如果默認 yum 源有，這一步可以忽略) yum install epel-release.noarch # 在 agent 節(jié)點執(zhí)行 yum install -y mysql-mmm-agent # 在 monitor 節(jié)點執(zhí)行 yum install -y mysql-mmm-monitor
執(zhí)行該安裝命令，會安裝以下軟件包或依賴
mysql-mmm-agent.noarch 0:2.2.1-1.el5 libart_lgpl.x86_64 0:2.3.17-4 mysql-mmm.noarch 0:2.2.1-1.el5 perl-Algorithm-Diff.noarch 0:1.1902-2.el5 perl-DBD-mysql.x86_64 0:4.008-1.rf perl-DateManip.noarch 0:5.44-1.2.1 perl-IPC-Shareable.noarch 0:0.60-3.el5 perl-Log-Dispatch.noarch 0:2.20-1.el5 perl-Log-Dispatch-FileRotate.noarch 0:1.16-1.el5 perl-Log-Log4perl.noarch 0:1.13-2.el5 perl-MIME-Lite.noarch 0:3.01-5.el5 perl-Mail-Sender.noarch 0:0.8.13-2.el5.1 perl-Mail-Sendmail.noarch 0:0.79-9.el5.1 perl-MailTools.noarch 0:1.77-1.el5 perl-Net-ARP.x86_64 0:1.0.6-2.1.el5 perl-Params-Validate.x86_64 0:0.88-3.el5 perl-Proc-Daemon.noarch 0:0.03-1.el5 perl-TimeDate.noarch 1:1.16-5.el5 perl-XML-DOM.noarch 0:1.44-2.el5 perl-XML-Parser.x86_64 0:2.34-6.1.2.2.1 perl-XML-RegExp.noarch 0:0.03-2.el5 rrdtool.x86_64 0:1.2.27-3.el5 rrdtool-perl.x86_64 0:1.2.27-3.el5
其他系統(tǒng)安裝方式可以參考官網(wǎng)
2.2 手動安裝 1). 下載安裝包進入 MMM 下載頁面 Downloads MMM for MySQL，點擊下載，如圖
下載完成上傳到服務(wù)器上
2). 安裝依賴yum install -y wget perl openssl gcc gcc-c++
wget http://xrl.us/cpanm --no-check-certificate
mv cpanm /usr/bin
chmod 755 /usr/bin/cpanm
cat > /root/list << EOF
install Algorithm::Diff
install Class::Singleton
install DBI
install DBD::mysql
install File::Basename
install File::stat
install File::Temp
install Log::Dispatch
install Log::Log4perl
install Mail::Send
install Net::ARP
install Net::Ping
install Proc::Daemon
install Thread::Queue
install Time::HiRes
EOF
for package in `cat /root/list`
do
cpanm $package
done
3). 安裝
tar -xvf mysql-mmm-2.2.1.tar.gz cd mysql-mmm-2.2.1 make install
ps: 大部分時候，數(shù)據(jù)庫機器都是不允許連接外網(wǎng)的，這個時候只能把上述依賴的 RPM 包一個個下載下來拷到服務(wù)器上3 數(shù)據(jù)庫環(huán)境準備
操作前已經(jīng)準備好了一套主主從架構(gòu)的數(shù)據(jù)庫，搭建方法可以參考以往文章，具體信息如下
節(jié)點信息| IP | 系統(tǒng) | 端口 | MySQL版本 | 節(jié)點 | 讀寫 | 說明 |
|---|---|---|---|---|---|---|
| 10.0.0.247 | Centos6.5 | 3306 | 5.7.9 | Master | 讀寫 | 主節(jié)點 |
| 10.0.0.248 | Centos6.5 | 3306 | 5.7.9 | Standby | 只讀,可切換為讀寫 | 備主節(jié)點 |
| 10.0.0.249 | Centos6.5 | 3306 | 5.7.9 | Slave | 只讀 | 從節(jié)點 |
| 10.0.0.24 | Centos6.5 | - | - | monitor | - | MMM Monitor |
| 簡稱 | VIP | 類型 |
|---|---|---|
| RW-VIP | 10.0.0.237 | 讀寫VIP |
| RO-VIP1 | 10.0.0.238 | 讀VIP |
| RO-VIP2 | 10.0.0.239 | 讀VIP |
Master1
[client] port = 3306 default-character-set=utf8mb4 socket = /data/mysql_db/test_mmm/mysql.sock [mysqld] datadir = /data/mysql_db/test_mmm basedir = /usr/local/mysql57 tmpdir = /tmp socket = /data/mysql_db/test_mmm/mysql.sock pid-file = /data/mysql_db/test_mmm/mysql.pid skip-external-locking = 1 skip-name-resolve = 1 port = 3306 server_id = 2473306 default-storage-engine = InnoDB character-set-server = utf8mb4 default_password_lifetime=0 auto_increment_offset = 1 auto_increment_increment = 2 #### log #### log_timestamps=system log_bin = /data/mysql_log/test_mmm/mysql-bin log_bin_index = /data/mysql_log/test_mmm/mysql-bin.index binlog_format = row relay_log_recovery=ON relay_log=/data/mysql_log/test_mmm/mysql-relay-bin relay_log_index=/data/mysql_log/test_mmm/mysql-relay-bin.index log_error = /data/mysql_log/test_mmm/mysql-error.log #### replication #### log_slave_updates = 1 replicate_wild_ignore_table = information_schema.%,performance_schema.%,sys.% #### semi sync replication settings ##### plugin_dir=/usr/local/mysql57/lib/plugin plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so" loose_rpl_semi_sync_master_enabled = 1 loose_rpl_semi_sync_slave_enabled = 1
Master2
[client] port = 3306 default-character-set=utf8mb4 socket = /data/mysql_db/test_mmm/mysql.sock [mysqld] datadir = /data/mysql_db/test_mmm basedir = /usr/local/mysql57 tmpdir = /tmp socket = /data/mysql_db/test_mmm/mysql.sock pid-file = /data/mysql_db/test_mmm/mysql.pid skip-external-locking = 1 skip-name-resolve = 1 port = 3306 server_id = 2483306 default-storage-engine = InnoDB character-set-server = utf8mb4 default_password_lifetime=0 auto_increment_offset = 2 auto_increment_increment = 2 #### log #### log_timestamps=system log_bin = /data/mysql_log/test_mmm/mysql-bin log_bin_index = /data/mysql_log/test_mmm/mysql-bin.index binlog_format = row relay_log_recovery=ON relay_log=/data/mysql_log/test_mmm/mysql-relay-bin relay_log_index=/data/mysql_log/test_mmm/mysql-relay-bin.index log_error = /data/mysql_log/test_mmm/mysql-error.log #### replication #### log_slave_updates = 1 replicate_wild_ignore_table = information_schema.%,performance_schema.%,sys.% #### semi sync replication settings ##### plugin_dir=/usr/local/mysql57/lib/plugin plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so" loose_rpl_semi_sync_master_enabled = 1 loose_rpl_semi_sync_slave_enabled = 1
Slave
[client] port = 3306 default-character-set=utf8mb4 socket = /data/mysql_db/test_mmm/mysql.sock [mysqld] datadir = /data/mysql_db/test_mmm basedir = /usr/local/mysql57 tmpdir = /tmp socket = /data/mysql_db/test_mmm/mysql.sock pid-file = /data/mysql_db/test_mmm/mysql.pid skip-external-locking = 1 skip-name-resolve = 1 port = 3306 server_id = 2493306 default-storage-engine = InnoDB character-set-server = utf8mb4 default_password_lifetime=0 read_only=1 #### log #### log_timestamps=system log_bin = /data/mysql_log/test_mmm/mysql-bin log_bin_index = /data/mysql_log/test_mmm/mysql-bin.index binlog_format = row relay_log_recovery=ON relay_log=/data/mysql_log/test_mmm/mysql-relay-bin relay_log_index=/data/mysql_log/test_mmm/mysql-relay-bin.index log_error = /data/mysql_log/test_mmm/mysql-error.log #### replication #### log_slave_updates = 1 replicate_wild_ignore_table = information_schema.%,performance_schema.%,sys.% #### semi sync replication settings ##### plugin_dir=/usr/local/mysql57/lib/plugin plugin_load = "rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so" loose_rpl_semi_sync_master_enabled = 1 loose_rpl_semi_sync_slave_enabled = 1新建用戶
在主節(jié)點中執(zhí)行下列建立 MMM 用戶的命令，由于是測試環(huán)境，密碼就設(shè)為和賬號一樣
CREATE USER "mmm_monitor"@"%" IDENTIFIED BY "mmm_monitor"; CREATE USER "mmm_agent"@"%" IDENTIFIED BY "mmm_agent"; GRANT REPLICATION CLIENT ON *.* TO "mmm_monitor"@"%"; GRANT SUPER, REPLICATION CLIENT, PROCESS ON *.* TO "mmm_agent"@"%"; FLUSH PRIVILEGES;4 配置 MMM 4.1 配置文件
MMM 有3個配置文件，分別是 mmm_agent.conf, mmm_common.conf, mmm_mon.conf, 在目錄 /etc/mysql-mmm 下。如果區(qū)分集群，也就是說一臺服務(wù)器跑多個 MMM，那么配置文件可以這樣命名 mmm_agent_cluster.conf, mmm_common_cluster.conf, mmm_mon_cluster.conf, 其中 cluster 表示集群名稱
mmm_common.conf , 通用配置，在所有 MMM 節(jié)點都需要
mmm_agent.conf, agent 配置，在 MMM Agent 節(jié)點需要
mmm_mon.conf, monitor 配置，在 MMM Monitor 節(jié)點需要
這次配置，我們把集群名命名為 test_mmm, 下面是具體配置
mmm_common在所有節(jié)點新建 /etc/mysql-mmm/mmm_common_test_mmm.conf, 根據(jù)實際情況寫上
active_master_role writermmm_agentcluster_interface eth0 # 群集的網(wǎng)絡(luò)接口 agent_port 9989 # agent 監(jiān)聽端口，如果有多個 agent，需要更改默認端口 mysql_port 3306 # 數(shù)據(jù)庫端口，默認為3306 pid_path /var/run/mysql-mmm/mmm_agentd_test_mmm.pid # pid路徑, 要和啟動文件對應(yīng) bin_path /usr/libexec/mysql-mmm # bin 文件路徑 replication_user repl # 復制用戶 replication_password repl # 復制用戶密碼 agent_user mmm_agent # 代理用戶，用來設(shè)置 `read_only` 等 agent_password mmm_agent # 代理用戶密碼 # master1 的 host 名 ip 10.0.0.247 # master1 的 ip mode master # 角色屬性，master 代表是主節(jié)點 peer cluster02 # 與 master1 對等的服務(wù)器的 host 名，雙主中另一個的主機名 # master2 的 host 名 ip 10.0.0.248 # master2 的 ip mode master # 角色屬性，master 代表是主節(jié)點 peer cluster01 # 與 master2 對等的服務(wù)器的 host 名，雙主中另一個的主機名 # slave 的 host 名 ip 10.0.0.249 # slave 的 ip mode slave # 角色屬性，slave 代表是從節(jié)點 # writer 角色配置 hosts cluster01, cluster02 # 能進行寫操作的服務(wù)器的 host 名 ips 10.0.0.237 # writer 的 VIP mode exclusive # exclusive 代表只允許存在一個主節(jié)點(寫節(jié)點)，也就是只能提供一個寫的 VIP # writer 角色配置 hosts cluster01, cluster02, cluster03 # 能進行讀操作的服務(wù)器的 host 名 ips 10.0.0.238,10.0.0.239 # reader 的 VIP mode balanced # balanced 代表負載均衡可以多個 host 同時擁有此角色
在所有 agent 的節(jié)點新建 /etc/mysql-mmm/mmm_agent_test_mmm.conf 文件，寫上以下內(nèi)容
Cluster1
include mmm_common_test_mmm.conf # common 文件名，對應(yīng)上述寫下的文件 this cluster01 # 當前節(jié)點名稱，對應(yīng) common 文件 host 名
Cluster2
include mmm_common_test_mmm.conf this cluster02
Cluster3
include mmm_common_test_mmm.conf this cluster03mmm_mon
在 monitor 節(jié)點新建 /etc/mysql-mmm/mmm_mon_test_mmm.conf 文件，寫下監(jiān)控節(jié)點配置
include mmm_common_test_mmm.conf # common 文件名ip 127.0.0.1 # 監(jiān)聽 IP port 9992 # 監(jiān)聽端口 pid_path /var/run/mysql-mmm/mmm_mond_test_mmm.pid # PID 文件位置, 要和啟動文件對應(yīng) bin_path /usr/libexec/mysql-mmm # bin目錄 status_path /var/lib/mysql-mmm/mmm_mond_test_mmm.status # 狀態(tài)文件位置 ping_ips 10.0.0.247, 10.0.0.248, 10.0.0.249 # 需要監(jiān)控的主機 IP，對應(yīng) MySQL 節(jié)點 IP auto_set_online 30 # 自動恢復 online 的時間 monitor_user mmm_monitor # 監(jiān)控用的 MySQL 賬號 monitor_password mmm_monitor # 監(jiān)控用的 MySQL 密碼 check_period 2 # 監(jiān)控周期 trap_period 4 # 一個節(jié)點被檢測不成功的時間持續(xù) trap_period 秒，就認為失去連接 max_backlog 900 # 主從延遲超過這個值就會設(shè)為 offline debug 0 # 是否開啟 debug 模式
PS1: 以上配置文件在使用的時候需要去掉注釋
PS2: 如果只有一個集群，可以在默認配置文件上改
安裝成功后，會在 /etc/init.d/ 下生成配置啟動文件
[root@chengqm ~]# ls /etc/init.d/mysql* /etc/init.d/mysqld /etc/init.d/mysql-mmm-agent /etc/init.d/mysql-mmm-monitormysql-mmm-agent
在所有 agent 節(jié)點執(zhí)行
cp /etc/init.d/mysql-mmm-agent /etc/init.d/mysql-mmm-agent-test-mmm
打開 /etc/init.d/mysql-mmm-agent-test-mmm, 如果你的配置文件頭部是這樣的
CLUSTER=""
#-----------------------------------------------------------------------
# Paths
if [ "$CLUSTER" != "" ]; then
MMM_AGENTD_BIN="/usr/sbin/mmm_agentd @$CLUSTER"
MMM_AGENTD_PIDFILE="/var/run/mmm_agentd-$CLUSTER.pid"
else
MMM_AGENTD_BIN="/usr/sbin/mmm_agentd"
MMM_AGENTD_PIDFILE="/var/run/mmm_agentd.pid"
fi
echo "Daemon bin: "$MMM_AGENTD_BIN""
echo "Daemon pid: "$MMM_AGENTD_PIDFILE""
改為
CLUSTER="test_mmm"
#-----------------------------------------------------------------------
# Paths
if [ "$CLUSTER" != "" ]; then
MMM_AGENTD_BIN="/usr/sbin/mmm_agentd @$CLUSTER"
MMM_AGENTD_PIDFILE="/var/run/mysql-mmm/mmm_agentd_$CLUSTER.pid"
else
MMM_AGENTD_BIN="/usr/sbin/mmm_agentd"
MMM_AGENTD_PIDFILE="/var/run/mysql-mmm/mmm_agentd.pid"
fi
echo "Daemon bin: "$MMM_AGENTD_BIN""
echo "Daemon pid: "$MMM_AGENTD_PIDFILE""
如果打開發(fā)現(xiàn)是這樣的
MMMD_AGENT_BIN="/usr/sbin/mmm_agentd" MMMD_AGENT_PIDFILE="/var/run/mysql-mmm/mmm_agentd.pid" LOCKFILE="/var/lock/subsys/mysql-mmm-agent" prog="MMM Agent Daemon"
改為
... CLUSTER="test_mmm" MMMD_AGENT_BIN="/usr/sbin/mmm_agentd @$CLUSTER" MMMD_AGENT_PIDFILE="/var/run/mysql-mmm/mmm_agentd_$CLUSTER.pid" LOCKFILE="/var/lock/subsys/mysql-mmm-agent_CLUSTER$" prog="MMM Agent Daemon"mysql-mmm-monitor
在 monitor 節(jié)點執(zhí)行
cp /etc/init.d/mysql-mmm-monitor /etc/init.d/mysql-mmm-monitor-test-mmm
打開 /etc/init.d/mysql-mmm-monitor-test-mmm， 把文件開始部分改為
# Cluster name (it can be empty for default cases)
CLUSTER="test_mmm"
LOCKFILE="/var/lock/subsys/mysql-mmm-monitor-${CLUSTER}"
prog="MMM Monitor Daemon"
if [ "$CLUSTER" != "" ]; then
MMMD_MON_BIN="/usr/sbin/mmm_mond @$CLUSTER"
MMMD_MON_PIDFILE="/var/run/mysql-mmm/mmm_mond_$CLUSTER.pid"
else
MMMD_MON_BIN="/usr/sbin/mmm_mond"
MMMD_MON_PIDFILE="/var/run/mysql-mmm/mmm_mond.pid"
fi
start() {
...
如果打開啟動文件發(fā)現(xiàn)和本文的啟動文件有出入，可以根據(jù)實際情況進行修改，確保啟動 monitor 命令為 /usr/sbin/mmm_mond @$CLUSTER 且 pid 文件和配置文件一致即可
PS: 如果只有一個集群，可以直接使用默認啟動文件
注意： 配置文件的 PID 文件位置要和啟動文件的 PID 文件位置要一致，如果不一致就改為一致
啟動 MMM 的順序是
啟動 MMM Monitor
啟動 MMM Agent
關(guān)閉 MMM 的順序則反過來執(zhí)行
5.1 啟動 Monitor在 monitor 節(jié)點上執(zhí)行啟動命令，示例如下
[root@chengqm ~]# /etc/init.d/mysql-mmm-monitor-test-mmm start Starting MMM Monitor Daemon: [ OK ]
如果啟動有報錯查看 mmm 日志，mmm 日志放在 /var/log/mysql-mmm/ 目錄下
5.2 啟動 Agent在所有 agent 節(jié)點執(zhí)行啟動命令，示例如下
[root@cluster01 ~]# /etc/init.d/mysql-mmm-agent-test-mmm start Daemon bin: "/usr/sbin/mmm_agentd @test_mmm" Daemon pid: "/var/run/mmm_agentd-test_mmm.pid" Starting MMM Agent daemon... Ok5.3 觀察 mmm 狀態(tài)
在 monitor 節(jié)點執(zhí)行 mmm_control @cluster show 命令查看各節(jié)點狀態(tài)
[root@chengqm ~]# mmm_control @test_mmm show cluster01(10.0.0.247) master/ONLINE. Roles: reader(10.0.0.238), writer(10.0.0.237) cluster02(10.0.0.248) master/ONLINE. Roles: reader(10.0.0.239) cluster03(10.0.0.249) slave/ONLINE. Roles:
在 monitor 節(jié)點執(zhí)行 mmm_control @cluster checks all 命令檢測所有節(jié)點
[root@chengqm ~]# mmm_control @test_mmm checks all cluster01 ping [last change: 2018/12/05 20:06:35] OK cluster01 mysql [last change: 2018/12/05 20:23:59] OK cluster01 rep_threads [last change: 2018/12/05 20:24:14] OK cluster01 rep_backlog [last change: 2018/12/05 20:24:14] OK: Backlog is null cluster02 ping [last change: 2018/12/05 20:06:35] OK cluster02 mysql [last change: 2018/12/05 20:23:59] OK cluster02 rep_threads [last change: 2018/12/05 20:24:14] OK cluster02 rep_backlog [last change: 2018/12/05 20:24:14] OK cluster03 ping [last change: 2018/12/05 20:06:35] OK cluster03 mysql [last change: 2018/12/05 20:23:59] OK cluster03 rep_threads [last change: 2018/12/05 20:24:14] OK cluster03 rep_backlog [last change: 2018/12/05 20:24:14] OK: Backlog is null
在 Cluster1 主機查看 VIP 情況
