摘要：智能調(diào)度系統(tǒng)實時監(jiān)測集群所有計算節(jié)點計算存儲網(wǎng)絡(luò)等負載信息，作為虛擬機調(diào)度和管理的數(shù)據(jù)依據(jù)。當(dāng)有新的虛擬資源需要部署時，調(diào)度系統(tǒng)會優(yōu)先選擇低負荷節(jié)點進行部署，確保整個集群節(jié)點的負載。

智能調(diào)度是 UCloudStack 平臺虛擬機資源調(diào)度管理的核心，由調(diào)度模塊負責(zé)調(diào)度任務(wù)的控制和管理，用于決策虛擬機運行在哪一臺物理服務(wù)器上，同時管理虛擬機狀態(tài)及遷移計劃，保證虛擬機可用性和可靠性。

智能調(diào)度系統(tǒng)實時監(jiān)測集群所有計算節(jié)點計算、存儲、網(wǎng)絡(luò)等負載信息，作為虛擬機調(diào)度和管理的數(shù)據(jù)依據(jù)。當(dāng)有新的虛擬資源需要部署時，調(diào)度系統(tǒng)會優(yōu)先選擇低負荷節(jié)點進行部署，確保整個集群節(jié)點的負載。如下圖所示，新創(chuàng)建的虛擬資源將會通過調(diào)度檢測，自動部署至負載較低的 Node3 節(jié)點上。

調(diào)度系統(tǒng)在優(yōu)先選擇低負荷節(jié)點進行虛擬資源部署的同時，分別提供打散部署、在線遷移、宕機遷移等能力，整體保證云平臺的可靠性。UCloudStack 云平臺使用分布式存儲提供存儲服務(wù)，如上圖所示，虛擬機均運行于分布式存儲池之上，且分布式存儲池可跨多臺物理機構(gòu)建統(tǒng)一分布式存儲資源池。虛擬機的系統(tǒng)盤、鏡像文件及掛載的硬盤均存儲于統(tǒng)一分布式存儲池中，每臺計算節(jié)點均可通過分布式存儲池中的虛擬機的系統(tǒng)盤文件及配置信息注冊一個相同的虛擬機進程，可作用于在線遷移或宕機遷移任務(wù)。

3.2.1 在線遷移

在線遷移（虛擬機熱遷移）是計劃內(nèi)的遷移操作，即虛擬機不停機的情況下，在不同的物理機之間進行在線跨機遷移。首先是在目標(biāo)物理機注冊一個相同配置的虛擬機進程，然后進行虛擬機內(nèi)存數(shù)據(jù)同步，最終快速切換業(yè)務(wù)到目標(biāo)新虛擬機。整個遷移切換過程非常短暫，幾乎不影響或中斷用戶運行在虛擬機中的業(yè)務(wù)，適用于云平臺資源動態(tài)調(diào)整、物理機停機維護、優(yōu)化服務(wù)器能源消耗等場景，進一步增強云平臺可靠性。

由于采用分布式統(tǒng)一存儲，虛擬機在線遷移時只遷移 【計算】 的運行位置，不涉及 【存儲】（系統(tǒng)盤、鏡像、云硬盤）位置遷移。遷移時僅需通過統(tǒng)一存儲內(nèi)的源虛擬機配置文件在目的主機上注冊一個相同配置且狀態(tài)置為暫停的虛擬機進程，然后反復(fù)遷移源虛擬機的內(nèi)存至目的虛擬機，待虛擬機內(nèi)存同步一致后，關(guān)閉源虛擬機并激活目標(biāo)虛擬機進程，最后進行網(wǎng)絡(luò)切換并成功接管源虛擬機業(yè)務(wù)。

整個遷移任務(wù)僅在激活目標(biāo)虛擬機及網(wǎng)絡(luò)切換時業(yè)務(wù)處于短暫中斷，由于激活和切換所用時間很短，少于 TCP 超時重傳時間，因此源虛擬機業(yè)務(wù)幾乎無感知。同時由于無需遷移虛擬機磁盤及鏡像位置，虛機掛載的云盤遷移后不受影響，可為用戶提供無感知且攜帶存儲數(shù)據(jù)的遷移服務(wù)。具體遷移過程如下：

1. 注冊目標(biāo)虛擬機調(diào)度系統(tǒng)使用統(tǒng)一分布式存儲內(nèi)的源虛擬機配置文件在目標(biāo)主機上注冊一個相同配置的虛擬機進程；注冊的虛擬機進程為不可提供服務(wù)的暫停【paused】狀態(tài)，并通過監(jiān)聽一個 TCP 端口接收遷移數(shù)據(jù)；注冊目標(biāo)虛擬機的階段為瞬間完成，通常耗時為幾毫秒，此時源虛擬機處于正常提供業(yè)務(wù)的狀態(tài)。
2. 遷移源虛擬機內(nèi)存在目標(biāo)虛擬機注冊完成的同時，調(diào)度系統(tǒng)會立即將源虛擬機的全量內(nèi)存數(shù)據(jù)遷移至目標(biāo)虛擬機；為保證數(shù)據(jù)遷移的一致性，遷移過程中源虛擬機的內(nèi)存更新也需要進行同步，因此調(diào)度系統(tǒng)通過多次迭代將源虛擬機產(chǎn)生的新內(nèi)存數(shù)據(jù)遷移至目標(biāo)端，耗時與物理機的網(wǎng)絡(luò)帶寬、性能及虛擬機的內(nèi)存大小有關(guān)；內(nèi)存遷移時源虛擬機正常提供業(yè)務(wù)，待內(nèi)存數(shù)據(jù)反復(fù)迭代遷移完成時立即暫停源虛擬機進程，避免產(chǎn)生新的內(nèi)存數(shù)據(jù)；源虛擬機進程暫停后，會再進行一次內(nèi)存數(shù)據(jù)的同步，保證源端和目標(biāo)端的數(shù)據(jù)一致性。
3. 接管源虛擬機服務(wù)完成內(nèi)存同步的收尾工作，調(diào)度系統(tǒng)會關(guān)閉源虛擬機并激活目標(biāo)虛擬機的進程，實現(xiàn)虛擬機平滑運行；虛擬機從源主機遷移至目標(biāo)主機，系統(tǒng)會將虛擬機的網(wǎng)絡(luò)切換至目標(biāo)主機（下發(fā)流表），通過目標(biāo)主機的 vSwitch 進行通信，成功接管源虛擬機服務(wù)。若虛擬機有綁定的外網(wǎng) IP ，外網(wǎng) IP 地址在網(wǎng)絡(luò)切換時會自動漂移至目標(biāo)主機，并通過 OVS 中的流表進行通信。

整個遷移過程中，從源虛擬機暫停至目標(biāo)虛擬機激活并完成網(wǎng)絡(luò)切換為停機時間，由于激活虛擬機及網(wǎng)絡(luò)切換時間非常短暫，通常小于幾百毫秒，少于 TCP 超時重傳時間，對大多數(shù)應(yīng)用服務(wù)來說可忽略不計，因此虛擬機業(yè)務(wù)幾乎不會感知到遷移停機。如智能調(diào)度圖中的 VM6 默認運行在 Node1 上，管理員通過在線遷移功能手動將 VM6 遷移至 Node3 的流程如下：

• 調(diào)度系統(tǒng)收到遷移指令后，會立即使用 VM6 的配置文件在 Node3 節(jié)點上注冊一個暫停狀態(tài)的虛擬機進程；
• 立即遷移 VM6 的全量進程數(shù)據(jù)至 Node3 節(jié)點的 VM6，并反復(fù)多次遷移更新內(nèi)存數(shù)據(jù)；
• 調(diào)度系統(tǒng)暫停 Node1 上的 VM6 虛擬機，再次進行內(nèi)存數(shù)據(jù)的遷移并關(guān)閉 VM6 虛擬機；
• 激活 Node3 節(jié)點上的 VM6 虛擬機進程，完成網(wǎng)絡(luò)切換并接管 VM6 的業(yè)務(wù)服務(wù)及通信；
• 若 VM6 有掛載的云硬盤，遷移成功后，不影響已云硬盤的掛載信息及配置，可正常讀寫云硬盤。

3.2.2 宕機遷移

宕機遷移又稱離線遷移（Offline Migration）或虛擬機高可用（ High Availability），指平臺底層物理機出現(xiàn)異?；蚬收隙鴮?dǎo)致宕機時，調(diào)度系統(tǒng)會自動將其所承載的虛擬資源快速遷移到健康且負載正常的物理機，盡量保證業(yè)務(wù)的可用性。整體宕機遷移不涉及存儲及數(shù)據(jù)遷移，新虛擬機可快速在新物理機上運行，平均遷移時間為 90 秒左右，可能會影響或中斷運行在虛擬機中的業(yè)務(wù)。

由于采用分布式統(tǒng)一存儲，虛擬機的系統(tǒng)盤及寫進系統(tǒng)盤的數(shù)據(jù)均存儲在底層分布式存儲中，虛擬機宕機遷移只遷移 【計算】 的運行位置，不涉及 【存儲】（系統(tǒng)盤、鏡像、云硬盤）位置遷移，僅需在新物理機上重新啟動虛擬機并保證網(wǎng)絡(luò)通信即可。遷移機制說明如下：

• UCloudStack 調(diào)度管理系統(tǒng)會周期性檢測除本物理機之外的所有物理機，間隔時間為 10秒；
• 當(dāng)檢測到某物理機出現(xiàn)網(wǎng)絡(luò)中斷，則會重試 3次；
• 如果重試 3 次之后都不成功，就會將此物理機標(biāo)記為不可達；
• 在所有物理機中，有超過半數(shù)的物理機都標(biāo)記某臺物理機為不可達，就會判定此物理機為宕機，那么此物理機所有的虛擬機會在該集群（Set）內(nèi)進行宕機遷移操作；
• 調(diào)度系統(tǒng)使用分布式存儲內(nèi)故障虛擬機的系統(tǒng)盤及數(shù)據(jù)重新在新物理機上啟動虛擬機，啟動過程及狀態(tài)流轉(zhuǎn)與新建虛擬機一致，平均啟動時間為 30 秒左右；
• 虛擬機在新物理機上啟動后，會將虛擬機網(wǎng)絡(luò)切換至新物理機，通過 OVS 中下發(fā)的流表進行通信；
• 若虛擬機有綁定的外網(wǎng) IP ，外網(wǎng) IP 地址遷移后自動漂移至目標(biāo)主機，并通過 OVS 中的流表進行通信。

整個遷移過程，從檢測到故障至遷移成功平均為 90 秒左右。虛擬機啟動時間與源虛擬機的組件及配置有關(guān)，如綁定云硬盤、外網(wǎng) IP 、彈性網(wǎng)卡及操作系統(tǒng)等；同時由于虛擬機規(guī)格過大、底層物理資源不足、底層硬件故障等原因可能會導(dǎo)致宕機遷移失敗，通常建議盡量保證底層物理資源充足。

如智能調(diào)度圖中的 Node2 節(jié)點故障，智能調(diào)度系統(tǒng)自動將 VM3 和 VM4 分別遷移至 Node1 和 Node3 節(jié)點，具體流程如下：

• 調(diào)度系統(tǒng)經(jīng)過周期性監(jiān)測及二層檢測，判斷 Node2 節(jié)點故障，VM3/VM4 兩臺虛擬機不可用，需要進行宕機遷移操作；
• 調(diào)度系統(tǒng)根據(jù)收集的集群節(jié)點信息，使用分布式存儲系統(tǒng)中 VM3 的系統(tǒng)盤及數(shù)據(jù)在 Node1 節(jié)點啟動 VM3 虛擬機，并在啟動后重新下發(fā)流表將 VM3 的網(wǎng)絡(luò)信息切換至 Node1 ；
• 使用分布式存儲系統(tǒng)中 VM4 的系統(tǒng)盤及數(shù)據(jù)盤在 Node3 節(jié)點啟動 VM4 虛擬機，并在啟動后重新下發(fā)流表將 VM4 的網(wǎng)絡(luò)信息切換至 Node3 ；
• 若 VM3 或 VM4 已綁定外網(wǎng) IP ，虛擬機啟動后外網(wǎng) IP 地址會分別漂移至 Node1 和 Node3 節(jié)點，并通過 OVS 中的流表進行通信。

宕機遷移的前提是集群中至少有 2 臺以上的物理服務(wù)器，且在遷移過程中需保證健康節(jié)點的資源充足及網(wǎng)絡(luò)連通性。通過宕機遷移技術(shù)，為業(yè)務(wù)系統(tǒng)提供高可用性，極大縮短由于各種主機物理故障或鏈路故障引起的中斷時間。