摘要：在上篇基于技術(shù)構(gòu)建新一代骨干網(wǎng)智能可靠可調(diào)度一中提到了數(shù)據(jù)中心野蠻式增長(zhǎng)給網(wǎng)絡(luò)和骨干網(wǎng)帶來(lái)了極大挑戰(zhàn)以及骨干網(wǎng)的演進(jìn)路線技術(shù)部分原理介紹。介紹完整個(gè)骨干網(wǎng)的架構(gòu)設(shè)計(jì)后，我們將分別針對(duì)骨干網(wǎng)的智能可靠可調(diào)度三大特性進(jìn)行剖析。

在上篇《基于Segment Routing技術(shù)構(gòu)建新一代骨干網(wǎng)：智能、可靠、可調(diào)度（一）》中提到了UCloud數(shù)據(jù)中心野蠻式增長(zhǎng)給MAN網(wǎng)絡(luò)和骨干網(wǎng)帶來(lái)了極大挑戰(zhàn)以及UCloud骨干網(wǎng)1.0、2.0的演進(jìn)路線、SR技術(shù)部分原理介紹。本文將重點(diǎn)介紹UCloud如何通過(guò)Segment Routing技術(shù)改進(jìn)控制面和轉(zhuǎn)發(fā)面，實(shí)現(xiàn)智能、可靠、可調(diào)度的新一代骨干網(wǎng)。

新一代骨干網(wǎng)架構(gòu)

設(shè)計(jì)目標(biāo)：

• 控制器智能計(jì)算路徑和頭端自動(dòng)計(jì)算路徑：控制器實(shí)時(shí)收集轉(zhuǎn)發(fā)設(shè)備狀態(tài)信息，響應(yīng)轉(zhuǎn)發(fā)節(jié)點(diǎn)路徑計(jì)算請(qǐng)求和路徑下發(fā)。
• 全場(chǎng)景接入，實(shí)現(xiàn)靈活組網(wǎng)：支持用戶本地專線、互聯(lián)網(wǎng)線路混合接入方式，實(shí)現(xiàn)用戶靈活組網(wǎng)。
• 多維度SLA路徑規(guī)劃：滿足多業(yè)務(wù)不同路徑轉(zhuǎn)發(fā)需求，確保關(guān)鍵業(yè)務(wù)的優(yōu)先級(jí)和服務(wù)質(zhì)量。
• 降低專線成本，提高整體專線利用率：廢除骨干網(wǎng)2.0中的VXLAN技術(shù)，縮減包頭開(kāi)銷，降低專線成本；通過(guò)智能流量調(diào)度合理規(guī)劃專線容量。
• 流量可視化，按需調(diào)度：通過(guò)telemetry和netflow技術(shù)實(shí)現(xiàn)骨干網(wǎng)流量可視化，針對(duì)部分“熱點(diǎn)流量”和“噪聲流量”進(jìn)行按需調(diào)度。

整體架構(gòu)如下：

新一代骨干網(wǎng)主要包括三大組件：智能控制器、骨干邊界轉(zhuǎn)發(fā)PE、接入側(cè)轉(zhuǎn)發(fā)CPE&VPE：

控制器：對(duì)全網(wǎng)轉(zhuǎn)發(fā)PE、CPE、VPE等設(shè)備進(jìn)行統(tǒng)一的資源管理、信息收集、配置下發(fā)，監(jiān)控告警以及路徑計(jì)算規(guī)劃，實(shí)現(xiàn)全網(wǎng)資源的統(tǒng)一調(diào)度和管理。

骨干網(wǎng)邊界：全網(wǎng)PE和RR組成SR-TE骨干網(wǎng)核心層，用于實(shí)現(xiàn)多路徑轉(zhuǎn)發(fā)，流量調(diào)度；骨干網(wǎng)邊界對(duì)外主要接入CPE、M-Core、VPE&VCPE等設(shè)備。

接入側(cè)邊界：接入側(cè)分為三種設(shè)備類型：CPE、M-Core、VPE&VCPE。

CPE：主要用于接入本地專線客戶；

M-Core：公有云MAN網(wǎng)絡(luò)核心，實(shí)現(xiàn)各城域網(wǎng)接入骨干網(wǎng)；

VPE：通過(guò)Internet或者4G/5G網(wǎng)絡(luò)接入用戶分支機(jī)構(gòu)的VCPE設(shè)備，提供用戶混合組網(wǎng)能力。

近年來(lái)，云數(shù)據(jù)中心SDN網(wǎng)絡(luò)設(shè)計(jì)思路大行其道，其主要思想是轉(zhuǎn)控分離，轉(zhuǎn)控分離好處不用多說(shuō)，當(dāng)然也有其弊端；SDN數(shù)據(jù)中心網(wǎng)絡(luò)中的控制面故障有太多血的教訓(xùn)，控制面故障帶來(lái)的轉(zhuǎn)發(fā)面影響也是重大的；畢竟轉(zhuǎn)發(fā)面才是真正承載客戶業(yè)務(wù)的地方，所以我們?cè)谠O(shè)計(jì)新一代骨干網(wǎng)時(shí)需要考慮控制器故障時(shí)，如何保持轉(zhuǎn)發(fā)層面的獨(dú)立可用性。

接下來(lái)將介紹基于SR技術(shù)骨干網(wǎng)的控制面和轉(zhuǎn)發(fā)面的設(shè)計(jì)實(shí)現(xiàn)原理。

控制面設(shè)計(jì)

新一代骨干網(wǎng)的控制面主要包括兩個(gè)方面：

一、智能控制器；

二、 SR-TE骨干網(wǎng)路由設(shè)計(jì)控制面。

01、智能控制器

控制器的主要架構(gòu)設(shè)計(jì)如下：

整個(gè)控制器的目標(biāo)為實(shí)現(xiàn)一致的配置下發(fā)與可擴(kuò)展的調(diào)度策略。基于設(shè)備全球部署的特點(diǎn)以及網(wǎng)絡(luò)并非百分之百穩(wěn)定的前提，該系統(tǒng)采用了數(shù)據(jù)層跨地域部署，同時(shí)為了兼顧正常情況下控制器的快速響應(yīng)，控制節(jié)點(diǎn)采用了分機(jī)房的集群部署方式來(lái)保證業(yè)務(wù)的可靠性與高效的調(diào)度能力；上層控制系統(tǒng)通過(guò)BGP-LS、Telemetry技術(shù)采集轉(zhuǎn)發(fā)鏈路狀態(tài)信息，收集到數(shù)據(jù)庫(kù)，之后對(duì)采集到的數(shù)據(jù)進(jìn)行分析處理，最后通過(guò)netconf和PCEP方式下發(fā)配置和智能計(jì)算路徑。

其中數(shù)據(jù)采集主要包括：

• 基本的IGP拓?fù)湫畔ⅲü?jié)點(diǎn)、鏈路、IGP度量值）
• BGP EPE（Egress peer Engineering）信息
• SR信息（SRGB、Prefix-SID、Adj-SID、Anycast-SID等）
• TE鏈路屬性（TE度量、鏈路延遲度量、顏色親和屬性等）
• SR Policy信息（頭端、端點(diǎn)、顏色、Segment列表、BSID等）

Netconf和PCEP主要用于配置下發(fā)和路徑計(jì)算：

• 頭端向控制器請(qǐng)求路徑計(jì)算；控制器針對(duì)收到路徑計(jì)算請(qǐng)求進(jìn)行路徑計(jì)算
• 頭端從控制器學(xué)到路徑，控制器通過(guò)PCEP向頭端傳遞路徑信息
• 頭端向控制器報(bào)告其本地的SR Policy

實(shí)現(xiàn)能力如下：

• 快速的故障響應(yīng)：由于內(nèi)部自定義的算法需求，在線路或者節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)，需要重新計(jì)算整張拓?fù)?，以避開(kāi)故障鏈路；
• 快速實(shí)現(xiàn)手動(dòng)故障域隔離：借助架構(gòu)的優(yōu)勢(shì)，實(shí)現(xiàn)所有流量在線路級(jí)別與節(jié)點(diǎn)級(jí)別的隔離；
• 快速自定義調(diào)優(yōu)路徑：可以根據(jù)客戶的需求快速將客戶流量引導(dǎo)到任意路徑上，保證客戶各類路徑需求；
• 客戶流量秒級(jí)實(shí)時(shí)監(jiān)控：可監(jiān)控流級(jí)別的客戶故障，并實(shí)現(xiàn)故障情況下的路徑保護(hù)；

02、SR-TE骨干網(wǎng)控制面

為了實(shí)現(xiàn)用戶L2和L3接入場(chǎng)景需求，在骨干網(wǎng)規(guī)劃設(shè)計(jì)了基于MP-BGP的L3VPN和BGP-EVPN的L2VPN，下面來(lái)做一個(gè)簡(jiǎn)單的介紹。

MP-BGP

新一代基于SR技術(shù)的骨干網(wǎng)采用了MPLS-VPN的技術(shù)特性，大致需要如下組件：

• 首先需要在MPLS VPN Backbone內(nèi)采用一個(gè)IGP（IS-IS）來(lái)打通核心骨干網(wǎng)絡(luò)的內(nèi)部路由；
• PE上創(chuàng)建VRF實(shí)例，與不同的VRF客戶對(duì)接，VPN實(shí)例關(guān)聯(lián)RD及RT值，并且將相應(yīng)的端口添加到對(duì)應(yīng)的VRF實(shí)例；
• PE上基于VRF實(shí)例運(yùn)行PE-CPE&VPE、M-Core間的路由協(xié)議，從CPE&VPE、M-Core學(xué)習(xí)到站點(diǎn)內(nèi)的VRF路由；
• PE與RR之間，建立MP-IBGP連接，PE將自己從CE處學(xué)習(xí)到的路由導(dǎo)入到MP-IBGP形成VPNv4的前綴并傳遞給對(duì)端PE，并且也將對(duì)端PE發(fā)送過(guò)來(lái)的VPNv4前綴導(dǎo)入到本地相應(yīng)的VRF實(shí)例中；
• 為了讓數(shù)據(jù)能夠穿越MPLS VPN Backbone，所有的核心PE激活MPLS及SR功能。

在傳統(tǒng)的MPLS-VPN技術(shù)的基礎(chǔ)上，摒棄LDP，啟用SR功能來(lái)分配公網(wǎng)標(biāo)簽，內(nèi)層標(biāo)簽繼續(xù)由運(yùn)行MP-BGP協(xié)議的PE設(shè)備來(lái)分配。

BGP-EVPN

在MPLS網(wǎng)絡(luò)中實(shí)現(xiàn)用戶L2場(chǎng)景的接入需求，有很多解決方案比如VPLS，但是傳統(tǒng)的VPLS還是有很多問(wèn)題，比如：不提供 All-Active 雙歸接入，PE流量泛洪可能導(dǎo)致環(huán)路風(fēng)險(xiǎn)以及重復(fù)數(shù)據(jù)幀。

為了解決VPLS的問(wèn)題，我們?cè)谛乱淮歉删W(wǎng)架構(gòu)中采用了BGP-EVPN協(xié)議作為L(zhǎng)2網(wǎng)絡(luò)的控制面；EVPN網(wǎng)絡(luò)和BGP/MPLS IP VPN的網(wǎng)絡(luò)結(jié)構(gòu)相似，為了實(shí)現(xiàn)各個(gè)站點(diǎn)（Site）之間的互通，骨干網(wǎng)上的PE設(shè)備建立EVPN實(shí)例并接入各個(gè)站點(diǎn)的CE設(shè)備，同時(shí)各個(gè)PE之間建立EVPN鄰居關(guān)系；由于EVPN網(wǎng)絡(luò)與BGP/MPLS IP VPN網(wǎng)絡(luò)的不同之處在于各個(gè)站點(diǎn)內(nèi)是二層網(wǎng)絡(luò)，因此PE從各個(gè)CE學(xué)習(xí)到的是MAC地址而不是路由，PE通過(guò)EVPN特有的路由類型將自己從CE學(xué)習(xí)到MAC地址轉(zhuǎn)發(fā)到其它Site。

BGP-EVPN有三個(gè)比較重要的概念：

1、EVPN Instance (EVI) ：EVPN是一種虛擬私有網(wǎng)絡(luò)，在一套物理設(shè)備上可以有多個(gè)同時(shí)存在的EVPN實(shí)例，每個(gè)實(shí)例獨(dú)立存在。每個(gè)EVI連接了一組或者多組用戶網(wǎng)絡(luò)，構(gòu)成一個(gè)或者多個(gè)跨地域的二層網(wǎng)絡(luò)。

2、Ethernet Segment（ESI）：EVPN技術(shù)為PE與某一CE的連接定義唯一的標(biāo)識(shí)ESI（Ethernet Segment Identifier），連接同一CE的多個(gè)PE上的ESI值是相同，連接不同CE的ESI值不同。PE之間進(jìn)行路由傳播時(shí)，路由中會(huì)攜帶ESI值使PE間可以感知到連接同一CE的其它PE設(shè)備。

3、ET（EthernetTag）：每個(gè)EVI可以構(gòu)成一個(gè)或者多個(gè)二層網(wǎng)絡(luò)。當(dāng)EVI包含了多個(gè)二層網(wǎng)絡(luò)時(shí)，通過(guò)Ethernet Tag來(lái)區(qū)分這些二層網(wǎng)絡(luò)。如果我們把二層網(wǎng)絡(luò)看成是廣播域的話（Broadcast Domain），那么ET就是用來(lái)區(qū)分不同廣播域的。

為了不同站點(diǎn)之間可以相互學(xué)習(xí)對(duì)方的MAC信息，因此EVPN在BGP協(xié)議的基礎(chǔ)上定義了一種新的NLRI（Network layer Reachability Information，網(wǎng)絡(luò)層可達(dá)信息），被稱為EVPN NLRI。EVPN NLRI中包含如下幾種常用的EVPN路由類型：

相比較VPLS，EVPN的優(yōu)勢(shì)如下：

1、集成 L2 和 L3 VPN服務(wù)；

2、 類似L3VPN的原理和可擴(kuò)展性和控制性；

3、支持雙歸接入，解決容災(zāi)和ECMP問(wèn)題；

4、 可選擇 MPLS，VXLAN作為數(shù)據(jù)平面；

5、對(duì)等PE自動(dòng)發(fā)現(xiàn)， 冗余組自動(dòng)感應(yīng)。

BGP-LS

BGP-LS用于收集轉(zhuǎn)發(fā)設(shè)備的鏈路狀態(tài)信息以及標(biāo)簽信息，具體規(guī)劃如下：

1、所有PE和RR建立BGP-LS鄰居，PE將各自的鏈路信息、標(biāo)簽信息以及SR Policy狀態(tài)傳遞給RR；

2、RR與控制器建立BGP-LS鄰居，將IGP的鏈路狀態(tài)信息轉(zhuǎn)換后上報(bào)控制器。

轉(zhuǎn)發(fā)面設(shè)計(jì)

01、骨干網(wǎng)核心層

骨干網(wǎng)PE設(shè)備之間運(yùn)行ISIS-L2，并開(kāi)啟SR功能，規(guī)劃Node-SID、Adj-SID、Anycast-SID；PE基于環(huán)回口與RR建立MP-IBGP鄰居關(guān)系，傳遞各站點(diǎn)VPNv4路由，實(shí)現(xiàn)L3VPN用戶業(yè)務(wù)轉(zhuǎn)發(fā)；同時(shí)PE采用BGP EVPN作為Overlay路由協(xié)議，基于環(huán)回口地址建立域內(nèi)BGP EVPN 鄰居關(guān)系，采用SR-TE隧道封裝用戶二層數(shù)據(jù)，實(shí)現(xiàn)L2VPN用戶業(yè)務(wù)通過(guò)SR-TE轉(zhuǎn)發(fā)。

一般分為SR-BE和SR-TE：

SR-BE由兩層標(biāo)簽組成：內(nèi)層標(biāo)簽為標(biāo)識(shí)用戶的VPN標(biāo)簽，外層標(biāo)簽為SR分配的公網(wǎng)標(biāo)簽；

SR-TE由多層標(biāo)簽組成：內(nèi)層標(biāo)簽為標(biāo)識(shí)用戶的VPN標(biāo)簽，外層標(biāo)簽為SR-TE標(biāo)簽，一般由設(shè)備頭端計(jì)算或者通過(guò)控制器下發(fā)的標(biāo)簽棧；

L2用戶通過(guò)查找MAC/IP route來(lái)實(shí)現(xiàn)標(biāo)簽封裝，L3用戶通過(guò)查找VRF中的私網(wǎng)路由來(lái)實(shí)現(xiàn)標(biāo)簽封裝。

02、骨干網(wǎng)邊界層

骨干網(wǎng)PE與CPE&VPE以及公有云的M-Core運(yùn)行EBGP收發(fā)用戶路由，通過(guò)BGP實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)；CPE和VPE與接入用戶CE以及VCPE運(yùn)行EBGP；特別需要注意的是VPE與VCPE是通過(guò)Internet建立的BGP，所以需要通過(guò)IPsec協(xié)議進(jìn)行數(shù)據(jù)加密。

介紹完整個(gè)骨干網(wǎng)的架構(gòu)設(shè)計(jì)后，我們將分別針對(duì)骨干網(wǎng)的智能、可靠、可調(diào)度三大特性進(jìn)行剖析。

新一代骨干網(wǎng)三大特性

01、智能

• 控制器統(tǒng)一編排業(yè)務(wù)場(chǎng)景：

1、分支網(wǎng)絡(luò)設(shè)備自動(dòng)化部署，實(shí)現(xiàn)控制器自動(dòng)計(jì)算路徑和流量統(tǒng)一調(diào)度以及業(yè)務(wù)編排；

2、控制器通過(guò)BGP-LS等收集網(wǎng)絡(luò)拓?fù)?、SR-TE信息以及SR Policy信息，并根據(jù)業(yè)務(wù)需求進(jìn)行路徑計(jì)算，然后通過(guò)BGP-SR-TE/PCEP等協(xié)議將SR Policy下發(fā)到頭端節(jié)點(diǎn)。

• 頭端自動(dòng)算路和自動(dòng)引流：

1、分布式控制面，防止控制器故障帶來(lái)的整網(wǎng)癱瘓影響，支持頭端自動(dòng)引流，廢除復(fù)雜的策略引流機(jī)制；

2、頭端節(jié)點(diǎn)利用IGP攜帶的SR-TE信息和IGP鏈路狀態(tài)信息、SR標(biāo)簽信息等組成SR-TE數(shù)據(jù)庫(kù)，然后基于CSPF算法按照Cost、帶寬、時(shí)延、SRLG和不相交路徑等約束條件計(jì)算滿足條件的路徑，并安裝相應(yīng)的SR Policy指導(dǎo)數(shù)據(jù)包轉(zhuǎn)發(fā)。

• 基于業(yè)務(wù)場(chǎng)景對(duì)網(wǎng)絡(luò)靈活切片：

根據(jù)業(yè)務(wù)的SLA要求，可以規(guī)劃新的網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面，可以將時(shí)延敏感型的業(yè)務(wù)調(diào)度到基于延遲切片的網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面。

如下為現(xiàn)網(wǎng)當(dāng)前規(guī)劃的兩個(gè)網(wǎng)絡(luò)切片轉(zhuǎn)發(fā)平面：

• 毫秒級(jí)拓?fù)涫諗?、鏈路重算、路徑下發(fā)：線路故障場(chǎng)景下控制器可以做到毫秒級(jí)的拓?fù)涫諗?、故障鏈路重算以及備份路徑下發(fā)；
• 流級(jí)別路徑展示：實(shí)現(xiàn)基于數(shù)據(jù)流級(jí)別的路徑查詢和展示。

02、可靠

• 全球核心節(jié)點(diǎn)專線組網(wǎng)：節(jié)點(diǎn)之間提供運(yùn)營(yíng)商級(jí)的專線資源，SLA可達(dá)99.99%；
• 雙PE節(jié)點(diǎn) Anycast-SID保護(hù)：地域級(jí)的雙PE配置Anycast-SID標(biāo)簽，實(shí)現(xiàn)路徑的ECMP和快速容災(zāi)收斂；
• Ti-LFA無(wú)環(huán)路徑保護(hù)：100%覆蓋故障場(chǎng)景，50ms內(nèi)完成備份路徑切換；
• SR-TE主備路徑保護(hù)：SR-TE路徑中規(guī)劃主備Segment-List，實(shí)現(xiàn)路徑轉(zhuǎn)發(fā)高可用；
• SR-TE路徑快速逃生：SR-TE故障場(chǎng)景下可以一鍵切換到SR-BE轉(zhuǎn)發(fā)路徑（IGP最短路徑轉(zhuǎn)發(fā)）；
• Internet級(jí)骨干網(wǎng)備份：為了保障新一代骨干網(wǎng)的高可靠性，在每個(gè)地域的PE設(shè)備旁路上兩臺(tái)公網(wǎng)路由器，規(guī)劃了一張1:1的Internet骨干網(wǎng)，當(dāng)某地域?qū)＞€故障時(shí)可以自動(dòng)切換到Internet線路上；同時(shí)使用Flex-Algo技術(shù)基于Internet級(jí)骨干網(wǎng)規(guī)劃出一張公網(wǎng)轉(zhuǎn)發(fā)平面用于日常管理流量引流。

03、可調(diào)度

• 根據(jù)五元組，識(shí)別并定義應(yīng)用，支持Per-destination、Per-Flow調(diào)度；
• 跨域之間根據(jù)應(yīng)用業(yè)務(wù)分類定義多條不同類型SR-TE隧道；
• 每種類型隧道定義主備路徑，支持SR-TE一鍵逃生；
• 通過(guò)靈活算法定義Delay、帶寬、TCO（鏈路成本）、公網(wǎng)隧道等多種網(wǎng)絡(luò)切片平面；
• 智能控制器支持自動(dòng)下發(fā)、自動(dòng)計(jì)算、自動(dòng)調(diào)整、自動(dòng)引流和自動(dòng)調(diào)度。

當(dāng)前根據(jù)業(yè)務(wù)需求規(guī)劃了如下幾種骨干網(wǎng)調(diào)度策略：

IGP：最低開(kāi)銷轉(zhuǎn)發(fā)，ISIS接口的cost根據(jù)點(diǎn)到點(diǎn)之間專線物理距離延遲*100得到；

Delay：最低延遲轉(zhuǎn)發(fā)，ISIS接口配置PM功能，動(dòng)態(tài)探測(cè)點(diǎn)到點(diǎn)之間實(shí)際延遲；

TCO：最優(yōu)成本轉(zhuǎn)發(fā)，控制器根據(jù)每條專線的實(shí)際成本計(jì)算出最優(yōu)成本路徑；

FM：自定義轉(zhuǎn)發(fā)，控制器根據(jù)業(yè)務(wù)臨時(shí)需求下發(fā)需求路徑；

FBN：公網(wǎng)隧道轉(zhuǎn)發(fā)，每個(gè)地域之間提供公網(wǎng)VPN線路，提供備份轉(zhuǎn)發(fā)路徑。

SR Policy中基于Color定義兩種引流方式：

1、Per-Destination引流模板：Color在某種程度上將網(wǎng)絡(luò)和業(yè)務(wù)進(jìn)行了解耦，業(yè)務(wù)方可以通過(guò)Color來(lái)描述更復(fù)雜的業(yè)務(wù)訴求，SR-TE通過(guò)Color進(jìn)行業(yè)務(wù)關(guān)聯(lián)。

2、Per-Flow引流模板：通過(guò)DSCP標(biāo)記業(yè)務(wù)，或者ACL進(jìn)行流分類映射到Service-Class等級(jí)，Service-Class關(guān)聯(lián)Color進(jìn)行業(yè)務(wù)引流。

Color資源規(guī)劃

Color屬性在SR-TE中標(biāo)記路由，用于頭端節(jié)點(diǎn)進(jìn)行靈活引流；新一代骨干網(wǎng)絡(luò)設(shè)計(jì)的流量調(diào)度中定義四種Color類型：

默認(rèn)Color：每個(gè)城市節(jié)點(diǎn)的用戶路由必須攜帶的Color值，用于引流默認(rèn)隧道轉(zhuǎn)發(fā)【預(yù)埋保留】。

城市Color：每個(gè)城市每用戶VRF路由必須攜帶的Color值，用于全局流量調(diào)度使用【每個(gè)城市默認(rèn)分配9種相同Color分別關(guān)聯(lián)到不同的業(yè)務(wù)】。

業(yè)務(wù)Color：在Per-flow（基于流分類調(diào)度）場(chǎng)景中使用，每個(gè)城市的MAN網(wǎng)絡(luò)和用戶私網(wǎng)路由標(biāo)記使用，全局引流作用。

本地Color：在Per-flow（基于流分類調(diào)度）場(chǎng)景中結(jié)合自用Color使用，映射Service-Class服務(wù)等級(jí)，關(guān)聯(lián)到業(yè)務(wù)模板。

Color分配規(guī)則

最佳實(shí)踐方案

下面以流調(diào)度為例來(lái)介紹UCloud骨干網(wǎng)業(yè)務(wù)基于SR技術(shù)結(jié)合的最佳實(shí)踐方案。

Per-Flow場(chǎng)景下業(yè)務(wù)模板/Color與Service-Class服務(wù)等級(jí)關(guān)聯(lián)

1.Per-Flow流量調(diào)度規(guī)劃每個(gè)城市分配一個(gè)業(yè)務(wù)Color，MAN網(wǎng)絡(luò)路由在PE設(shè)備上標(biāo)記各城市業(yè)務(wù)Color；

2.每個(gè)頭端節(jié)點(diǎn)PE上定義8種調(diào)度策略，對(duì)應(yīng)于不同的業(yè)務(wù)模板，其中2個(gè)業(yè)務(wù)模板保留；業(yè)務(wù)模板與Color、Service-Class定義標(biāo)準(zhǔn)的映射關(guān)系；

3.點(diǎn)到點(diǎn)的城市之間默認(rèn)支持2條FM自定義策略（自定義隧道策略）；

4.IGP、Delay使用動(dòng)態(tài)SR Policy，其它隧道采用靜態(tài)SR Policy策略；

5.Per-Flow 場(chǎng)景下的endpoint地址支持Anycast-SID，頭端的一臺(tái)PE到末端兩臺(tái)城市的PE只需要定義一條SR Policy即可；

6.以20個(gè)核心城市為例，單個(gè)城市的PE Per-Flow的SR Policy數(shù)量為19*7=133條。

在規(guī)劃中，UCloud基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)根據(jù)公有云業(yè)務(wù)類型將業(yè)務(wù)進(jìn)行分類，分類方法是對(duì)具體業(yè)務(wù)進(jìn)行DSCP標(biāo)記；然后數(shù)據(jù)包到了骨干網(wǎng)PE后再根據(jù)DSCP進(jìn)行靈活引流。

業(yè)務(wù)模板與Service-Class服務(wù)等級(jí)映射：

我們將骨干網(wǎng)當(dāng)作一個(gè)整體，這個(gè)整體的邊界端口使用DSCP和ACL入Service-Class，下面明確定義下何為邊界端口。

邊界端口：

PE連接CPE&VPE、MAN網(wǎng)絡(luò)側(cè)的接口

DSCP入隊(duì)方式：

骨干網(wǎng)邊界端口默認(rèn)信任接入側(cè)用戶的DSCP值，根據(jù)相應(yīng)的DSCP入隊(duì)到Service-Class服務(wù)

ACL入隊(duì)方式：

1.在一些特殊場(chǎng)景下需要針對(duì)某些業(yè)務(wù)通過(guò)ACL分類后入隊(duì)到Service-Class服務(wù)【業(yè)務(wù)本身無(wú)法攜帶DSCP】

2.每種隧道調(diào)度策略都可以通過(guò)ACL對(duì)流進(jìn)行分類，然后入隊(duì)到Service-Class

入隊(duì)和轉(zhuǎn)發(fā)流程：

1.在PE上配置流分類，按照業(yè)務(wù)等級(jí)，將不同的DSCP值映射到Service-Class(8種等級(jí))

2.為隧道（Service-Class）配置對(duì)應(yīng)的調(diào)度策略

3.業(yè)務(wù)流在PE設(shè)備上會(huì)先根據(jù)路由迭代看是否選擇隧道（SR Policy），然后再去比對(duì)流的DSCP值是否和SR Policy中Service-Class映射設(shè)置一致，一致流將從對(duì)應(yīng)隧道通過(guò)

4.業(yè)務(wù)流根據(jù)Service-Class中的調(diào)度策略進(jìn)行流量轉(zhuǎn)發(fā)

分類業(yè)務(wù)和SR-TE隧道映射關(guān)系如下：

1、默認(rèn)所有業(yè)務(wù)按照規(guī)劃的DSCP和調(diào)度策略進(jìn)行關(guān)聯(lián)；

2、使用ACL實(shí)現(xiàn)特殊業(yè)務(wù)類型進(jìn)行臨時(shí)策略調(diào)度。

SR-TE流量工程案例

下面介紹一個(gè)SR-TE實(shí)際調(diào)度的案例分享：

• 業(yè)務(wù)流量背景

業(yè)務(wù)高峰時(shí)段基礎(chǔ)網(wǎng)絡(luò)收到香港-新加坡專線流量突發(fā)告警，智能流量分析系統(tǒng)發(fā)現(xiàn)突發(fā)流量為安全部門(mén)在廣州與雅加達(dá)節(jié)點(diǎn)同步數(shù)據(jù)庫(kù)。

• 調(diào)度前流量模型

正常情況下廣州去往雅加達(dá)的流量通過(guò)IGP最短開(kāi)銷計(jì)算出的路徑為：廣州--->香港--->新加坡--->雅加達(dá)，由于香港-新加坡段為出海流量的中轉(zhuǎn)點(diǎn)，所以經(jīng)常會(huì)在高峰期出現(xiàn)鏈路擁塞情況。

• 傳統(tǒng)流量調(diào)度方案

1、基于目標(biāo)地址流量做逐跳PBR，將大流量業(yè)務(wù)調(diào)度到其它空閑鏈路轉(zhuǎn)發(fā)；

2、基于目的地址的流量進(jìn)行限速，保障鏈路帶寬。

• 傳統(tǒng)調(diào)度存在問(wèn)題

1、逐跳配置策略路由，配置復(fù)雜，運(yùn)維難度大；

2、粗暴的限速策略有損內(nèi)部業(yè)務(wù)。

• SR-TE流量調(diào)度方案

Segment 列表對(duì)數(shù)據(jù)包在網(wǎng)絡(luò)中的任意轉(zhuǎn)發(fā)路徑進(jìn)行編碼，可以避開(kāi)擁塞鏈路，通過(guò)SR流量調(diào)度后的路徑為：廣州--->北京--->法蘭克福--->新加坡--->雅加達(dá)。

• SR-TE流量調(diào)度優(yōu)勢(shì)

1、頭端/控制器可以定義端到端轉(zhuǎn)發(fā)路徑，通過(guò)標(biāo)簽轉(zhuǎn)發(fā)；

2、基于業(yè)務(wù)流進(jìn)行靈活流量調(diào)度（目的地址+業(yè)務(wù)等級(jí)）。

未來(lái)演進(jìn)

上文用很長(zhǎng)的篇幅介紹了UCloud骨干網(wǎng)歷史和新一代骨干網(wǎng)架構(gòu)設(shè)計(jì)細(xì)節(jié)，其實(shí)當(dāng)前基于公有云業(yè)務(wù)調(diào)度只能從MAN網(wǎng)絡(luò)開(kāi)始，還不支持從DCN內(nèi)部開(kāi)始調(diào)度；未來(lái)UCloud基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)將設(shè)計(jì)基于Binding SID技術(shù)的公有云業(yè)務(wù)端到端的流量調(diào)度工程，大致規(guī)劃如下：

• 骨干網(wǎng)為每個(gè)城市的端到端SR-TE隧道分配一個(gè)Binding SID，用于數(shù)據(jù)中心云租戶引流；
• 數(shù)據(jù)中心宿主機(jī)通過(guò)VXLAN將租戶流量送到骨干網(wǎng)UGN(公有云跨域網(wǎng)關(guān))；
• UGN解封裝VXLAN報(bào)文后，封裝MPLS標(biāo)簽，內(nèi)層標(biāo)簽用于區(qū)分租戶，外層標(biāo)簽用于封裝遠(yuǎn)端城市的Binding SID標(biāo)簽；
• PE設(shè)備收到帶有目標(biāo)城市的Binding SID后，自動(dòng)引流進(jìn)對(duì)應(yīng)的SR-TE隧道進(jìn)行轉(zhuǎn)發(fā)；
• 對(duì)端PE收到報(bào)文后解封外層MPLS報(bào)文，然后轉(zhuǎn)發(fā)給UGN，UGN根據(jù)內(nèi)層標(biāo)簽和VXLAN的VNI的映射關(guān)系進(jìn)行轉(zhuǎn)換，最終通過(guò)IP轉(zhuǎn)發(fā)至DCN的宿主機(jī)上。

總結(jié)

UCloud骨干網(wǎng)總體設(shè)計(jì)目標(biāo)是智能、可靠、可調(diào)度，一方面通過(guò)全球?qū)＞€資源將各Region公有云資源、用戶資源打通；另一方面在接入側(cè)支持本地線路+互聯(lián)網(wǎng)線路接入，構(gòu)建骨干網(wǎng)混合組網(wǎng)能力，從而形成了一張穩(wěn)定且高性能的骨干網(wǎng)，為上層公有云業(yè)務(wù)、用戶線下、線上資源開(kāi)通提供可靠的傳輸網(wǎng)絡(luò)，整體上來(lái)看骨干網(wǎng)是UCloud公有云網(wǎng)絡(luò)體系中非常重要的一個(gè)組成部分。

UCloud基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)在過(guò)去的一年重構(gòu)新一代骨干網(wǎng)，使其具備了智能、可靠、可調(diào)度的能力，從而能夠合理的規(guī)劃專線資源，降低了專線成本，且骨干網(wǎng)整體性能得到極大提升。未來(lái)UCloud基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)將會(huì)繼續(xù)緊跟骨干網(wǎng)技術(shù)發(fā)展潮流，為整個(gè)公有云跨域產(chǎn)品提供智能、可靠、可調(diào)度的底層網(wǎng)絡(luò)。

作者：唐玉柱，UCloud 高級(jí)網(wǎng)絡(luò)架構(gòu)師、UCloud新一代骨干網(wǎng)架構(gòu)規(guī)劃項(xiàng)目負(fù)責(zé)人。擁有豐富的數(shù)據(jù)中心、骨干網(wǎng)架構(gòu)設(shè)計(jì)和運(yùn)維經(jīng)驗(yàn)；目前主要負(fù)責(zé)UCloud全球數(shù)據(jù)中心、骨干網(wǎng)架構(gòu)設(shè)備選型、架構(gòu)設(shè)計(jì)和規(guī)劃。