摘要：今年的無論是常態(tài)全鏈路壓測或者是雙十一當天，面臨的主要問題是如何保障自身系統(tǒng)在海量數(shù)據(jù)沖擊下的穩(wěn)定性，以及如何更快的展現(xiàn)各個系統(tǒng)的狀態(tài)及更好的幫助開發(fā)同學發(fā)現(xiàn)及定位問題。在整個雙十一備戰(zhàn)過程中，遇到并解決了很多疑難雜癥。

摘要： EagleEye作為阿里集團老牌的鏈路跟蹤系統(tǒng)，其自身業(yè)務雖不在交易鏈路上，但卻監(jiān)控著全集團的鏈路狀態(tài)，特別是在中間件的遠程調(diào)用上，覆蓋了集團絕大部分的場景，在問題排查和定位上發(fā)揮著巨大的作用，保障了各個系統(tǒng)的穩(wěn)定性，為整個技術團隊打贏這場戰(zhàn)役保駕護航。

作者：王華鋒（水彧）

背景
雙十一一直是阿里巴巴集團每年要打的一場大戰(zhàn)役。要打贏這場戰(zhàn)役，技術上，不僅僅是幾個應用、幾個系統(tǒng)的事，也不是多少個開發(fā)+多少個測試就能完成的事，而是需要各大系統(tǒng)協(xié)同作戰(zhàn)、每個應用各司其職、技術人員通力合作才能取得最終的勝利。

EagleEye作為阿里集團老牌的鏈路跟蹤系統(tǒng)，其自身業(yè)務雖不在交易鏈路上，但卻監(jiān)控著全集團的鏈路狀態(tài)，特別是在中間件的遠程調(diào)用上，覆蓋了集團絕大部分的場景，在問題排查和定位上發(fā)揮著巨大的作用，保障了各個系統(tǒng)的穩(wěn)定性，為整個技術團隊打贏這場戰(zhàn)役保駕護航。

圖1 EagleEye系統(tǒng)整體情況

近兩年集團業(yè)務和規(guī)模始終保持著高速的增長，縱深上，交易量屢攀新高，雙十一零點的交易峰值也再一次刷新了歷史；橫向上，集團涉及的行業(yè)和領域也不斷的拓展，各行各業(yè)在不斷加入阿里（高德、優(yōu)酷、友盟及大麥等等），共同前進。

面對數(shù)據(jù)規(guī)模持續(xù)增加，如何應對在業(yè)務高速發(fā)展的背景下系統(tǒng)采集的數(shù)據(jù)量級的持續(xù)增長，如何在越來越大的數(shù)據(jù)規(guī)模面前保障EagleEye自身業(yè)務的穩(wěn)定，成為EagleEye今年雙十一面臨的巨大挑戰(zhàn)。

圖2 EagleEye支持的業(yè)務情況

全鏈路壓測一直是阿里巴巴集團保障雙十一的大殺器之一，通過在線上環(huán)境全真模擬雙十一當天的流量來檢驗各個應用系統(tǒng)的負載能力。EagleEye在全鏈路壓測中承擔了重要的責任，透傳壓測標記實現(xiàn)流量的區(qū)分，壓測數(shù)據(jù)的收集與展現(xiàn)用以幫助業(yè)務方的開發(fā)同學發(fā)現(xiàn)及定位系統(tǒng)的問題。所以，保障全鏈路壓測也是EagleEye的重要使命之一。
今年的EagleEye
無論是常態(tài)、全鏈路壓測或者是雙十一當天，EagleEye面臨的主要問題是如何保障自身系統(tǒng)在海量數(shù)據(jù)沖擊下的穩(wěn)定性，以及如何更快的展現(xiàn)各個系統(tǒng)的狀態(tài)及更好的幫助開發(fā)同學發(fā)現(xiàn)及定位問題。今年，EagleEye通過了一系列改造升級提高了系統(tǒng)的穩(wěn)定性，實現(xiàn)了更好更快的輔助業(yè)務方定位及排查問題。

圖3 系統(tǒng)架構(gòu)圖

計算能力下沉
早期的EagleEye在鏈路跟蹤以及數(shù)據(jù)統(tǒng)計都是基于明細日志完成，實時采集全量的明細日志并在流計算中做聚合，隨著業(yè)務量的增長，日志的數(shù)據(jù)量也在急劇上升，計算量也隨之線性增長，資源消耗較高。而且在全鏈路壓測或者大促期間，日志量會有明顯的峰值，極有可能造成計算集群系統(tǒng)過載或者數(shù)據(jù)延遲甚至有可能導致數(shù)據(jù)的丟失。

為解決這類問題，最初的做法是采樣，通過采樣降低收集的日志量，從而穩(wěn)定計算集群的負載及水位，保障EagleEye自身業(yè)務的穩(wěn)定性，盡量減少業(yè)務峰值對我們的影響。但是帶來的問題也是顯而易見的，統(tǒng)計數(shù)據(jù)在計算時需要考慮采樣率估算出真實的數(shù)據(jù)，在采集數(shù)據(jù)量較小且采樣率較高的場景下導致聚合后的數(shù)據(jù)不準確，無法展現(xiàn)業(yè)務真實的狀態(tài)，從而也就失去了其價值。

為徹底解決業(yè)務峰值對EagleEye計算集群的沖擊，將部分實時計算邏輯下沉到業(yè)務方的機器中，使得業(yè)務量和所需采集的日志量解耦，保證計算集群的穩(wěn)定性。具體實現(xiàn)是在業(yè)務方的機器上先將數(shù)據(jù)按照指定維度做聚合（一般是以時間維度），計算集群采集該統(tǒng)計數(shù)據(jù)后再次聚合，極大的穩(wěn)定了計算集群的負載。

圖4 計算能力下沉

計算能力下沉，也可以理解成將計算分布式化，消耗了業(yè)務方極小的一部分資源，保證了EagleEye集群的穩(wěn)定性。而且，集群的計算量不再隨著業(yè)務量的增長而增長，只隨應用規(guī)模（應用數(shù)量、機器數(shù)量）和統(tǒng)計維度的增長而增長，不會再出現(xiàn)由于業(yè)務量的瞬間峰值導致計算機群的負載過高的問題，最終使得EagleEye在全鏈路壓測和大促期間都能保持穩(wěn)定水位，并且產(chǎn)出精準的數(shù)據(jù)。

場景化鏈路
EagleEye一直專注于中間件層面的調(diào)用，而阿里巴巴的業(yè)務量龐大，系統(tǒng)也比較復雜，所以各部分的功能劃分比較清晰，中間件層面的一些數(shù)據(jù)比較難與業(yè)務數(shù)據(jù)相關聯(lián)，對于鏈路跟蹤、問題定位及針對指定業(yè)務場景的容量規(guī)劃等都有一些難度。

今年，EagleEye推出場景化鏈路的功能，開放了添加業(yè)務場景標的能力，類似于壓測流量打壓測標，對指定的業(yè)務打上對應的業(yè)務場景標簽，并關聯(lián)該標簽下所有的中間件調(diào)用（包括服務、緩存、數(shù)據(jù)庫和消息等），一是可以幫助業(yè)務方開發(fā)同學更好地區(qū)分某個RPC流量中的業(yè)務語義，二是可以清晰的梳理出某個業(yè)務場景標下對應的RPC流量，對分析一些關鍵指標，如緩存命中率，數(shù)據(jù)庫RT等有較大的幫助。

圖5 流量場景標

基于此數(shù)據(jù)，也可以更好的復盤全鏈路壓測數(shù)據(jù)。在壓測之前（也可以在常態(tài)下）對關鍵業(yè)務打上指定的標簽，壓測后通過各業(yè)務場景的流量得出對應的性能基線，更好的定位核心鏈路中的問題及性能拼勁，提高壓測的效率和價值。
精細化監(jiān)控
EagleEye的鏈路數(shù)據(jù)對于問題的發(fā)現(xiàn)和定位有著至關重要的作用，更加豐富的數(shù)據(jù)形式和展現(xiàn)對提高發(fā)現(xiàn)的效率有明顯的提升。

在整個雙十一備戰(zhàn)過程中，遇到并解決了很多疑難雜癥。其中，單機問題占了很大的比例。在分布式系統(tǒng)中，單機問題是比較常見的一類問題， 由于此類問題往往與業(yè)務代碼不直接相關，與容器或者機器有一定的關聯(lián)性，且出現(xiàn)的概率較小，有一定的隨機性，導致該問題往往比較難排查。實際業(yè)務的表現(xiàn)可能是RT的抖動，也可能是小概率的錯誤等等。

EagleEye的調(diào)用鏈雖然可以很快定位此類問題，但是調(diào)用鏈是站在單次請求的視角上，在定位到某個IP之后很可能還需要再分析更多的數(shù)據(jù)才能做決策，針對此類的問題，EagleEye提供了錯誤TopN分布以及系統(tǒng)熱點圖等功能，幫助業(yè)務方開發(fā)同學快速定位問題。針對單機故障，往往對于整體的指標影響不大，通過應用級別的監(jiān)控數(shù)據(jù)比較難定位，EagleEye在流計算中統(tǒng)計了應用各個機器的錯誤情況，匯總并排序出Top10的機器，一旦出現(xiàn)單機故障，可以很明顯的定位到具體的IP，并且根據(jù)該IP對應的錯誤數(shù)量可以很快做出決策，縮短了開發(fā)同學排查問題的時間。系統(tǒng)熱點圖在壓測和大促期間對系統(tǒng)健康度的表現(xiàn)非常清晰，一是可以清晰看到是否存在離群點的機器，二是可以驗證流量的去向是否正確。

圖6 系統(tǒng)熱點圖

更豐富的生態(tài)
在阿里巴巴，EagleEye是一款問題排查的利器，一直服務于業(yè)務方的同學幫助其快速發(fā)現(xiàn)并定位問題，降低故障的持續(xù)時間，提升開發(fā)及運維效率。其實，EagleEye底層還蘊含著一份海量的數(shù)據(jù)，在近一年中，我們不斷地利用及挖掘這份數(shù)據(jù)的意義，希望發(fā)揮其更大的價值，同時也希望基于這些數(shù)據(jù)建立一套生態(tài)體系，幫助用戶更好發(fā)展業(yè)務，期間也孕育出很多有價值的產(chǎn)品，為集團的技術發(fā)展打下了基礎。

天秤項目：天秤基于EagleEye的場景數(shù)據(jù)及其中間件、系統(tǒng)指標等監(jiān)控數(shù)據(jù)，結(jié)合其他多款監(jiān)控產(chǎn)品構(gòu)建一個系統(tǒng)穩(wěn)定性解決方案，意在解決問題快速發(fā)現(xiàn)和精準定位、大促常態(tài)化、壓測常態(tài)化等問題。

尖兵計劃 – 更輕量化的全鏈路壓測：尖兵計劃基于EagleEye的中間件、系統(tǒng)指標及壓測數(shù)據(jù)，實現(xiàn)常態(tài)化全鏈路壓測和問題發(fā)現(xiàn)，是保障雙十一及全鏈路壓測順利的大殺器之一，相比去年八次全鏈路壓測，今年環(huán)境加倍復雜，但是只需要三次全鏈路壓測就完成目標，為集團節(jié)省上千個人力，大幅提升交付上線質(zhì)量和大促效率。

精準回歸：依托EagleEye調(diào)用鏈采集與計算的能力，實現(xiàn)了測試用例精準推薦的效果，并在部分應用的精準測試中節(jié)約了50%~70%的測試時間。精準測試通過EagleEye采集，數(shù)據(jù)回流的方案的輸出，在大規(guī)模應用上（千萬鏈路）做到了測試用例與應用代碼鏈路的準實時生成。

天圖項目：天圖依賴了部分EagleEye的鏈路數(shù)據(jù)，為用戶提供面向復雜業(yè)務鏈路、高度分布式架構(gòu)下的Application Performance Management (APM)方案，以全面、實時、可視化、智能的方式讓你快速了解應用和業(yè)務鏈路的全貌。

結(jié)語
今年的雙十一是一次完美的雙十一，可以說是技術團隊的大獲全勝，EagleEye在這次大考中也交出了一份近乎完美的答卷，無論是在全鏈路壓測中還是雙十一當天，系統(tǒng)的穩(wěn)定性和數(shù)據(jù)的實時性都達到了預期，為業(yè)務方的提供了強有力的支持，提高了問題排查的效率。

但是，未來的路還很長，智能化的發(fā)展腳步越來越快，業(yè)務方對EagleEye的數(shù)據(jù)質(zhì)量的要求也越來越高，今后EagleEye會專注于架構(gòu)的演進和智能化的推進，進一步提高問題定位的效率，更好的支撐起基于鏈路數(shù)據(jù)的一片生態(tài)。
點擊查看原文