摘要：下需要為每個(gè)多帶帶進(jìn)行采集配置采集日志目錄，采集規(guī)則，存儲(chǔ)目標(biāo)等，不易維護(hù)。日志服務(wù)的日志架構(gòu)實(shí)踐我們提出基于阿里云日志服務(wù)的日志處理架構(gòu)，用以補(bǔ)充社區(qū)的方案，來嘗試解決場(chǎng)景下日志處理的一些細(xì)節(jié)體驗(yàn)問題。

摘要： 在Kubernetes服務(wù)化、日志處理實(shí)時(shí)化以及日志集中式存儲(chǔ)趨勢(shì)下，Kubernetes日志處理上也遇到的新挑戰(zhàn)，包括：容器動(dòng)態(tài)采集、大流量性能瓶頸、日志路由管理等問題。本文介紹了“Logtail + 日志服務(wù) + 生態(tài)”架構(gòu)，介紹了：Logtail客戶端在Kubernetes日志采集場(chǎng)景下的優(yōu)勢(shì)；日志服務(wù)作為基礎(chǔ)設(shè)施一站式解決實(shí)時(shí)讀寫、HTAP兩大日志強(qiáng)需求；日志服務(wù)數(shù)據(jù)的開放性以及與云產(chǎn)品、開源社區(qū)相結(jié)合，在實(shí)時(shí)計(jì)算、可視化、采集上為用戶提供的豐富選擇。

Kubernetes日志處理的趨勢(shì)與挑戰(zhàn)

Kubernetes的serveless化

Kubernetes容器技術(shù)促進(jìn)了技術(shù)棧的去耦合，通過引入棧的分層使得開發(fā)者可以更加關(guān)注自身的應(yīng)用程序和業(yè)務(wù)場(chǎng)景。從Kubernetes本身來看，這個(gè)技術(shù)解耦也在更進(jìn)一步發(fā)展，容器化的一個(gè)發(fā)展的趨勢(shì)是：這些容器都將會(huì)在無服務(wù)器的基礎(chǔ)設(shè)施上運(yùn)行。

談到基礎(chǔ)設(shè)施，首先可以聯(lián)想到云，目前在AWS、阿里云、Azure的云上都提供了無服務(wù)器化的Kubernetes服務(wù)。在serverless Kubernetes上，我們將不再關(guān)心集群與機(jī)器，只需要聲明容器的鏡像、CPU、內(nèi)存、對(duì)外服務(wù)方式就可以啟動(dòng)應(yīng)用。

如上圖，左右兩邊分別是經(jīng)典Kubernetes、serverless Kubernetes的形態(tài)。在從左向右發(fā)展的過程中，日志采集也變得復(fù)雜：

在一個(gè)Kubernetes node上，可能會(huì)運(yùn)行更大規(guī)模量級(jí)的pod，每個(gè)pod上都可能有日志或監(jiān)控指標(biāo)采集需求，意味著單node上的日志量會(huì)更大。
一個(gè)Kubernetes node上可能會(huì)運(yùn)行更多種類的pod，日志采集來源變得多樣化，各類日志的管理、打標(biāo)需求越來越迫切。
日志實(shí)時(shí)性需求越來越強(qiáng)
首先要強(qiáng)調(diào)的是，并非所有日志都需要實(shí)時(shí)處理，當(dāng)前很多"T+1"時(shí)效的日志交付依然非常重要，比如：做BI可能天級(jí)別延遲足夠，ctr預(yù)估可能1小時(shí)延遲的日志也可以。

但是，在有些場(chǎng)景下，秒級(jí)或更高時(shí)效性的日志是必備前提條件，下圖橫坐標(biāo)從左到右的對(duì)比展示了數(shù)據(jù)實(shí)時(shí)性對(duì)于決策的重要性。

舉兩個(gè)場(chǎng)景來談一下實(shí)時(shí)日志對(duì)于決策的重要性：

告警處理。搞devops同學(xué)都深有體會(huì)，線上問題越早發(fā)現(xiàn)、越早處理我們就可以更淡定，處理時(shí)間拖得久了故障就可能跟著升級(jí)。實(shí)時(shí)日志幫助我們更快發(fā)現(xiàn)系統(tǒng)的異常指標(biāo)，觸發(fā)應(yīng)急處理流程。
AIOps。目前已經(jīng)有一些算法基于日志做異常點(diǎn)檢測(cè)、趨勢(shì)預(yù)測(cè)：根據(jù)日志的pattern變化態(tài)勢(shì)發(fā)現(xiàn)正常和異常情況下各類型日志出現(xiàn)的分布；針對(duì)IT業(yè)務(wù)系統(tǒng)，給定參數(shù)因子、變量對(duì)諸如硬盤故障等問題進(jìn)行建模，加以實(shí)時(shí)日志來實(shí)現(xiàn)故障事件預(yù)警。
日志的集中式存儲(chǔ)
日志來源有很多，常見的有：文件，數(shù)據(jù)庫(kù)audit log，網(wǎng)絡(luò)數(shù)據(jù)包等等。并且，針對(duì)同一份數(shù)據(jù)，對(duì)于不同的使用者（例如：開發(fā)、運(yùn)維、運(yùn)營(yíng)等）、不同的用途（例如：告警、數(shù)據(jù)清洗、實(shí)時(shí)檢索、批量計(jì)算等），存在使用多種方式重復(fù)消費(fèi)日志數(shù)據(jù)的情況。

在日志數(shù)據(jù)的系統(tǒng)集成上，從數(shù)據(jù)源到存儲(chǔ)節(jié)點(diǎn)再到計(jì)算節(jié)點(diǎn)，可以定義為一個(gè)pipeline。如下圖，從上到下的變化是：日志處理正在從O(N^2) pipelines向O(N) pipelines演進(jìn)。

在過去，各類日志用特定的方式來存儲(chǔ)，采集到計(jì)算鏈路不具被通用和復(fù)用條件，pipeline非常復(fù)雜，數(shù)據(jù)存儲(chǔ)也可能重復(fù)冗余。當(dāng)前日志數(shù)據(jù)集成上，通過依賴一個(gè)中樞（Hub）來簡(jiǎn)化日志架構(gòu)的復(fù)雜度、優(yōu)化存儲(chǔ)利用率。這個(gè)基礎(chǔ)設(shè)施級(jí)別的Hub非常重要，需要支持實(shí)時(shí)pub/sub，能夠處理高并發(fā)的寫入、讀取請(qǐng)求，提供海量的存儲(chǔ)空間。

Kubernetes日志采集方案的演進(jìn)
前面一節(jié)總結(jié)了Kubernetes日志處理上的趨勢(shì)，那么家下來會(huì)盤點(diǎn)一下Kubernetes上幾種常見日志采集的做法。

命令行工具
Kubernetes集群上要看日志，最基礎(chǔ)的做法就是登機(jī)器，運(yùn)行kubectl logs就可以看到容器寫出的stdout/stderr。

基礎(chǔ)的方案沒法滿足更多需求：

只支持標(biāo)準(zhǔn)輸出
數(shù)據(jù)不能持久化
除了看做不了別的事
節(jié)點(diǎn)日志文件落盤
在Kubernetes node維度去處理日志，docker engine將容器的stdout/stderr重定向到logdriver，并且在logdriver上可以配置多種形式去持久化日志，比如以json格式保存文件到本地存儲(chǔ)。

和kubectl命令行相比，更進(jìn)一步是把日志做到了本地化存儲(chǔ)?？梢杂胓rep/awk這些Linux工具去分析日志文件內(nèi)容。

這個(gè)方案相當(dāng)于回到了物理機(jī)時(shí)代，但仍然存在很多問題沒有解決：

基于docker engine和logdriver，除了默認(rèn)的標(biāo)準(zhǔn)輸出，不支持應(yīng)用程序的日志
日志文件rotate多次或者Kubernetes node被驅(qū)逐后數(shù)據(jù)會(huì)丟失
沒法跟開源社區(qū)、云上的數(shù)據(jù)分析工具集成
基于這個(gè)方案的一個(gè)進(jìn)化版本是在node上部署日志采集客戶端，將日志上傳到中心化日志存儲(chǔ)的設(shè)施上去。目前這也是推薦的模式，會(huì)在下一節(jié)再做介紹。

sidecar模式日志客戶端采集
一種伴生模式，在一個(gè)pod內(nèi)，除了業(yè)務(wù)容器外，還有一個(gè)日志客戶端容器。這個(gè)日志客戶端容器負(fù)責(zé)采集pod內(nèi)容器的標(biāo)準(zhǔn)輸出、文件、metric數(shù)據(jù)上報(bào)服務(wù)端。

這個(gè)方案解決了日志持久化存儲(chǔ)等基本的功能需求，但兩個(gè)地方有待提升：

一個(gè)節(jié)點(diǎn)上如果運(yùn)行了N個(gè)pod，就意味著會(huì)同時(shí)運(yùn)行著N個(gè)日志客戶端，造成CPU、內(nèi)存、端口等資源的浪費(fèi)。
Kubernetes下需要為每個(gè)pod多帶帶進(jìn)行采集配置（采集日志目錄，采集規(guī)則，存儲(chǔ)目標(biāo)等），不易維護(hù)。
日志直寫
直寫方案一般是通過修改應(yīng)用程序本身來實(shí)現(xiàn)，在程序內(nèi)部組織幾條日志，然后調(diào)用類似HTTP API將數(shù)據(jù)發(fā)送到日志存儲(chǔ)后端。

帶來的好處是：日志格式可以按需DIY，日志源和目標(biāo)的路由可以任意配置。

也可以看到使用上的限制：

侵入代碼會(huì)對(duì)業(yè)務(wù)改造有直接的依賴，推動(dòng)業(yè)務(wù)改造一般比較漫長(zhǎng)。
應(yīng)用程序在發(fā)數(shù)據(jù)到遠(yuǎn)端遇到異常（比如網(wǎng)絡(luò)抖動(dòng)，接收服務(wù)端內(nèi)部錯(cuò)誤）時(shí)，需要在有限內(nèi)存中緩存數(shù)據(jù)做重試，最終還是有概率造成數(shù)據(jù)丟失。
Kubernetes日志處理架構(gòu)
來自社區(qū)的架構(gòu)
目前見到比較多的架構(gòu)中，采集工作通過每個(gè)Kubernetes node上安裝一個(gè)日志客戶端完成：

Kubernetes官方推薦的是treasure data公司開源的fluentd，它的性能現(xiàn)、插件豐富度比較均衡。
社區(qū)有也不少在使用elastic公司開源的beats系列，性能不錯(cuò)，插件支持略少一些。針對(duì)一種數(shù)據(jù)需要部署特定的客戶端程序，比如文本文件通過filebeats來采集。
也有些架構(gòu)在使用logstash，ETL支持非常豐富，但是JRuby實(shí)現(xiàn)導(dǎo)致性能很差。

日志客戶端把數(shù)據(jù)格式化好之后用指定協(xié)議上傳到存儲(chǔ)端，常見的選擇有Kafka。Kafka支持實(shí)時(shí)訂閱、重復(fù)消費(fèi)，后期可以再根據(jù)業(yè)務(wù)需要把數(shù)據(jù)同步到其它系統(tǒng)去，比如：業(yè)務(wù)日志到Elastic Search做關(guān)鍵詞查詢，結(jié)合Kibana做日志可視化分析；金融場(chǎng)景日志要長(zhǎng)期留存，可以選擇投遞Kafka數(shù)據(jù)到AWS S3這樣的高性價(jià)比存儲(chǔ)上。

這個(gè)架構(gòu)看起來簡(jiǎn)潔有效，但在Kubernetes下距離完美還有些細(xì)節(jié)問題要解決：

首先，這是一個(gè)標(biāo)準(zhǔn)的節(jié)點(diǎn)級(jí)采集方案，Kubernetes下fluentd等客戶端的程序部署、采集配置管理是個(gè)難題，在日志采集路由、數(shù)據(jù)打標(biāo)、客戶端配置等問題沒有針對(duì)性優(yōu)化。
其次，在日志的消費(fèi)上，雖然Kafka的軟件生態(tài)足夠豐富，但是仍然需要專業(yè)人員來維護(hù)，要做業(yè)務(wù)規(guī)劃、考慮機(jī)器水位、處理硬件損壞。如果要查詢分析日志，還需要有對(duì)Elastic Search系統(tǒng)有足夠了解。我們知道在PB級(jí)數(shù)據(jù)場(chǎng)景下，分布式系統(tǒng)的性能、運(yùn)維問題開始凸顯，而駕馭這些開源系統(tǒng)需要很強(qiáng)的專業(yè)能力。
日志服務(wù)的Kubernetes日志架構(gòu)實(shí)踐
我們提出基于阿里云日志服務(wù)的Kubernetes日志處理架構(gòu)，用以補(bǔ)充社區(qū)的方案，來嘗試解決Kubernetes場(chǎng)景下日志處理的一些細(xì)節(jié)體驗(yàn)問題。這個(gè)架構(gòu)可以總結(jié)為：“Logtail + 日志服務(wù) + 生態(tài)”。

首先，Logtail是日志服務(wù)的數(shù)據(jù)采集客戶端，針對(duì)Kubernetes場(chǎng)景下的一些痛點(diǎn)做了針對(duì)性設(shè)計(jì)。也是按照Kubernetes官方建議的方式，在每個(gè)node上只部署一個(gè)Logtail客戶端，負(fù)責(zé)這個(gè)node上所有的pod日志采集。

其次，針對(duì)關(guān)鍵詞搜索和SQL統(tǒng)計(jì)這兩個(gè)基本的日志需求：日志服務(wù)提供了基礎(chǔ)的LogHub功能，支持?jǐn)?shù)據(jù)的實(shí)時(shí)寫入、訂閱；在LogHub存儲(chǔ)的基礎(chǔ)上，可以選擇開啟數(shù)據(jù)的索引分析功能，開啟索引后可以支持日志關(guān)鍵詞查詢以及SQL語(yǔ)法分析。

最后，日志服務(wù)的數(shù)據(jù)是開放的。索引數(shù)據(jù)可以通過JDBC協(xié)議與第三方系統(tǒng)對(duì)接，SQL查詢結(jié)果與諸如阿里云DataV、開源社區(qū)的Grafana系統(tǒng)很方便地集成；日志服務(wù)的高吞吐的實(shí)時(shí)讀寫能力支撐了與流計(jì)算系統(tǒng)的對(duì)接，spark streaming、blink、jstorm等流計(jì)算系統(tǒng)上都有connector支持；用戶還可以通過全托管的投遞功能把數(shù)據(jù)寫入到阿里云的對(duì)象存儲(chǔ)OSS，投遞支持行存（csv、json）、列存（parquet）格式，這些數(shù)據(jù)可以用作長(zhǎng)期低成本備份，或者是通過“OSS存儲(chǔ)+E-MapReduce計(jì)算”架構(gòu)來實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)。

日志服務(wù)的優(yōu)勢(shì)
從四個(gè)點(diǎn)上來描述日志服務(wù)的特點(diǎn)：

在可靠性和穩(wěn)定性上，它支撐了阿里集團(tuán)和螞蟻金服多次雙十一和雙十二的大促。
在功能上一站式覆蓋了Kafka + ElasticSearch大部分場(chǎng)景。
作為云上的基礎(chǔ)設(shè)施可以方便地實(shí)現(xiàn)彈性伸縮，對(duì)于用戶來說，大促時(shí)不需要操心買機(jī)器擴(kuò)容、每天壞上數(shù)十個(gè)盤需要維修等問題。
日志服務(wù)也同樣具備云的0預(yù)付成本、按需付費(fèi)的特點(diǎn)，并且目前每月有500MB的免費(fèi)額度。

回顧第一節(jié)中提到的Kubernetes日志處理的趨勢(shì)與挑戰(zhàn)，這里總結(jié)了日志服務(wù)的三個(gè)優(yōu)勢(shì)：

作為日志基礎(chǔ)設(shè)施，解決了各種日志數(shù)據(jù)集中化存儲(chǔ)問題。
服務(wù)化的產(chǎn)品帶給用戶更多的易用性，與Kubernetes在serverless的目標(biāo)上也是契合的。
功能上同時(shí)滿足實(shí)時(shí)讀寫、HTAP需求，簡(jiǎn)化了日志處理的流程與架構(gòu)。
日志服務(wù)結(jié)合社區(qū)力量進(jìn)行Kubernetes日志分析
Kubernetes源自社區(qū)，使用開源軟件進(jìn)行Kubernetes日志的處理也是一些場(chǎng)景下的正確選擇。

日志服務(wù)保證數(shù)據(jù)的開放性，與開源社區(qū)在采集、計(jì)算、可視化等方面進(jìn)行對(duì)接，幫助用戶享受到社區(qū)技術(shù)成果。

如下圖，舉一個(gè)簡(jiǎn)單的例子：使用流計(jì)算引擎flink實(shí)時(shí)消費(fèi)日志服務(wù)的日志庫(kù)數(shù)據(jù)，源日志庫(kù)的shard并發(fā)與flink task實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡，在完成與MySQL的meta完成數(shù)據(jù)join加工后，再通過connector流式寫入另一個(gè)日志服務(wù)日志庫(kù)做可視化查詢。

Logtail在Kubernetes日志采集場(chǎng)景下的設(shè)計(jì)
在本文第二節(jié)我們回顧了Kubernetes日志采集方案演進(jìn)過程中遇到的問題，第三節(jié)介紹了基于阿里云日志服務(wù)的功能、生態(tài)。在這一節(jié)會(huì)重點(diǎn)對(duì)Logtail采集端的設(shè)計(jì)和優(yōu)化工作做一些介紹，細(xì)數(shù)Logtail如何解決Kubernetes日志采集上的痛點(diǎn)。

Kubernetes采集的難點(diǎn)
采集目標(biāo)多樣化

容器stdout/stderr
容器應(yīng)用日志
宿主機(jī)日志
開放協(xié)議：Syslog、HTTP等
采集可靠性

性能上需要滿足單node上大流量日志場(chǎng)景，同時(shí)兼顧采集的實(shí)時(shí)性
解決容器日志易失性問題
在各種情況下盡量保證采集數(shù)據(jù)的完整性
動(dòng)態(tài)伸縮帶來的挑戰(zhàn)

容器擴(kuò)、縮容對(duì)自動(dòng)發(fā)現(xiàn)的要求
降低Kubernetes部署的復(fù)雜度
采集配置易用性

采集配置怎么部署、管理
不同用途的pod日志需要分門別類存儲(chǔ)，數(shù)據(jù)路由怎么去管理
Logtail高可靠采集
Logtail支持至少at-least-once采集的語(yǔ)義保證，通過文件和內(nèi)存兩種級(jí)別的checkpoint機(jī)制來保證在容器重啟場(chǎng)景下的斷點(diǎn)續(xù)傳。

日志采集過程中可能遇到各種各樣的來自系統(tǒng)或用戶配置的錯(cuò)誤，例如日志格式化解析出錯(cuò)時(shí)我們需要及時(shí)調(diào)整解析規(guī)則。Logtail提供了采集監(jiān)控功能，可以將異常和統(tǒng)計(jì)信息上報(bào)日志庫(kù)并支持查詢、告警。

優(yōu)化計(jì)算性能解決單節(jié)點(diǎn)大規(guī)模日志采集問題，Logtail在不做日志字段格式化的情況（singleline模式）下做到單cpu核100MB/s左右的處理性能。針對(duì)網(wǎng)絡(luò)發(fā)送的慢IO操作，客戶端將多條日志batch commit到服務(wù)端做持久化，兼顧了采集的實(shí)時(shí)性與高吞吐能力。

在阿里集團(tuán)內(nèi)部，Logtail目前有百萬級(jí)規(guī)模的客戶端部署，穩(wěn)定性是不錯(cuò)的。

豐富的數(shù)據(jù)源支持
應(yīng)對(duì)Kubernetes環(huán)境下復(fù)雜多樣的采集需求，Logtail在采集源頭上可以支持：stdout/stderr，容器、宿主機(jī)日志文件，syslog、lumberjack等開放協(xié)議數(shù)據(jù)采集。

將一條日志按照語(yǔ)義切分為多個(gè)字段就可以得到多個(gè)key-value對(duì)，由此將一條日志映射到table模型上，這個(gè)工作使得在接下來的日志分析過程中事半功倍。Logtail支持以下一些日志格式化方式：

多行解析。比如Java stack trace日志是由多個(gè)自然行組成的，通過行首正則表達(dá)式的設(shè)置來實(shí)現(xiàn)日志按邏輯行切分。
自描述解析。支持csv、json等格式，自動(dòng)提取出日志字段。
通過正則、自定義插件方式滿足更多特定需求。
對(duì)于一些典型的日志提供內(nèi)置解析規(guī)則。比如，用戶只需要在web控制臺(tái)上選擇日志類別是Nginx訪問日志，Logtail就可以自動(dòng)把一條訪問日志按照Nginx的log format配置抽取出client_ip、uri等等字段。
應(yīng)對(duì)節(jié)點(diǎn)級(jí)容器動(dòng)態(tài)伸縮

容器天生會(huì)做常態(tài)化擴(kuò)容、縮容，新擴(kuò)容的容器日志需要及時(shí)被采集否則就會(huì)丟失，這要求客戶端有能力動(dòng)態(tài)感知到采集源，且部署、配置需要做到足夠的易用性。Logtail從以下兩個(gè)維度來解決數(shù)據(jù)采集的完整性問題：

部署

通過DaemonSet方式來快速部署Logtail到一個(gè)Kubernetes node上，一條指令就可以完成，與K8S應(yīng)用發(fā)布集成也很方便。
Logtail客戶端部署到node上以后，通過domain socket與docker engine通信來處理該節(jié)點(diǎn)上的容器動(dòng)態(tài)采集。增量掃描可以及時(shí)地發(fā)現(xiàn)node上的容器變化，再加上定期全量掃面機(jī)制來保證不會(huì)丟失掉任何一個(gè)容器更改事件，這個(gè)雙重保障的設(shè)計(jì)使得在客戶端上可以及時(shí)、完整發(fā)現(xiàn)候選的監(jiān)控目標(biāo)。
采集配置管理

Logtail從設(shè)計(jì)之初就選擇了服務(wù)端集中式采集配置管理，保證采集指令可以從服務(wù)端更高效地傳達(dá)給客戶端。這個(gè)配置管理可以抽象為"機(jī)器組+采集配置"模型，對(duì)于一個(gè)采集配置，在機(jī)器組內(nèi)的Logtail實(shí)例可以即時(shí)獲取到機(jī)器組上所關(guān)聯(lián)的采集配置，去開啟采集任務(wù)。
針對(duì)Kubernetes場(chǎng)景，Logtail設(shè)計(jì)了自定義標(biāo)識(shí)方式來管理機(jī)器。一類pod可以聲明一個(gè)固定的機(jī)器標(biāo)識(shí)，Logtail使用這個(gè)機(jī)器標(biāo)識(shí)向服務(wù)端匯報(bào)心跳，同時(shí)機(jī)器組使用這個(gè)自定義標(biāo)識(shí)來管理Logtail實(shí)例。當(dāng)Kubernetes節(jié)點(diǎn)擴(kuò)容時(shí)，Logtail上報(bào)pod對(duì)應(yīng)的自定義機(jī)器標(biāo)識(shí)到服務(wù)端，服務(wù)端就會(huì)把這個(gè)機(jī)器組上的掛載的采集配置下發(fā)給Logtail。目前在開源采集客戶端上，常見的做法是使用機(jī)器ip或hostname來標(biāo)識(shí)客戶端，這樣在容器伸縮時(shí)，需要及時(shí)去增刪機(jī)器組內(nèi)的機(jī)器ip或hostname，否則就會(huì)導(dǎo)致數(shù)據(jù)采集的缺失，需要復(fù)雜的擴(kuò)容流程保證。
解決采集配置管理難題
Logtail提供兩種采集配置的管理方式，用戶根據(jù)自己的喜好任選來操作：

CRD。與Kubernetes生態(tài)深度集成，通過在客戶端上事件監(jiān)聽可以聯(lián)動(dòng)創(chuàng)建日志服務(wù)上的日志庫(kù)、采集配置、機(jī)器組等資源。
WEB控制臺(tái)。上手快，可視化方式來配置日志格式化解析規(guī)則，通過wizard完成采集配置與機(jī)器組的關(guān)聯(lián)。用戶只需要按照習(xí)慣來設(shè)置一個(gè)容器的日志目錄，Logtail在上開啟采集時(shí)會(huì)自動(dòng)渲染成宿主機(jī)上的實(shí)際日志目錄。
我們將日志從源到目標(biāo)（日志庫(kù)）定義為一個(gè)采集路由。使用傳統(tǒng)方案實(shí)現(xiàn)個(gè)性化采集路由功能非常麻煩，需要在客戶端本地配置，每個(gè)pod容器寫死這個(gè)采集路由，對(duì)于容器部署、管理會(huì)有強(qiáng)依賴。Logtail解決這個(gè)問題的突破點(diǎn)是對(duì)環(huán)境變量的應(yīng)用，Kubernetes的env是由多個(gè)key-value組成，在部署容器時(shí)可以進(jìn)行env設(shè)置。Logtail的采集配置中設(shè)計(jì)了IncludeEnv和ExcludeEnv配置項(xiàng)，用于加入或排除采集源。在下面的圖中，pod業(yè)務(wù)容器啟動(dòng)時(shí)設(shè)置log_type環(huán)境變量，同時(shí)Logtail采集配置中定義了IncludeEnv: log_type=nginx_access_log，來指定收集nginx類用途的pod日志到特定日志庫(kù)。

所有在Kubernetes上采集到的數(shù)據(jù)，Logtail都自動(dòng)進(jìn)行了pod/namesapce/contanier/image維度的打標(biāo)，方便后續(xù)的數(shù)據(jù)分析。

日志上下文查詢的設(shè)計(jì)
上下文查詢是指：給定一條日志，查看該日志在原機(jī)器、文件位置的上一條或下一條日志，類似于Linux上的grep -A -B。

在devops等一些場(chǎng)景下，邏輯性異常需要這個(gè)時(shí)序來輔助定位，有了上下文查看功能會(huì)事半功倍。然后在分布式系統(tǒng)下，在源和目標(biāo)上都很難保證原先的日志順序：

在采集客戶端層面，Kubernetes可能產(chǎn)生大量日志，日志采集軟件需要利用機(jī)器的多個(gè)cpu核心解析、預(yù)處理日志，并通過多線程并發(fā)或者單線程異步回調(diào)的方式處理網(wǎng)絡(luò)發(fā)送的慢IO問題。這使得日志數(shù)據(jù)不能按照機(jī)器上的事件產(chǎn)生順序依次到達(dá)服務(wù)端。
在分布式系統(tǒng)的服務(wù)端層面，由于水平擴(kuò)展的多機(jī)負(fù)載均衡架構(gòu)，使得同一客戶端機(jī)器的日志會(huì)分散在多臺(tái)存儲(chǔ)節(jié)點(diǎn)上。在分散存儲(chǔ)的日志基礎(chǔ)上再恢復(fù)最初的順序是困難的。
傳統(tǒng)上下文查詢方案，一般是根據(jù)日志到達(dá)服務(wù)端時(shí)間、日志業(yè)務(wù)時(shí)間字段做兩次排序。這在大數(shù)據(jù)場(chǎng)景下存在：排序性能問題、時(shí)間精度不足問題，無法真實(shí)還原事件的真實(shí)時(shí)序。

Logtail與日志服務(wù)（關(guān)鍵詞查詢功能）相結(jié)合來解決這個(gè)問題：

一個(gè)容器文件的日志在采集上傳時(shí)，其數(shù)據(jù)包是由一批的多條日志組成，多條日志對(duì)應(yīng)特定文件的一個(gè)block，比如512KB。在這一個(gè)數(shù)據(jù)包的多條日志是按照源文件的日志序排列，也就意味著某日志的下一條可能是在同一個(gè)數(shù)據(jù)包里也可能在下一個(gè)數(shù)據(jù)包里。

Logtail在采集時(shí)會(huì)給這個(gè)數(shù)據(jù)包設(shè)置唯一的日志來源sourceId，并在上傳的數(shù)據(jù)包里設(shè)置包自增Id，叫做packageID。每個(gè)package內(nèi)，任意一條日志擁有包內(nèi)的位移offset。

雖然數(shù)據(jù)包在服務(wù)端后存儲(chǔ)可能是無序狀態(tài)，但日志服務(wù)有索引可以去精確seek指定sourceId和packageId的數(shù)據(jù)包。

當(dāng)我們指定容器A的序號(hào)2日志（source_id:A，package_id:N，offset:M）查看其下文時(shí)，先判斷日志在當(dāng)前數(shù)據(jù)包的offset是否為數(shù)據(jù)包的末尾（包的日志條數(shù)定義為L(zhǎng)，末尾的offset為L(zhǎng)-1）：如果offset M小于(L-1)，則說明它的下一條日志位置是：source_id:A，package_id:N，offset:M+1；而如果當(dāng)前日志是數(shù)據(jù)包的最后一條，則其下一條日志的位置是：source_id:A，package_id:N+1，offset:0。

在大部分場(chǎng)景下，利用關(guān)鍵詞隨機(jī)查詢獲取到的一個(gè)package，可以支持當(dāng)前包長(zhǎng)度L次數(shù)的上下文翻頁(yè)，在提升查詢性能同時(shí)也大大降低的后臺(tái)服務(wù)隨機(jī)IO的次數(shù)。

原文鏈接