亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Fluented，Kubernetes和谷歌云平臺——處理日志流的解決方案

ymyang / 1595人閱讀

摘要：最后，我們用和適當(dāng)?shù)莫?dú)特后綴來標(biāo)注數(shù)據(jù)流。將數(shù)據(jù)流分離到兩個不同的目的地在這里，我們解析自動定量日志，管理我們的緩沖區(qū)，查詢和區(qū)塊大小。

也許你對Fluentd的統(tǒng)一日志記錄層已經(jīng)有所耳聞?？赡苣銓θ罩臼橇鞑皇俏募@個概念也已經(jīng)很熟悉，所以現(xiàn)在就讓我們用這個方法來思考日志層。
事實(shí)上，最后導(dǎo)致決定性的一點(diǎn)就是fluentd是如何被配置的。全部都是關(guān)于我們?nèi)绾翁幚韘tream的不同元素的：我們從哪里得到數(shù)據(jù)，當(dāng)我們獲取到的時候用它來做什么，我們將處理過的數(shù)據(jù)發(fā)送到哪里，以及它們在發(fā)送過程中的時候，我們要如何處理它。在這篇博客中，我們會回顧一下這些概念，并且將他們運(yùn)用到以下案例中：

1、日志從Docker容器中輸出命令（但是當(dāng)容器中止的時候，要保持配置）
2、處理JSON日志
3、通過等級將信息進(jìn)行分類
4、將數(shù)據(jù)流分離到兩個目的地

事實(shí)證明，谷歌云平臺和Kubernetes默認(rèn)設(shè)置下已經(jīng)包括了fluentd日志層輸出，這樣的話，你就可以精確地做這些事情，但是首先，讓我們來看一下fluentd.conf文件中的指令：

1、source指令確定輸入源
2、match指令確定輸出目的地
3、filter指令確定event處理管道
4、system指令設(shè)置系統(tǒng)范圍的配置
5、label指令將內(nèi)部路由的輸出和過濾器分組
6、@include指令包括其他文件

基本方案（用于日志記錄Docker標(biāo)準(zhǔn)輸出命令）

現(xiàn)在對于我們的目標(biāo)來說，我們主要會考慮source和match指令。以下是一個樣本，為日志記錄命令配置，命令是從一個容器直接到Treasure Data（而且，因為我們的配置是在Ubuntu主機(jī)上，所以它不會和Docker容器一起中止?。?。

那么，發(fā)生了什么呢？
我們的source指令告訴我們正在使用forwardinput plugin，這就告訴fluentd要監(jiān)聽TCP socket來接收event流。
我們有兩個match指令。當(dāng)我們啟動容器的時候，最后一個假定我們已經(jīng)設(shè)置了我們的日志記錄選項：
－－log－opt fluentd－tag＝td.docker.{{.Name}}
這條指令告訴我們使用標(biāo)準(zhǔn)輸出plugin來打印events到標(biāo)準(zhǔn)輸出。
然而，它不僅第一條指令，也是最有趣的一條?，F(xiàn)在假定一樣的日志記錄選項，我們將所有標(biāo)記有td..的東西都匹配好，并且使用td日志output plugin，將每個console輸出作為單個記錄輸出，發(fā)送到一個名為docker的Treasure Data數(shù)據(jù)庫，在這里，表格也同樣是Docker容器的名字：
auto_create_table在第一個實(shí)例上創(chuàng)建表格。
buffer_type file將緩沖區(qū)寫入一個文件。
buffer_path在我們的Docker容器上指定緩沖文件路徑。
flush_interval 5s在刷新緩沖區(qū)時設(shè)置了一個5秒的間隔，并且寫進(jìn)了Treasure Data表格。

是不是開始明白這是怎么運(yùn)作的了？想要了解更多關(guān)于fluentd配置和參數(shù)，點(diǎn)擊這里查看更多文章: 點(diǎn)擊這里

日志記錄結(jié)果到谷歌云平臺

準(zhǔn)備好查看fluentd是怎么用谷歌云平臺來運(yùn)行的了嗎？讓我們來看一些不一樣的場景。多虧了Kubernetes團(tuán)隊，使得這些配置（以及跟這些很相似的配置）在github上實(shí)現(xiàn)可用。

處理JSON日志

在這里，我們跟蹤JSON上的日志，并將日志記錄結(jié)果到Kubernetes上。我們要處理一下時間戳，所以我們已經(jīng)包括了time_key和time_format指令。最后，我們用Kubernetes和適當(dāng)?shù)莫?dú)特后綴來標(biāo)注數(shù)據(jù)流。我們同樣也已經(jīng)指定位置文件，并且設(shè)置read_from_head為真。這就使得我們要停止并且重啟處理if，由于某些原因，我們的stream就被打斷了。

通過不同的層面來分類信息

我們可以追蹤不同的信息，使用常規(guī)表達(dá)方式來查找部分信息，比如格式，層次（嚴(yán)重性），信息，錯誤（如果有錯誤的話）和狀態(tài)碼。注意，我們必須在輸出上解析時間。再一次，我們使用位置文件來保持我們在stream中的位置。我們應(yīng)該包括一個match部分來路由數(shù)據(jù)到一個特定的目的地。

將數(shù)據(jù)流分離到兩個不同的目的地

在這里，我們解析自動定量日志，管理我們的緩沖區(qū)，查詢和區(qū)塊大小。在這兩個目的地（也就是，GCP和Kubernetes）的案例中，我們一直在重新嘗試。

What"s next?

你能夠自己創(chuàng)建最簡單的日志記錄基礎(chǔ)設(shè)施嗎？讓Fluentd來！
fluentd.org
這個網(wǎng)站上有不下于200個輸入，也還有其它插件。這里的話，你可以看到他們通過人氣降序排列的
fluentd.org/plugins/all
如果想要通過分類了解plug－ins，點(diǎn)擊上面這個網(wǎng)址
fluentd.org/plugins
最后，在這個網(wǎng)站上可以獲取Treasure Data（你可以在treasuredata.com上注冊一個賬號，有14天的試用期）。

原文鏈接
（如果需要轉(zhuǎn)載，請聯(lián)系我們哦，尊重知識產(chǎn)權(quán)人人有責(zé)；）

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/32490.html

相關(guān)文章

  • 將 Node.js 應(yīng)用從 PaaS 平臺移動到 Kubernetes Tutorial

    摘要：目前正在運(yùn)行的應(yīng)用程序。內(nèi)置非配置負(fù)載均衡器如何設(shè)置運(yùn)行的集群在這里你有幾個選項。它跟其它的谷歌云組件也都整合得很好，比如負(fù)載均衡器和磁盤。它會告訴負(fù)載均衡器，流量可以被重新傳到特定的。元信息和谷歌云會以正確的方式展現(xiàn)出來。 Kubernetes實(shí)踐案例分享｜在這次的 RisingStack 案例分享中，我們可以在 Kubernetes Tutorial 中學(xué)習(xí)到如何從 PaaS 供應(yīng)...

    skinner 評論0 收藏0

  • Kubernetes 落地案例｜將 Pokémon Go 運(yùn)行到谷歌云上

    摘要：但是在谷歌云客戶發(fā)布時，一切好像都沒有按照常理出牌，從中我體驗到前所未有的成長。希望將運(yùn)行起來。第二天預(yù)計將發(fā)布版本到美國，在這之前，已經(jīng)提前跟尋求好了支援。游戲的應(yīng)用程序邏輯運(yùn)行在谷歌上面，由開源項目驅(qū)動。是谷歌上面部署規(guī)模最大的項目。 《Pokémon Go》是由任天堂、Pokémon 公司和谷歌 Niantic Labs 公司聯(lián)合制作開發(fā)的現(xiàn)實(shí)增強(qiáng)（AR）寵物養(yǎng)成對戰(zhàn)類 RPG ...

    robin 評論0 收藏0

  • 如何選擇云計算基礎(chǔ)設(shè)施自動化的最佳工具？

    摘要：企業(yè)將業(yè)務(wù)遷移到云平臺的最大好處之一是可以降低工作和運(yùn)營成本，其中一個最重要的因素是云計算基礎(chǔ)設(shè)施的自動化和配置。幸運(yùn)的是，有許多云計算基礎(chǔ)設(shè)施自動化工具可用于幫助加快流程。企業(yè)需要深入了解將工作負(fù)載遷移到公共云的正確步驟，并因此降低成本。云遷移不會自行發(fā)生，在遷移項目成功之前并不能完成工作和任務(wù)。企業(yè)將業(yè)務(wù)遷移到云平臺的最大好處之一是可以降低工作和運(yùn)營成本，其中一個最重要的因素是云計算基礎(chǔ)...

    KitorinZero 評論0 收藏0

  • 內(nèi)涵福利 | 加速業(yè)務(wù)交付，從谷歌云上使用 Kubernetes 和 Istio 開始

    摘要：優(yōu)化網(wǎng)絡(luò)在今年早些時候，我們公布了許多關(guān)于的新的網(wǎng)絡(luò)功能，包括原生集群，共享，原生容器負(fù)載均衡以及原生容器的網(wǎng)絡(luò)服務(wù)，它們服務(wù)于上的應(yīng)用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);許多企業(yè)機(jī)構(gòu)正在把全部或部分 IT 業(yè)務(wù)遷移到云端，幫助企業(yè)更好的運(yùn)營。不過這樣的大規(guī)模遷移，在企業(yè)的實(shí)際操作中也有一定難度。不少企業(yè)保...

    王巖威 評論0 收藏0

  • 內(nèi)涵福利 | 加速業(yè)務(wù)交付，從谷歌云上使用 Kubernetes 和 Istio 開始

    摘要：優(yōu)化網(wǎng)絡(luò)在今年早些時候，我們公布了許多關(guān)于的新的網(wǎng)絡(luò)功能，包括原生集群，共享，原生容器負(fù)載均衡以及原生容器的網(wǎng)絡(luò)服務(wù)，它們服務(wù)于上的應(yīng)用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);許多企業(yè)機(jī)構(gòu)正在把全部或部分 IT 業(yè)務(wù)遷移到云端，幫助企業(yè)更好的運(yùn)營。不過這樣的大規(guī)模遷移，在企業(yè)的實(shí)際操作中也有一定難度。不少企業(yè)保...

    walterrwu 評論0 收藏0

發(fā)表評論

0條評論

ymyang

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<