資訊專欄INFORMATION COLUMN
摘要：在那些緊迫的告警中，找出需要立即處理的告警更則難上加難。是應(yīng)用性能管理領(lǐng)軍企業(yè)公司旗下產(chǎn)品，也是國(guó)內(nèi)首個(gè)模式的云告警平臺(tái)，集成國(guó)內(nèi)外主流監(jiān)控支撐系統(tǒng)，實(shí)現(xiàn)一個(gè)平臺(tái)上集中處理所有事件，提升可靠性。
在 OneAlert，我們經(jīng)常與運(yùn)維團(tuán)隊(duì)聊天。因?yàn)楫a(chǎn)品開(kāi)發(fā)過(guò)程中，這樣的對(duì)話有助于了解客戶的真正痛點(diǎn)?！父婢埂O(jiān)控系統(tǒng)中時(shí)常涌現(xiàn)的告警洪流，是運(yùn)維團(tuán)隊(duì)經(jīng)常提到的一大痛處。
至于其原因，雖然多種多樣，但造成的后果都是一樣的：信息超載。如果每天收到幾十條甚至上百條告警提醒，你很難從中找出急需采取行動(dòng)的緊迫告警。在那些緊迫的告警中，找出需要立即處理的告警更則難上加難。這種現(xiàn)象有個(gè)恰如其分的名字：告警疲勞
你看到的情況：服務(wù)器監(jiān)控系統(tǒng)在同一時(shí)間發(fā)出5條緊急告警。
實(shí)際情況：你的緩存層由20臺(tái)服務(wù)器組成。其中一臺(tái)出現(xiàn)了新的配置錯(cuò)誤，導(dǎo)致一系列的內(nèi)存不足告警，每臺(tái)主機(jī)都出現(xiàn)一條告警。
在理想世界中：你只會(huì)收到一條告警，告訴你25%的主機(jī)集群出現(xiàn)問(wèn)題。而且，如果你當(dāng)下正忙得不可開(kāi)交，可以延后該告警的處理。理想情況下，告警閥值只在集群層或角色層設(shè)置。
你看到的情況：主機(jī) X、Y、Z 出現(xiàn)磁盤空間不足警告。
實(shí)際情況：一切盡在意料之中。在正常運(yùn)轉(zhuǎn)了三個(gè)月之后，主機(jī) X、Y、Z 存儲(chǔ)的數(shù)據(jù)逐漸增多?；蛟S你應(yīng)該升級(jí)磁盤，或許你應(yīng)該清理一些舊數(shù)據(jù)，但是，必須現(xiàn)在就處理么？在這夜闌人靜的時(shí)候？
在理想世界中：除非磁盤使用量突然增多，否則就不是緊急事件。無(wú)需觸發(fā)實(shí)時(shí)告警，只要每周一發(fā)送磁盤使用量報(bào)告，在其中列出磁盤空間不足的主機(jī)即可。如果能依照當(dāng)前的使用速度，預(yù)測(cè)剩余的磁盤空間將在何時(shí)耗盡，就更好了。
你看到的情況：每個(gè)周一，午餐過(guò)后，都會(huì)出現(xiàn)大量的告警。
實(shí)際情況：你已經(jīng)努力工作以優(yōu)化配置 Nagios 監(jiān)控的告警閥值?，F(xiàn)在，它們不會(huì)每天無(wú)謂地發(fā)送告警。但是，一到流量特別大的某個(gè)工作日，還是會(huì)觸發(fā)意料之中的告警。你怎么辦？確認(rèn)該告警，然后無(wú)視它。
在理想世界中：你的流量是有起伏規(guī)律的，監(jiān)控系統(tǒng)能夠掌握這種規(guī)律。如果每到下午1點(diǎn)負(fù)載就會(huì)增加，告警閥值也應(yīng)該相應(yīng)上升。告警只應(yīng)在出現(xiàn)異常負(fù)載時(shí)觸發(fā)，否則就是沒(méi)有意義的告警。
你看到的情況：Nagios、Pingdom、NewRelic、KeyNote 還有 Splunk 在同一時(shí)間發(fā)出重要告警，與此同時(shí)，ZenDesk 上的客戶投訴也不斷增加。
實(shí)際情況：兩個(gè) Mongo 節(jié)點(diǎn)出現(xiàn)數(shù)據(jù)損壞，導(dǎo)致大量的磁盤 IO 以及事務(wù)錯(cuò)誤。這類問(wèn)題會(huì)波及服務(wù)器層，應(yīng)用層以及用戶層。因此，所有監(jiān)控工具都會(huì)發(fā)出告警。
在理想世界中：你只會(huì)從最先捕獲該問(wèn)題的系統(tǒng)處收到一次告警，此后，任何因此而達(dá)到告警閥值的監(jiān)控系統(tǒng)都會(huì)將其告警信息傳給同一個(gè)「事件線程」。
你看到的情況：每個(gè)人都會(huì)遇到這樣的情況。同樣的問(wèn)題每隔幾天就出現(xiàn)一次，持續(xù)時(shí)間不過(guò)幾分鐘，來(lái)得快去得也快。說(shuō)實(shí)話，你已經(jīng)忙得不可開(kāi)交了，近期內(nèi)也不大會(huì)去排除這種問(wèn)題。
實(shí)際情況：可能是某個(gè) cron 作業(yè)占用了過(guò)量的網(wǎng)絡(luò)資源，又或是應(yīng)用中某個(gè) race-condition 導(dǎo)致了數(shù)據(jù)庫(kù)死鎖，也可能是某個(gè)不常用的功能導(dǎo)致了后端進(jìn)程崩潰。
在理想世界中：你可以標(biāo)記該問(wèn)題，之后再去解決。這樣，你只會(huì)在下個(gè)月再遇到該問(wèn)題，并得到一份報(bào)告，顯示了該問(wèn)題通常的發(fā)生時(shí)間（當(dāng)然還有相鄰時(shí)間內(nèi)容易發(fā)生的問(wèn)題和與之相關(guān)的問(wèn)題）。
你遇到了哪些告警垃圾？想不想與我們分享？請(qǐng)?jiān)谖恼孪旅娴脑u(píng)論區(qū)留下你的反饋。
OneAlert 是應(yīng)用性能管理領(lǐng)軍企業(yè) OneAPM 公司旗下產(chǎn)品，也是國(guó)內(nèi)首個(gè) SaaS 模式的云告警平臺(tái)，集成國(guó)內(nèi)外主流監(jiān)控/支撐系統(tǒng)，實(shí)現(xiàn)一個(gè)平臺(tái)上集中處理所有 IT 事件，提升 IT 可靠性。想了解更多信息，請(qǐng)?jiān)L問(wèn) OneAlert 官網(wǎng) 。
本文轉(zhuǎn)自 OneAPM 官方博客
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/7938.html
摘要：告警關(guān)聯(lián)唯一使監(jiān)控和報(bào)警都步入正軌的好辦法，就是通過(guò)告警關(guān)聯(lián)。企業(yè)如果適應(yīng)了告警關(guān)聯(lián)，信息告警的圖表盤上確實(shí)能減少很多壓力。 上節(jié)回顧 對(duì)于許多 IT 和運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)，Nagios 既是一個(gè)福音也是一個(gè)詛咒。一方面，Naigos 在 IT 應(yīng)用的工作領(lǐng)域中，給予了你可以實(shí)時(shí)查看告警數(shù)據(jù)的可能性；但是另一方面，Nagios 也能夠生成超級(jí)多的告警，對(duì)于任何一個(gè)運(yùn)維人員或是運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)都是...
摘要：例如，把提示無(wú)效信用卡賬號(hào)的告警替換為一個(gè)可執(zhí)行的告警，比如指示用戶支付成功率急劇下降的告警可能系統(tǒng)會(huì)做出較大的變化，需要回滾操作。因此，不斷完善告警也是同樣非常重要的，所以要養(yǎng)成定期瀏覽和刪除不可執(zhí)行告警的習(xí)慣。 對(duì)于運(yùn)維團(tuán)隊(duì)而言，很多告警其實(shí)并不能幫助他們解決掉實(shí)際的問(wèn)題，相反有時(shí)會(huì)加重多余的負(fù)擔(dān)，這主要是因?yàn)榇蠖鄶?shù)的告警并不具備足夠的可執(zhí)行性： 它們指出的問(wèn)題壓根兒不需要響應(yīng) ...
摘要：目標(biāo)發(fā)布目前有兩個(gè)主要功能針對(duì)局部變量類型推斷這將刪除大部分對(duì)象實(shí)例化所需的冗長(zhǎng)的包含手動(dòng)類型信息整合源樹(shù)的庫(kù)即不同的庫(kù)將被合并成一個(gè)單一的存儲(chǔ)庫(kù)。特別是，承諾為局部變量實(shí)例化引入類型推斷機(jī)制，并將現(xiàn)有的存儲(chǔ)庫(kù)合并到一個(gè)存儲(chǔ)庫(kù)中。 JDK 10 何時(shí)發(fā)布？ JDK 10 是 Java 10 標(biāo)準(zhǔn)版的部分實(shí)現(xiàn)，將于 2018 年 3 月 20 日發(fā)布，改進(jìn)的關(guān)鍵點(diǎn)包括一個(gè)本地類型推斷、一...
閱讀 2677·2021-09-28 09:35
閱讀 3316·2021-09-03 10:28
閱讀 2972·2019-08-30 15:43
閱讀 1530·2019-08-30 14:04
閱讀 1886·2019-08-29 17:02
閱讀 1880·2019-08-26 13:59
閱讀 783·2019-08-26 11:51
閱讀 3346·2019-08-23 17:16
