資訊專欄INFORMATION COLUMN
摘要：目標(biāo)后端任一接口一分鐘內(nèi)響應(yīng)超過(guò)一定的量，馬上收到報(bào)警提示報(bào)警及慢接口有詳細(xì)列表可以查看低成本。相關(guān)報(bào)警請(qǐng)求的詳細(xì)信息列表慢響應(yīng)分析
目標(biāo)
后端任一接口一分鐘內(nèi)5xx響應(yīng)超過(guò)一定的量，馬上收到報(bào)警提示
報(bào)警及慢接口有詳細(xì)列表可以查看
低成本。幾年前公司的日志報(bào)警系統(tǒng)是自研的，開發(fā)成本比較高，也沒有達(dá)到阿里云日志服務(wù)這種產(chǎn)品化程度
機(jī)器部署情況阿里云EC服務(wù)器
功能概述阿里云日志服務(wù)，采集并分析nginx訪問(wèn)日志；寫日志分析SQL，每分鐘調(diào)度執(zhí)行，符合條件就觸發(fā)報(bào)警；
根據(jù)響應(yīng)狀態(tài)碼提供：接口5xx響應(yīng)報(bào)警、接口4xx響應(yīng)報(bào)警；報(bào)警通知方式為釘釘群機(jī)器人，5xx跟4xx響應(yīng)分別通知到專用的后端跟前端同學(xué)群；
修改日志分析SQL，在專用dashboard展示相關(guān)報(bào)警請(qǐng)求的詳細(xì)信息列表
根據(jù)響應(yīng)時(shí)間提供：慢響應(yīng)請(qǐng)求列表，同樣放到dashboard
效果圖釘釘群報(bào)警【c是符合條件的個(gè)數(shù)，st是響應(yīng)狀態(tài)碼】
阿里云日志服務(wù)儀表盤-5xx報(bào)警接口詳情
新建Project；新建Logstore；
配置nginx日志采集；
日志路徑：/path_to_logs/**/access.log
模式：nginx配置；從線上nginx.conf文件里拷貝 log_format main，配置到頁(yè)面；
Topic生成方式：文件路徑正則；自定義正則：/path_to_logs/([^/]+)/access.log，正好把域名提取出來(lái)。可參考生成主題
Logtail機(jī)器組：配置nginx機(jī)器內(nèi)網(wǎng)IP
nginx機(jī)器安裝Logtail采集器；
參考文檔
五分鐘快速入門
分析Nginx日志
日志服務(wù)（SLS）用戶手冊(cè)
配置日志分析SQL及報(bào)警日志庫(kù)》查詢分析》查詢，可以寫SQL實(shí)時(shí)查詢/分析，然后另存為告警
配置告警條件
配置告警通知。一個(gè)告警可配置多個(gè)通知列表，可以同時(shí)通知到釘釘群跟短信
5xx報(bào)警SQL
為了方便查看具體的錯(cuò)誤接口，基于uri分組統(tǒng)計(jì)并報(bào)警，報(bào)警內(nèi)容里包含uri信息
為了方便確認(rèn)嚴(yán)重程度，報(bào)警內(nèi)容里包含響應(yīng)狀態(tài)碼
__topic__:www.xyz.com and status in [500 600) | select count(1) as c, avg(status) as st, case when strpos(request_uri, "?") > 0 then split_part(request_uri, "?", 1) else request_uri end as uri group by uri having count(1)>=5 order by count(1) desc
分析SQL的寫法可參考
告警-實(shí)時(shí)監(jiān)控Nginx訪問(wèn)日志
實(shí)時(shí)分析簡(jiǎn)介。支持的SQL語(yǔ)法及計(jì)算函數(shù)都有
告警條件配置
告警通知配置
上面的配置圖可能會(huì)變，這個(gè)產(chǎn)品一直在進(jìn)化，18年12月的時(shí)候發(fā)現(xiàn)有一次大的改版。
dashboard相關(guān)報(bào)警請(qǐng)求的詳細(xì)信息列表SQL：
__topic__:www.xyz.com and status in [500 600) | select time_local, status, upstream_addr, __topic__ as vhost, case when strpos(request_uri, "?") > 0 then split_part(request_uri, "?", 1) else request_uri end as uri order by time_local desc
dashboard慢響應(yīng)分析SQL：
__topic__:www.xyz.com and request_time > 0.3 | select count(1) as count, avg(request_time) as avg_request_time, min(__topic__) as vhost, case when strpos(request_uri, "?") > 0 then split_part(request_uri, "?", 1) else request_uri end as uri group by uri order by avg_request_time desc
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/40369.html
摘要：量化派是一家數(shù)據(jù)驅(qū)動(dòng)的科技金融公司，通過(guò)人工智能大數(shù)據(jù)機(jī)器學(xué)習(xí)等前沿技術(shù)提供消費(fèi)信貸撮合及消費(fèi)場(chǎng)景下的白條服務(wù)，每年處理千萬(wàn)級(jí)用戶信用及信用消費(fèi)申請(qǐng)。 「小楊」最近裝修房子，準(zhǔn)備去銀行貸款，但是聽說(shuō)好多人會(huì)因?yàn)閭€(gè)人征信問(wèn)題被銀行拒絕貸款！于是，他先查了一下自己的央行征信，發(fā)現(xiàn)竟然沒有自己的征信信息，「小楊」陷入了沉思，自己經(jīng)常在淘寶、jd 上買東西，也有淘寶花唄和京東白條，怎么會(huì)沒有征...
摘要：回滾部署開發(fā)者每次部署的程序包會(huì)自動(dòng)備份到歷史版本，發(fā)布異常時(shí)，可以指定回滾部署到某一歷史版本。網(wǎng)絡(luò)方面采用了硬件防火墻設(shè)施，提供四層到七層的全面防護(hù)，防護(hù)類型包括等所有攻擊方式，支持清洗和黑洞機(jī)制，還接入了防護(hù)等功能。 TAE2.0（Taobao App Engine）是針對(duì)移動(dòng)互聯(lián)網(wǎng)場(chǎng)景的定制化PaaS云服務(wù)，基于阿里云基礎(chǔ)設(shè)施，采用Docker容器技術(shù)封裝應(yīng)用運(yùn)行環(huán)境，并且針對(duì)互...
摘要：回滾部署開發(fā)者每次部署的程序包會(huì)自動(dòng)備份到歷史版本，發(fā)布異常時(shí)，可以指定回滾部署到某一歷史版本。網(wǎng)絡(luò)方面采用了硬件防火墻設(shè)施，提供四層到七層的全面防護(hù)，防護(hù)類型包括等所有攻擊方式，支持清洗和黑洞機(jī)制，還接入了防護(hù)等功能。 TAE2.0（Taobao App Engine）是針對(duì)移動(dòng)互聯(lián)網(wǎng)場(chǎng)景的定制化PaaS云服務(wù)，基于阿里云基礎(chǔ)設(shè)施，采用Docker容器技術(shù)封裝應(yīng)用運(yùn)行環(huán)境，并且針對(duì)互...
閱讀 2370·2021-11-22 12:01
閱讀 2092·2021-11-12 10:34
閱讀 4607·2021-09-22 15:47
閱讀 2914·2019-08-30 15:56
閱讀 2918·2019-08-30 15:53
閱讀 2466·2019-08-30 13:53
閱讀 3469·2019-08-29 15:35
閱讀 3179·2019-08-29 12:27
