亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

SQL資深專家，居然是這樣智能挖掘異常日志

Winer / 1151人閱讀

摘要：例如，判斷機(jī)器的延時(shí)是否正常，部分是否正常。通常，我們對(duì)于異常的數(shù)據(jù)，要及時(shí)的報(bào)警，以盡快的處理。算法的迅猛發(fā)展，給異常日志挖掘提供了新的方向。然后檢測(cè)目標(biāo)數(shù)據(jù)是否落在了正態(tài)分布的邊緣位置，如果落在了邊緣位置，則認(rèn)為是一個(gè)異常數(shù)據(jù)。

提取異常日志是個(gè)大難題

面對(duì)海量的日志(TB乃至PB級(jí)別），如何從日志中挖掘出異常信息對(duì)于大部分的開發(fā)者而言是一個(gè)大難題。例如，判斷機(jī)器的延時(shí)是否正常，部分request是否正常。通常，我們對(duì)于異常的數(shù)據(jù)，要及時(shí)的報(bào)警，以盡快的處理。

通常我們是怎么搞得呢？ 在以前，依賴于開發(fā)者的經(jīng)驗(yàn)，來(lái)根據(jù)某些特定的特征，判斷是否達(dá)到了閾值，例如根據(jù)延時(shí)是否達(dá)到了某個(gè)特定的值，或者h(yuǎn)ttp 響應(yīng)碼5xx的比例達(dá)到了某個(gè)閾值。這個(gè)閾值，依賴于資深的開發(fā)者的豐富的經(jīng)驗(yàn)。

AI dev/ops

AI算法的迅猛發(fā)展，給異常日志挖掘提供了新的方向。大名鼎鼎的AI領(lǐng)域?qū)＜覅嵌鬟_(dá)(Andrew NG)，在他所教授的Machine Learning課程中提供了一種Abnormal　Detection算法。算法通過(guò)訓(xùn)練數(shù)據(jù)集，獲得一個(gè)正態(tài)分布。然后檢測(cè)目標(biāo)數(shù)據(jù)是否落在了正態(tài)分布的邊緣位置，如果落在了邊緣位置，則認(rèn)為是一個(gè)異常數(shù)據(jù)。

算法步驟：

確定要訓(xùn)練的feature，可以是單個(gè)指標(biāo)，比如latency，也可以是復(fù)合指標(biāo)，例如CPU/NetFlow

在訓(xùn)練數(shù)據(jù)集上，求得均值μ和方差σ^2

對(duì)新數(shù)據(jù)求方程P(x)＝

接下來(lái)，我們介紹如何在SQL中使用該算法來(lái)檢測(cè)異常。

日志服務(wù)提供的異常檢測(cè)算法

以延時(shí)為例，我們來(lái)看哪些延時(shí)是異常的。 延時(shí)的分布一般是這樣的：

不滿足正太的需求，要把上述圖形轉(zhuǎn)化成正太分布，對(duì)latency 求對(duì)數(shù)：log(latency)
　

值μ和方差σ^2:

stddev即標(biāo)準(zhǔn)差
variance即方差
avg_ln即ln(latency)的均值
avglatency即latency的均值

提取異常數(shù)據(jù)

| select latency  where  pow(e(), - pow((ln(latency) - 8.223) ,2)/2/0.3975) /sqrt(2*pi()) / 0.53  < 0.01 order by latency desc

把方差標(biāo)準(zhǔn)差和均值帶入公式，使用where篩選出來(lái)小于0.01的結(jié)果，即異常值?？梢钥吹剑@得的結(jié)果，明顯大于軍latency的均值。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/19716.html

相關(guān)文章

  • 阿里巴巴智能監(jiān)控新場(chǎng)景的探索

    摘要：摘要智能監(jiān)控是智能運(yùn)維的子領(lǐng)域，詳細(xì)分析。我和我的團(tuán)隊(duì)在阿里內(nèi)部的分工是橫向去看阿里巴巴業(yè)務(wù)指標(biāo)的監(jiān)控，我們就以這個(gè)話題展開。分享分為五個(gè)環(huán)節(jié)，從阿里巴巴不同的業(yè)態(tài)，特別是新的業(yè)態(tài)帶來(lái)的挑戰(zhàn)講起。 摘要：?智能監(jiān)控是智能運(yùn)維的子領(lǐng)域，詳細(xì)分析。 showImg(https://segmentfault.com/img/remote/1460000017348788); 作者簡(jiǎn)介 王肇...

    wwq0327 評(píng)論0 收藏0

  • 阿里云高級(jí)技術(shù)專家空見： CDN的數(shù)據(jù)化之路

    摘要：數(shù)據(jù)出來(lái)后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。阿里云更多的是做實(shí)時(shí)數(shù)據(jù)分析。 想要實(shí)現(xiàn)優(yōu)質(zhì)高速的互聯(lián)網(wǎng)視頻服務(wù)，一定離不開高質(zhì)量的內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)，就是我們常說(shuō)的CDN，在10月13日云棲大會(huì)視頻多媒體分論壇上，阿里云高級(jí)技術(shù)專家空見為大家講解了CDN服務(wù)過(guò)程中，數(shù)據(jù)處理、安全監(jiān)測(cè)、日志分析、智能分析是如何為CDN賦能...

    番茄西紅柿 評(píng)論0 收藏0

  • 阿里云高級(jí)技術(shù)專家空見： CDN的數(shù)據(jù)化之路

    摘要：數(shù)據(jù)出來(lái)后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。阿里云更多的是做實(shí)時(shí)數(shù)據(jù)分析。 想要實(shí)現(xiàn)優(yōu)質(zhì)高速的互聯(lián)網(wǎng)視頻服務(wù)，一定離不開高質(zhì)量的內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)，就是我們常說(shuō)的CDN，在10月13日云棲大會(huì)視頻多媒體分論壇上，阿里云高級(jí)技術(shù)專家空見為大家講解了CDN服務(wù)過(guò)程中，數(shù)據(jù)處理、安全監(jiān)測(cè)、日志分析、智能分析是如何為CDN賦能...

    rollback 評(píng)論0 收藏0

  • 你和阿里資深架構(gòu)師之間，差的不僅僅是年齡（進(jìn)階必看）

    摘要：導(dǎo)讀閱讀本文需要有足夠的時(shí)間，筆者會(huì)由淺到深帶你一步一步了解一個(gè)資深架構(gòu)師所要掌握的各類知識(shí)點(diǎn)，你也可以按照文章中所列的知識(shí)體系對(duì)比自身，對(duì)自己進(jìn)行查漏補(bǔ)缺，覺得本文對(duì)你有幫助的話，可以點(diǎn)贊關(guān)注一下。目錄一基礎(chǔ)篇二進(jìn)階篇三高級(jí)篇四架構(gòu)篇五擴(kuò) 導(dǎo)讀：閱讀本文需要有足夠的時(shí)間，筆者會(huì)由淺到深帶你一步一步了解一個(gè)資深架構(gòu)師所要掌握的各類知識(shí)點(diǎn)，你也可以按照文章中所列的知識(shí)體系對(duì)比自身，對(duì)自己...

    huaixiaoz 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<