資訊專欄INFORMATION COLUMN
摘要：以默認(rèn)的日志格式為例各字段的含義分別是請(qǐng)求者授權(quán)用戶，如果不使用認(rèn)證方式，其值為空服務(wù)器時(shí)間戳請(qǐng)求類型如，等請(qǐng)求路徑不含參數(shù)協(xié)議版本服務(wù)器返回的狀態(tài)碼如，，等服務(wù)器響應(yīng)報(bào)文大小，單位字段值字段以下列舉常用的日志分析命令根據(jù)狀態(tài)碼進(jìn)行請(qǐng)求
Access logs
以nginx默認(rèn)的日志格式為例：
$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
各字段的含義分別是：
$remote_addr 請(qǐng)求者IP
$remote_user HTTP授權(quán)用戶，如果不使用Http-based認(rèn)證方式，其值為空
[$time_local] 服務(wù)器時(shí)間戳
"$request" HTTP請(qǐng)求類型(如GET，POST等)+HTTP請(qǐng)求路徑(不含參數(shù))+HTTP協(xié)議版本
$status 服務(wù)器返回的狀態(tài)碼(如200，404，5xx等)
$body_bytes_sent 服務(wù)器響應(yīng)報(bào)文大小，單位byte
"$http_referer" referer字段值
"$http_user_agent" User Agent字段
以下列舉常用的日志分析命令
根據(jù)狀態(tài)碼進(jìn)行請(qǐng)求次數(shù)排序cat access.log | cut -d """ -f3 | cut -d " " -f2 | sort | uniq -c | sort -r
輸出樣例：
210433 200
38587 302
17571 304
4544 502
2616 499
1144 500
706 404
355 504
355 301
252 000
9 403
6 206
2 408
2 400
或者使用awk:
awk "{print $9}" access.log | sort | uniq -c | sort -r
上例顯示有704次404請(qǐng)求，接下來是如何找到這些請(qǐng)求的URL
awk "($9 ~ /404/)" access.log | awk "{print $7}" | sort | uniq -c | sort -r
輸出樣列：
21 /members/katrinakp/activity/2338/ 19 /blogger-to-wordpress/robots.txt 14 /rtpanel/robots.txt
接下來考慮如果找到這些請(qǐng)求的IP地址，使用命令：
awk -F" "($2 ~ "/wp-admin/install.php"){print $1}" access.log | awk "{print $1}" | sort | uniq -c | sort -r
輸出樣例：
14 50.133.11.248 12 97.106.26.244 11 108.247.254.37 10 173.22.165.123
php后綴的404請(qǐng)求（通常是嗅探）
awk "($9 ~ /404/)" access.log | awk -F" "($2 ~ "^GET .*.php")" | awk "{print $7}" | sort | uniq -c | sort -r | head -n 20
按URL的請(qǐng)求數(shù)排序
awk -F" "{print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
url包含XYZ:
awk -F" "($2 ~ "ref"){print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/39056.html
摘要：日志文件總管日志輪轉(zhuǎn)工具可以自動(dòng)對(duì)日志文件提供截?cái)鄩嚎s以及輪轉(zhuǎn)的功能。使用假設(shè)我們現(xiàn)在有一個(gè)日志文件存儲(chǔ)在，需要對(duì)其每日進(jìn)行切分為新舊兩個(gè)日志文件，并刪除天前的舊日志。以后系統(tǒng)就會(huì)對(duì)該日志進(jìn)行自動(dòng)的輪轉(zhuǎn)管理。 部署網(wǎng)絡(luò)應(yīng)用時(shí)，會(huì)對(duì)請(qǐng)求進(jìn)行日志保存，用于數(shù)據(jù)統(tǒng)計(jì)分析以及故障排除，但對(duì)于高并發(fā)請(qǐng)求的服務(wù)器，日志文件會(huì)迅速增長(zhǎng)，快速的消耗磁盤空間，同時(shí)，分析一個(gè)大文件來排查問題也會(huì)非常慢。因...
摘要：通過通過入庫(kù)后使用進(jìn)行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請(qǐng)求狀態(tài)碼的總數(shù)量。 原文地址: http://52sox.com/use-mongodb-... 在項(xiàng)目開發(fā)過程中,總是離不開日志解析的工作,雖然有些時(shí)候覺得確實(shí)挺繁瑣的,但是靜下心來會(huì)發(fā)現(xiàn)有時(shí)候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...
閱讀 3790·2021-10-12 10:11
閱讀 2047·2019-08-30 15:53
閱讀 1645·2019-08-30 13:15
閱讀 2358·2019-08-30 11:25
閱讀 1879·2019-08-29 11:24
閱讀 1719·2019-08-26 13:53
閱讀 3606·2019-08-26 13:22
閱讀 1856·2019-08-26 10:24
