每天分析日志的哥们实在伤不起,经常需要给出PV,UV,独立IP等一些统计值,使用C/C++,java都可以写,过程是这样的,先读取文件,逐行扫描,把能标记的值放入数据结构中,排重得出最终结果,其实Linux本身有很强大的文本处理功能,完全可以用shell + 一些文本小工具得出结果。
Nngix输出的access log文件如下:
192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /index.html HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"
192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /poweredby.png HTTP/1.1" 200 3034 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"
192.168.1.177 - - 1007071650 [05/Nov/2011:16:06:59 +0800] "GET /favicon.ico HTTP/1.1" 404 3650 "-" "Chrome/15.0.874.106" "-"
192.168.1.178 - - 58565468 [05/Nov/2011:16:17:40 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" "-"
192.168.1.166 - - 119272312 [05/Nov/2011:16:17:40 +0800] "GET /nginx-logo.png HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"
PV很简单,大致就是统计某个URL的访问次数,例如统计/index.html的访问次数
grep "/index.html" /var/log/nginx/access.log –c
UV呢,我们根据用户标识(第四列) ,首先需要字符串截取,使用cut命令,以空格符号分割,-d “ ”,
再取第四列-f 4,然后这里需要排重,需要使用uniq工具,uniq速度很快,但是基于就近排重,前一个后一个一样会排重,之间间隔了不一样的,就不行了,这就必须使用sort工具来对标识符进行排序,排序后再使用uniq工具就可以达到目的,之间我们用管道符号链接, 最后再用 wc –l 输出统计数
比如我们统计访问了/index.html这也页面的uv:
grep "/index.html" /var/log/nginx/access.log | cut –d “ ” –f 4| sort | uniq | wc –l
独立IP:
假设我们要统计整站的独立IP,那么我们不需要使用
grep来匹配具体页面,只需要使用cat输出即可:
cat /var/log/nginx/access.log | cut –d “ ” –f 1 | sort| uniq | wc -l
都木有使用强大的awk,就完成了基本的统计需求:)
分享到:
相关推荐
主要介绍了shell统计pv和uv、独立ip的方法,需要的朋友可以参考下
shell 统计 文本 行数 脚本 源码
shell 判断输入的ip是否和本机的ip同网段 包含两种实现方法
#/usr/bin/env bash # Name: get_network_info.sh # Author: Purple_Grape # This is a script to gather network information of your Linux system. # Test under Ubuntu 10.04 ...IP=`LANG=C ifconfig $NIC | awk
Android 用Shell命令设置静态ip https://blog.csdn.net/qq_31939617/article/details/81530531
主要介绍了Shell脚本实现自动修改IP地址,本文直接给出实现代码,并在代码中标注大量注释,需要的朋友可以参考下
【Shell学习】扫描局域网IP方法.txt
主要介绍了Shell脚本实现自动修改IP、主机名等功能分享,本文直接给出实现代码,需要的朋友可以参考下
shell脚本 ping所有网段ip 当局域网内,网络设备ip不知,可以用此脚本ping可以更改[ping指定网段ip 1s一个ip是否通畅
linux shell 实现字符串IP转换成数字IP,数字IP转换成字符串IP,便于开发时调用
Shell脚本统计C++ "*.h" "*.hpp" "*.hxx" "*.c" "*.cpp" "*.cxx" "*.cc"中的代码行数,默认会自动去掉注释、#include、空行、独占一行的大括号行 并且会按一级子目录统计汇总其子目录下面所有代码的行数
ubuntu更改IP的shell代码,自己写的,比较拙,请指正
#Function: Auto set static IP for wlan/ethernet, which dynamically assigned from dhcp,and add default gateway #Param in: default gateway that can access internet, if not enter, this value will be *.*....
获取主机信息,以“IP地址 主机名 CPU型号 主频 核数 物理内存总大小 磁盘名称 容量”格式输出csv。内附使用说明。
利用shell编程编写的判断IP地址是否合法的脚本
1,统计PV和IP 统计当天的PV(Page View) cat access.log | sed -n /`date +%d\/%b\/%Y`/p |wc -l 统计某一天的PV cat access.log | sed -n '/20\/Sep\/2018/p' | wc -l 查看日志中访问次数最多的前10个IP cat ...
获取单个文件行数 文件:test1.sh 行数:20 方法一 代码如下: awk ‘{print NR}’ test1.sh|tail -n1 如图所示: 方法二 代码如下: awk ‘END{print NR}’ test1.sh ...grep -n “” test1.sh|awk -F: ‘{print ‘}|...
禁止国外IP地址防火墙。(centos6/7使用) 包含2个文件。一个是国内(中国)地址集,一个是自动加载脚本。把国内地址和当前机器上连接的地址加入白名单。每次重启机器会自动加载白名单。vos软交换、asterisk、...