最近要对IIS的访问流量进行统计,由于数据量太大(按小时分,最小的的日志文件也得一百多兆),所以采用了Logparse进行统计。
这两天需要对访问的IP进行过滤(c-ip),通过命令行执行LOGPARSE命令,会抛出一个未知异常(Log row terminates unexpectedly),十分郁闷,排查日志文件发现,在日志文件里面有一个乱码,就尝试着看看通过编码能不能解决这个问题,查阅了LOGPARSE的帮助文档,发现里面有个参数是iCodepage,通过此编码可以按照不同的格式进行文件解析,格式如下:
Logparse iCodepage:
原本的查询语句及结果是:
E:\LogParserRelease\LogPackage_[NS-SSIP-08]_2012_04_15>LogParser "select c-ip as
c-ip,sum(cs-bytes) as cs-bytes from ex12041511.log where c-ip in('111.16.115.12
0';'221.1.119.4';'58.250.241.224';'211.138.100.177';'211.137.180.234';'122.74.11
.121') group by c-ip" -e:10
c-ip cs-bytes
--------------- --------
211.138.100.177 661792
211.137.180.234 471792
221.1.119.4 69433
122.74.11.121 1459
Task completed with parse errors.
Parse errors:
Log row terminates unexpectedly
LogFile "E:\LogParserRelease\LogPackage_[NS-SSIP-08]_2012_04_15\ex12041511.
log", Row number 157485
Statistics:
-----------
Elements processed: 473979
Elements output: 4
Execution time: 6.67 seconds
可以发现,执行这个语句花费了6秒多的时间,加上iCodepage后的语句是:
E:\LogParserRelease\LogPackage_[NS-SSIP-08]_2012_04_15>LogParser
-iCodepage:437
"select c-ip as c-ip,count(c-ip) as cnt-ip,sum(cs-bytes) as cs-bytes from ex1204
1511.log where c-ip in('111.16.115.120';'221.1.119.4';'58.250.241.224';'211.138.
100.177';'211.137.180.234';'122.74.11.121') group by c-ip" -e:10
c-ip cnt-ip cs-bytes
--------------- ------ --------
211.138.100.177 887 661792
211.137.180.234 610 472657
221.1.119.4 182 69433
122.74.11.121 4 1459
Statistics:
-----------
Elements processed: 473980
Elements output: 4
Execution time: 1.16 seconds
执行的时间变成了1秒多,简直是神速呀,哈哈
分享到:
相关推荐
主要为大家详细介绍了Jenkins插件Log Parse使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
论文【LogParse: Making Log Parsing Adaptive through Word Classification】翻译。
应急工具集包含 1、webshell 查杀工具 深信服webshell 、D盾、 2、内存扫描及主机监控 memscan、Sysmon、安装使用指导 3、进程分析工具 ...ADExplorer、Everything、Hash、Logparse、winhex、nopad++ 等
python-log-parse-example Python中的简单日志解析示例 要运行此示例,请克隆或下载此存储库,然后在终端运行: python parse_logs.py
分析并显示h.264的基本流信息,很实用的工具,可以试试
var LogParse = require('couchdb-log-parse') var parser = new LogParse() fs.createReadStream('couchdb.log').pipe(parser) parser.on('data', function (c) { // this is the raw data, don't know why you ...
一个Perl脚本,用于解析SWG游戏聊天日志文件,以单独分解聊天选项卡。 用它来捕捉公会会议,热点讨论,战后分析和RP冒险!
根据 VMware vSphere vCenter 资源视图做检索,持久化统计数据到后端存储,类似对 VirtualMachine 资源做统计并自动注册到监控系统的工具 。 配置 主要配置文件为同级目录下的 config.py,主要为 sqlalchemy 存储端...
非常实用,非常方便的,app签名信息查看工具,只需拖拽即可查看应用的所有者、签发人、序列号、指纹签名等等信息,方便好用欢迎下载
例子简单的示例将打印出非json日志消息,并在json日志中查找message元素docker-compose logs -f | logparse 不要打印非json日志docker-compose logs -f | logparse -JSONOnly 打印特定的JSON字段 # Sample JSON{ " ...
[FLV 解析工具] 带控制台,打印FLV header、previous tag size 等明细信息。 解析FLV 各TAG信息,带UI 界面展示。 读取本地文件。
elf
$ npm i parse-changelog 并使用以下命令解析您的变更日志: var fs = require ( 'fs' ) ; var parseChangelog = require ( 'parse-changelog' ) ; var CHANGES = fs . readFileSync ( 'CHANGES.md' , { encoding...
Parse Generator使得windows环境下使用Lex和Yacc开发程序变成了可能,是学习编译原理的强力工具。这个就是PG的安装程序,也是我一直在使用的,亲测有效。此外友情提示:CSDN上有一篇“小白说编译原理”系列的博文,...
windows 环境下利用ramdump-parse工具解析android dump文件工具,以sdm660为例的解析命令。
txt parse java file
将解析后的editlog文件XML格式,写入MYSQL库
parse ok
windows10下视频分帧小工具; 参见博客: 【python应用】视频分帧工具 https://blog.csdn.net/jn10010537/article/details/117881816
matlab开发-parse。这个m文件使用通配符从UNIX环境返回文件名。