需求:
最近在浪点买了个虚拟主机,建了个小网站。想要通过分析apache log来得到来访着的信息,比如地理位置(具体到省份,这个是google analytics 没法提供的。)
实现:
代码及相关文件(其中ip数据库文件QQWry.Dat较大)
svn checkout https://xiaojaylib.googlecode.com/svn/trunk/alog alog
1 apachelogs.py 关门放google,找到几个相关python module,这个的比较好用。 http://www.coolsnap.net/kevin/?p=7。
主要是从log 每一行用正则表达式提取信息,以class ApacheLogLine的数据结构;
然后提供了个iterator,供我们写自己脚本分析。
2 qqip.py
从python-cn Google group上找到的qq ip库查询脚本 http://groups.google.com/group/python-cn/browse_thread/thread/aca85f87a923c2a8/
以及ip数据库文件QQWry.Dat
3 where.py 自己写的
用法:python where.py demo_log
输出项:日期 时间 访问者省份 下载数据量
日期
效果
见首图
- 大小: 167.1 KB
分享到:
相关推荐
python apache日志分析 INTERNATIONAL MEDICAL SUMMIT FORUM python apache日志分析 任务背景 操作系统和许多程序会产生各种错误信息、警告信息和其他的提示信息,这种信息会记录到日志里面。系统日志里面有很多东西...
parse_time_period:解析时间戳并创建Python日期时间对象的辅助方法 add_to_sliding_window:一种帮助程序方法,用于维护滑动窗口以标识最繁忙的10个持续时间 identity_top_hours:确定最繁忙的10个时段的方法 find_...
这里使用python分析apache和nginx日志文件输出访客ip列表 ips = {} fh = open("/var/log/nginx/access.log", "r").readlines() for line in fh: ip = line.split(" ")[0] if 6 < len(ip) <=15: ips[ip] = ...
维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的: 应用到:shell与python数据交互、数据抓取,编码转换
Python 3 中的 Apache 访问日志解析器。 2.0 版发布。 暂时不支持颜色。 为简单起见,如果您想使用pypache ,请将以下行添加到/etc/apache2/apache2.cfg : LogFormat "%h %l %u %t %r %>s %O | %{Referer}i | %{...
网络日志统计 Python脚本可解析Web日志文件并返回给定时间段内的请求数和唯一IP 它通过-f来获取Web(当前为Apache或Nginx)日志文件,您希望查看-t的小时数(默认值= 24小时),并且如果您想... list of apache log
Python视频课程素材,提供日志数据。 技术博文可参考:https://blog.csdn.net/lsqzedu/article/details/104325903 视频课程可参考:https://study.163.com/series/1202856601.htm?share=2&shareId=6105394
/usr/bin/python”’程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明:应用到:shell与python数据交互、数据抓取,编码转换”’import osimport ...
android-log power 各包电量分析
Apache Log AnalysisApache 日志分析框架自动分析有效数据并分发;采用生产者消费者解耦模型,默认使用单机 Q,可更换为 Redis 或 RabbitMQ 等;支持时间窗口,支持定义宽度、间隔;支持自定义插件注册;自带插件:...
Apache日志管理 用于Apache日志处理和聚合的Django应用
log4j是一个用Java编写的可靠,快速和灵活的日志框架(API),它在Apache软件许可下发布。 Log4j已经被移植到了C,C++,C#,Perl,Python和Ruby等语言中。 Log4j是高度可配置的,并可通过在运行时的外部文件...
Apache日志处理器| 如何使用logProcessory.py? 开始之前,请确保满足最低要求: Python 2.7 Apache访问日志格式: 需要处理的Apache访问日志应采用以下格式: "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{...
log4j入门教程 Log4j是一个开源的日志记录组件,其产品...Log4j的具体在 http://logging.apache.org/log4j/找到它(有使用的文档说明)。另外,log4j已经被转换成 C, C++, C#, Perl, Python, Ruby, 和 Eiffel 语言。
前言 WAF上线之后,处理最多的是误报消除。 产生误报有多种原因,比如web应用源码编写...这就需要用python帮助自动分析。 实现思路 拿我司某Web系统举例: apache开启了access日志记录 日志规则是每小时生成一个
brandquad_test_apache_log 解析Apache日志 运行应用程序 使用docker: docker-compose up (应该安装docker) 可以从获得该应用程序 下载并解析日志docker-compose exec web python manage.py get_logs URL 示例...
Chapter 8: Dblog: A Blog Implemented in Django 241 Django Design Philosophies 241 An Example: A Simple Blog Site 242 Contents ftoc.indd xvii 9/10/07 11:33:03 AM xviii Initializing the Project 242 ...
org.apache.log4j.Logger ; + import org.slf4j.Logger ; + import org.slf4j.LoggerFactory ; 2.日志实例将使用SLF4J创建 - private final static Logger log = Logger . getLogger( UserSessionFilter . class); +...
包含基本系列文档(Spring,Spring Boot,Spring Cloud,Spring Security,Spring Session),大数据(Apache Hive,HBase,Apache Flume),日志(Log4j2,Logback) ,Http Server(NGINX,Apache),Python,...