`
canofy
  • 浏览: 821017 次
  • 性别: Icon_minigender_1
  • 来自: 北京、四川
社区版块
存档分类
最新评论

统计改进

阅读更多
采用技术:shell+awk+mysql+存储过程
主目录:/usr/local/yicha/adtools/stat_node/
awk目录:各种awk脚本,主要是对日志做一些合并的处理
config目录:shell脚本的配置文件目录
error目录:shell脚本的某个环节出错后提示的错误文件放在此目录
shell目录:shell脚本放在此目录里面


shell脚本介绍:
download.sh 下载脚本,只负责从配置文件中所配置的服务器上下载压缩后的日志。
extract.sh   解压缩脚本,只负责把各个服务器目录下压缩后的日志按日志名称解压缩出来合并成一个文件,然后删掉各服务器目录下解压缩后的文件
analysis.sh  解析脚本,通过配置文件找到对应的awk文件,对相应的日志文件进行合并,生成可以导入到数据库的文件database.sh  数据库入库脚本,把通过analysis.sh解析

后生成加入到数据库中。
main_down_pv.sh pv的数据的主脚本。按顺序组合上面各个步骤的脚本,首先是下载,其次是解压缩,然后是解析脚本,接着是删除数据库的数据(这里是为了重新执行某一个小时

而设计的),最后是把数据入库。
main_down_click.sh click数据的主脚本。
call_proceduce_day.sh 执行存储过程的脚本。这是按天执行的存储过程,主要是利用存储过程合并数据,生成最终的产品人员需要的统计数据。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics