采用技术:shell+awk+mysql+存储过程
主目录:/usr/local/yicha/adtools/stat_node/
awk目录:各种awk脚本,主要是对日志做一些合并的处理
config目录:shell脚本的配置文件目录
error目录:shell脚本的某个环节出错后提示的错误文件放在此目录
shell目录:shell脚本放在此目录里面
shell脚本介绍:
download.sh 下载脚本,只负责从配置文件中所配置的服务器上下载压缩后的日志。
extract.sh 解压缩脚本,只负责把各个服务器目录下压缩后的日志按日志名称解压缩出来合并成一个文件,然后删掉各服务器目录下解压缩后的文件
analysis.sh 解析脚本,通过配置文件找到对应的awk文件,对相应的日志文件进行合并,生成可以导入到数据库的文件database.sh 数据库入库脚本,把通过analysis.sh解析
后生成加入到数据库中。
main_down_pv.sh pv的数据的主脚本。按顺序组合上面各个步骤的脚本,首先是下载,其次是解压缩,然后是解析脚本,接着是删除数据库的数据(这里是为了重新执行某一个小时
而设计的),最后是把数据入库。
main_down_click.sh click数据的主脚本。
call_proceduce_day.sh 执行存储过程的脚本。这是按天执行的存储过程,主要是利用存储过程合并数据,生成最终的产品人员需要的统计数据。
分享到:
相关推荐
质量改进统计分析方法.pptx
质量改进统计分析方法培训课程.pptx
设计了一种修正系数来通过机动目标的当前加速度自适应调整模型的加速度极限值,同时利用模糊控制的方法对修正系数的取值进行实时调整,实现了对当前统计模型的改进。最后结合容积卡尔曼滤波算法构造基于改进当前统计...
二阶循环统计量改进RLS盲均衡算法,郭璘婕,,研究了基于单输入多输出(SIMO)系统的最小二乘法盲均衡算法,提出一种二阶循环统计量的改进型递推RLS盲均衡算法,并对其均衡过程��
基于当前统计模型的改进粒子滤波算法经典-基于当前统计模型的改进粒子滤波算法.rar 基于当前统计模型的改进粒子滤波算法
关于改进跨境电商统计方法的建议.pdf
spc统计过程控制的改进
基于改进卡方统计的微博特征提取方法
基于实例的机器翻译(example-based machine translation,简称EBMT)使用预处理过的双语例句作为主要翻译资源,...同时,人工评价结果显示,改进后的半结构化EBMT 系统的译文能够表达原文的大部分信息,并且具有较高的流利度.
数据说话:基于统计技术的质量改进.pdf
浅析改进统计方法提升事业单位统计工作质量的策略.pdf
spc统计过程控制的改进.pdf
度量软件过程——用于软件过程改进统计控制
书中描述软件度量,并给出许多运用数据的例子,强调运用统计过程控制方法来理解过程行为,以促进软件过程的稳定性、可预见性。
这是一本有关使用统计过程控制及控制图来度量和分析软件过程的书。它揭示了如何利用统计过程控制来度量和分析软件产品与过程的特性,使得对于生产产品的活动可以进行管理、预测、控制和改进,以达到商业和技术目标。
一方面,极值理论正处于迅速发展中,有些问题的处理在理论上还没有一种公认为最好的统计方法,有些方法可能还比较粗糙,有待改进,特别对多元极值问题;另一方面,有时认为极值的统计分析不仅是科学方法,而且还是一...
为了在高密度大规模群体人数统计的问题上有效的克服遮挡与摄像机透视畸形带来的影响,文中采用了一种基于线性内插透视矫正的SURF(Speeded Up Robust Feature)算法。首先,采用背景差与滑动平均相结合的方式得到人群...
对高校科技统计软件的改进建议.docx
关于当前统计模型的一种新算法,对于需要了解当前统计模型的朋友应该有帮助的吧