产品的需求与实现系列:
论产品的需求与实现系列之监控系统
论产品的需求与实现系列之数据平台
刚开始的需求1: 能像tail -f 查看日志,不用单节点去查看。
实施:先调研开源日志方案
尝试1: 用flume用采集,但采集到的日志文件不能按一定规则命名(虽是可以去改一小段的java实现),但都是文件存储方式。跟以前的相比只是不用跑去每个节点查看日志。
尝试2:自我放弃了flume方案。换elk(当时的版本是1.7)。第一版的技术是elk+redis,原始的需求已经满足了,集中式,类似tail -f 方式。现在是集中式,web方式。
需求2:要看聚合的数据,比如a一类集中显式
解决需求2:采用 if [type] == "a" {
.....
index => "a"
}
解决了
需求3:数据量太大了,要过滤数据b
解决需求3:
filter {
grok {
add_tag => [ "valid" ]
match => [
"message", "yzx"
]
}
}
需求四:要归档重要的日志
解决需求四:
需求五:要自动查看ms级日志
解决需求五:各种优化,前端,消息队列,存储,分片,索引,副本,加ngxspeed。改js 支持ms级别
-总结: 从一个人最原始的需求,能集中式类似tail -f 查看日志,到了后期各种需求功能。如果从一开始提这样一个需求:
1.集中式
2.web
3.过滤,聚合
4.归档
5.ms级实时日志
6.从关键字查询
会不会很吓人。
产品的需求与技术实现,虽是开源的方案,但中间要学会懂得方案原理,语言。根据需求,快速实现。这是典型的互联网打法,从0到1,快速迭代实现。目前elk升级到2.x,尝试了引入kafka。
之所以当成一个产品来说,是因为自已既是产品经理,又是技术经理角色,前期替用户假想功能需求有:用户行为分析,ip 展示图等。但用户只想看日志,don't make me think 程度,对产品功能减法,快速实现核心需求,其它只是锦上添花。
相关推荐
数据库系统实现论文之“数据仓库系统实现之挖掘WEB日志”
2021最新产品需求模板系列-日志管理系统需求分析.doc
日志管理系统需求分析.pdf
Android系统日志监控系统设计与实现,王军博,王勃,Android操作系统在智能手机操作系统中占70%以上,,相应Android手机病毒等恶意代码的数据危害巨大,严重影响移动互联网安全。Android系统日�
C语言实现日志系统; 用户使用指南: 1. 本数据包中存在三个文件夹,分别是 self-syslog syslogPrintf 和 user-demo, 其中 self-syslog 文件夹中包含系统日志源文件,读取配置文件函数,以及用户自定义写日志函数; ...
一种面向多系统的日志预处理关键技术的设计与实现,朱伽,徐国爱,本文主要针对面向多系统的日志审计系统,对其中的关键技术:日志采集和归一化,给出了设计和实现。比起以往其他的方案,该方案在
日志分析系统的设计与实现,论文介绍了分布式的日志分析系统的软件设计,包括需求分析,流程设计,编码实现及最后的测试和应用,推动了IT技术和日志分析技术的进步。
一种Java日志系统框架的设计与实现
手机日志系统的设计与实现手机日志系统的设计与实现手机日志系统的设计与实现
ASP个人日志系统的设计与实现(源代码+论文).zip
一套成熟的系统往往都有相应的日志系统,以便调试查看 Qt的打印信息默认处理程序将消息打印到X11下的标准输出或Windows下的调试器,其实...Qt 打印日志系统,实现打印日志保存,过期删除,窗口显示日志,网络传输日志
可视化日志分析系统的研究与实现 可视化日志分析系统的研究与实现 可视化日志分析系统的研究与实现 可视化日志分析系统的研究与实现
C++实现的日志系统,支持变长参数,支持文件大小控制。
分布式日志分析系统的设计与实现
在 日志 管 理系统的设计和实现中首先分析了日志管理系统实现的常用技术,还详细 分析了日志格式一Windows操作系统事件日志、UNIX系统日志和通用防火墙日志。系统 通过采集、筛选分析法、特征匹配分析法、统计网络...
毕设-基于web日志挖掘的网络教学系统的设计与实现,整个项目采用MyEclipse+MySQL+JDK1.7工具,已上传资源包括源码及sql数据库,导入可直接运行;采用SSH框架实现课程管理,作业管理,学生在线学习,交互式通信,资源...
基于Fluentd和HDFS的日志收集系统设计与实现,刘富源,王春露,日志系统是信息系统里的重要组成部分,常用的日志收集工具都是以单机环境为基础,要进行多机日志收集时操作复杂,获得的日志集也
ASP个人日志系统的设计与实现(源代码论文).rar
软件开发中常常将关键的操作、一般性警告以及严重的错误,通过日志文件的形式输出字符串,本子系统实现bootlog,debuglog,warning,fatallog等输出形式,支持linux、windows两种编译环境,支持多线程。有不到之处...