应用FileBeat Kafka LogStash ElasticSearch Kibana 搭建一个日志分析系统
elk+redis 搭建nginx日志分析平台
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队 列,redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。
我们需要的是一个分布式的,日志收集和分析系统。logstash有agent和indexer两个角色。对于agent角色,放在单独的web机 器上面,然后这个agent不断地读取nginx的日志文件,每当它读到新的日志信息以后,就将日志传送到网络上的一台redis队列上。对于队列上的这 些未处理的日志,有不同的几台logstash indexer进行接收和分析。分析之后存储到elasticsearch进行搜索分析。再由统一的kibana进行日志web界面的展示。
下面我计划在一台机器上实现这些角色。
准备工作
- 安装了redis,开启在6379端口
- 安装了elasticsearch, 开启在9200端口
- 安装了kibana, 开启了监控web
- logstash安装在/usr/local/logstash
- nginx开启了日志,目录为:/usr/share/nginx/logs/test.access.log
1 下载各个安装包
https://www.elastic.co/cn/
2 kibanna安装及配置
(1)安装kibanna
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz tar -zxvf kibana-5.6.3-linux-x86_64.tar.gz cd kibana-5.6.3-linux-x86_64/
(2)kibanna配置
vim config/kibana.yml # 将默认配置改成如下: server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://127.0.0.1:9200" kibana.index: ".kibana"
(3)启动kibanna
/bin/kibanna
3 安装及启动elasticSearch
(1) 下载https://www.elastic.co/downloads/elasticsearch
(2) 启动./bin/elasticSearch
4 安装及配置logstash
(1)下载zip安装包
https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.zip
(2)在config目录下创建一个配置文件,可命名为logstash.conf,输入以下内容:
input {
file {
path => "/data/web/logstash/logFile/*/*"
start_position => "beginning" #从文件开始处读写
}
# stdin {} #可以从标准输入读数据
}
定义的数据源,支持从文件、stdin、kafka、twitter等来源,甚至可以自己写一个input plugin。如果像上面那样用通配符写file,如果有新日志文件拷进来,它会自动去扫描。
相关推荐
通过纯Python完成股票回测框架的搭建。 什么是回测框架? 无论是传统股票交易还是量化交易,无法避免的一个问题是我们需要检验自己的交易策略是否可行,而最简单的方式就是利用历史数据检验交易策略,而回测框架就是...
适用于初学者徒手搭建hadoop集群,文档细致,完全傻瓜模式,非常好用
徒手操教学.doc
体育徒手操教案.doc
徒手操 (2).ppt
徒手旋转胎方位.ppt
创建一个MFC对话框程序,徒手加载一个BMP图像并进行显示。
不用开发工具徒手配置会遇到很多问题。像Tomcat虚拟路径的问题、Tomcat报错的问题。其实搞明白后挺简单的,按着文档一步步来可以解决所有Tomcat报错的问题~~
徒手开放气道的方法.ppt
徒手整形顾客基础知识.pdf
徒手操· 成套动作.doc
准备活动--徒手操.docx
根据两瞳孔的间隔约为自己臂长的十分之一,将测得实地物体的宽度乘以10,即为站立点至目标的距离。测量方法是:将臂向前伸直,竖起拇指,闭左眼,使右眼的视线沿拇指一侧对准目标左侧(基准点),头和手保持不动,再闭...
基于数据挖掘的徒手拔伸治疗神经根型颈椎病的参数应用分析.pdf
行业文档-设计装置-一种可徒手拆装挡板的裁纸机
徒手撸了一个API网关,理解更透彻了,代码已上传github,自取~.docx
使用 OpenCV 编制一个简单的徒手绘图程序。该程序使用鼠标绘制图形,当鼠标左键按下时开始绘制一条曲线,鼠标左键松开时停止当前曲线的绘制。按下“S”键将当前绘制结果存入图像文件,按下“C”清除所有绘制结果。...
将一个DICOM文件从读取到显示,不用任何第三方库,用GDI显示。VS2008编译,C++代码。
3徒手操教案.docx