日志管理:一直是IT管理的一个非常重要的模块,我们有非常多的日志采集工具,例如:Flume,本期咱们要介绍的是Logstash。(大数据里面经常要处理的就是日志)
Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。我们可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。目前比较新的版本是1.5.2。
Logstash目前是ElasticSearch家族的一员,集搜索、可视化于一身。
Logstash结构如下:
所以从图中,大家可以到Redis是该系统的一个缓存(所以构建Redis集群的重要性会出现),数据通过Logstash的Indexer 将索引键入到ElasticSearch。
一般上来讲,Logstash的性能可以做到2万/s,
Logstash使用Ruby作为开发语言,所以大家需要二次开发的话,需要用Ruby。
本身来讲Logstash主要是有完整的生态系统(相比与其他生态系统),性能也还ok,大家可以尝试。
相关推荐
./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc.zip logstash-input-jdbc 最后成功会出现以下信息 You can install it with this command `bin/logstash-plugin install file...
centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件
logstash的loki插件,下载后通过命令:bin/logstash-plugin install file:///path/to/logstash-output-loki.zip 安装
安装 logstash-input-mongodb 插件 (1) 登录github 地址https://github.com/phutchins/logstash-input-mongodb 下载 (2) 解压到 logstash bin文件夹同级目录 (3) 修改logstash目录下的 Gemfile 文件 添加...
Windows:logstash-plugin install file:///D:/logstash-7.5.0/logstash-input-mongodb/logstash-input-mongodb-0.4.1.zip Linux:logstash-plugin install file:///logstash-input-mongodb/logstash-input-mongodb...
logstash-7.12.1 output-clickhouse 插件已经编译好了,logstash-7.12.1解压,直接logstash-plugin install logstash-output-clickhouse-0.1.0.gem 安装 懂的人,不需要过多解释,直接下载安装开干
logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2-linux-x86_64.tar文件 logstash-7.10.2...
下载后执行以下命令安装: ./bin/logstash-plugin install file:///root/logstash-output-jdbc.zip
logstash-input-cloudwatch-logs, Logstash的输入插件,用于从CloudWatch日志流事件 用于CloudWatch日志的 Logstash输入 来自CloudWatch日志的流事件。命令行目指定单个日志组或者组 array,这里插件将扫描该组中的...
logstash-input-jdbc-1.0.0.zip
# 需要用到 logstash-filter-translate,有以下两种加载方式,第二种需要先从已经装好的环境导出来 # 1,/usr/share/logstash/bin/logstash-plugin install logstash-filter-translate # 2,/usr/share/logstash/...
logstash-input-jdbc jar ,下载
You can install it with this command `bin/logstash-plugin install file://F:/logstash-7.2.0/logstash-offline-plugins-7.2.0.zip`
logstash-6.2.4.zip, logstash-6.2.4.zip,logstash-6.2.4.zip
适用于logstash-input输入数据源mongodb插件,离线安装包。已包含所有依赖 修改资源积分1 2020年4月15日13:10:09
最新版linux logstash-7.11.1-linux-x86_64.tar.gz最新版linux logstash-7.11.1-linux-x86_64.tar.gz
最新版linux logstash-7.16.1-linux-x86_64.tar.gz
logstash-8.1.0-x86_64.rpm
logstash-7.6.0.rpm logstash-7.6.0.rpm logstash-7.6.0.rpm logstash-7.6.0.rpm logstash-7.6.0.rpm
最新版linux logstash-7.12.1-linux-x86_64.tar.gz最新版linux logstash-7.12.1-linux-x86_64.tar.gz