Logstash简介
Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和民主化所有数据,用于各种先进的下游分析和可视化用例。
尽管Logstash最初推动了日志收集方面的创新,但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入,过滤和输出插件进行丰富和转换,其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。
Logstash 功能
- 具有强大Elasticsearch和Kibana协同功能的水平可伸缩数据处理流水线
-
社区可扩展和开发友好的插件生态系统
超过200个可用的插件,以及创建和贡献自己的灵活性
日志
Web
数据存储
- 使用JDBC接口更好地理解来自任何关系数据库或NoSQL存储的数据
- 统一来自消息队列的不同数据流,如Apache Kafka, RabbitMQ和Amazon SQS
传感器和物联网
- 在这个技术进步的时代,海量的物联网世界通过捕捉和利用来自连接的传感器的数据释放无数的用例。
- Logstash是用于摄取从移动设备发送到智能家庭,连接车辆,医疗传感器以及许多其他行业特定应用的数据的常见事件收集中枢。
在摄取过程中清理并转换以便在索引或输出时刻立即获得近乎实时的信息。Logstash提供了许多聚合和突变以及模式匹配,地理映射和动态查找功能。
- Grok是Logstash过滤器的面包和黄油,并且无处不在地用于从非结构化数据中派生出结构。享受丰富的集成模式,旨在帮助快速解决Web,系统,网络和其他类型的事件格式。
- 通过解析来自IP地址的地理坐标,规范 日期复杂性,简化键值对和 CSV数据,指纹(匿名)敏感信息以及通过本地查找或Elasticsearch 查询进一步丰富您的数据,从而扩展您的视野。
- 编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。
分析器
- Elasticsearch
- 数据存储,如MongoDB和Riak
持久存档
监控
报警
相关推荐
elasticsearch的框架,同样是以lucene为基础,并且吸收了前两代的教训而开发出的分布式多用户能力的全文搜索引擎,并且elasticsearch是基于RESTful web接口进行发布的,那么这就意味着,我们开发人员操作起来更方便...
本书是《Web安全之机器学习入门》之后又一作品。本书首先介绍如何打造自己的深度学习工具箱,包括TensorFlow、TFLearn等深度学习库的安装以及使用方法。接着介绍卷积神经网络和循环神经网络这两大深度学习算法的...
本套课程由浅入深,第一季课程着重对Elasticsearch 7.x的基础知识和原理进行讲解,并结合实例演示说明基础知识点以及需要注意的地方,同时本套课程也会介绍kibana以及logstash与elasticsearch的搭配使用入门,...
HBase、 Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 Kettle、 Kylin 、Spark 、Mllib机器学习、 Flink、 Python、 SpringBoot、 Hadoop3.x...
3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在...
Logstash,带有各种配置文件 苏里卡塔 Osquery 随附的工具,但目前尚不能很好地支持 兄弟 有关基础架构的注意事项 此处的所有工具均作为Docker容器部署在VM中。 但是,该项目不需要了解docker。 运行脚本中包含所需...
《 Elasticsearch核心技术与实战》 Github地址极客时间:《 Elasticsearch核心技术与实战》视频课程购买地址-https: 第一部分:初识Elasticsearch第1章:概述课程介绍课程概要及学习建议Elasticsearch简介及其发展...
一个Java+ajax写的登录实例,附有JAVA源文件,JAVA新手朋友可以学习一下。 JAVA+JSP的聊天室 8个目标文件 简单 JavaScript万年历 显示出当前时间及年份,还可以选择年份及月份和日期 Java编写的HTML浏览器 一个...
一个Java+ajax写的登录实例,附有JAVA源文件,JAVA新手朋友可以学习一下。 JAVA+JSP的聊天室 8个目标文件 简单 JavaScript万年历 显示出当前时间及年份,还可以选择年份及月份和日期 Java编写的HTML浏览器 一个...
3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈!...