input {
file {
type => "fx-czrz"
path => ["D:/logs1/czrzFile*"]
start_position => "beginning"
}
file{
path => "D:/logs2/ycrzFile*"
type => "fx-ycrz"
start_position => beginning
#codec => multiline{
# pattern => "^\s"
# what => "previous"
#}
}
jdbc {
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
jdbc_user => "root"
jdbc_password => "123456"
jdbc_driver_library => "E:\mysql-driver\mysql-connector-java-5.1.44-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => "* * * * *"
jdbc_default_timezone => "Asia/Shanghai"
#以下对应着要执行的sql的绝对路径。
statement_filepath => "e:\ls\sql.sql"
use_column_value => false
last_run_metadata_path => "e:\ls\last_run.txt"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#设定ES索引类型
type => "mysqlrz"
}
# stdin {} #可以从标准输入读数据
}
filter {
if [type] == "fx-czrz" {
grok{
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{DATA:xtlx}\] \[%{DATA:traceId}\] \[%{LOGLEVEL:log_level}\] \[(?<ffmc>(.*))\] %{GREEDYDATA:qqsj}%{GREEDYDATA:ip}%{GREEDYDATA:zh}%{GREEDYDATA:xm}%{GREEDYDATA:url}%{WORD:method}%{GREEDYDATA:params}(?<agent>(.*))" }
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{DATA:xtlx}\] \[%{DATA:traceId}\] \[%{LOGLEVEL:log_level}\] \[(?<ffmc>(.*))\] %{GREEDYDATA:qqsj}%{GREEDYDATA:ip}%{GREEDYDATA:zh}%{GREEDYDATA:xm}%{GREEDYDATA:url}%{WORD:method}%{GREEDYDATA:params}(?<agent>(.*))" }
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{DATA:xtlx}\] \[%{DATA:traceId}\] \[%{LOGLEVEL:log_level}\] \[(?<ffmc>(.*))\] ==>%{GREEDYDATA:message}" }
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{DATA:xtlx}\] \[%{DATA:traceId}\] \[%{LOGLEVEL:log_level}\] \[(?<ffmc>(.*))\] <==%{GREEDYDATA:message}" }
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] \[%{DATA:xtlx}\] \[%{DATA:traceId}\] \[%{LOGLEVEL:log_level}\] \[(?<ffmc>(.*))\] %{GREEDYDATA:message}" }
match => { "message" => "%{GREEDYDATA:message}" }
}
date{
match => ["timestamp","UNIX_MS"]
remove_field => "timestamp"
}
urldecode{
all_fields => true
}
}
}
output {
if [type] == "mysqlrz"{
elasticsearch {
hosts => ["localhost:9200"]
index => "mysqlrz_%{+YYYYMMdd}"
user => "elastic"
password => "123456"
}
}
if [type] == "fx-czrz"{
elasticsearch {
hosts => ["localhost:9200"]
index => "fx-czrz-%{+YYYYMMdd}"
user => "elastic"
password => "123456"
}
}
if [type] == "fx-ycrz"{
elasticsearch {
hosts => ["localhost:9200"]
index => "fx-ycrz-%{+YYYYMM}"
user => "elastic"
password => "123456"
}
}
}
分享到:
相关推荐
logback日志写logstash配置appender参考
自定义文件的logstash的配置文件
logstash 配置文件1
logstach的exe.conf配置文件............................................................................................................
用于解析 vsftpd 日志记录的 Logstash 配置和 grok 模式 用法 安装logstash 将50-filter-vsftpd.conf添加到/etc/logstash/conf.d 将vsftpd.grok添加到/etc/logstash/patterns.d 重启logstash 包含的 Logstash ...
logstash6.2.2多管道输出es聚合配置案例,共3个管道,文章,论坛,产品管道。其中:文章和论坛是简单配置,产品使用聚合配置,用ruby语法写了聚合逻辑。
postfix-grok-patterns, 解析后缀日志记录的Logstash配置和grok模式 用于后缀日志的 Logstash注释模式一组使用grok解析后缀日志记录的grok模式。 还包括一个示例Logstash配置文件,用于将grok模式作为过滤器应用。...
Elasticsearch启动https访问,需要配置logstash,该配置logstash支持https的conf配置文件
该配置文件有logstash的stdin、file、tcp、udp、syslog、beats、grok、elasticsearch插件配置
Logstash 配置工具 该项目面向希望开始使用。 它提供了一个基于 Web 的 UI 来创建 Logstash 配置文件。 创建的配置文件可以下载并与 Logstash 一起使用。 未来,用户界面还将允许用户在线测试他们的配置文件。 开发...
Logstash配置这些是我的私有logstash配置文件。 它们是为Arch Linux和我使用的软件创建的。 说明在文件中。 由于这是我的第一个logstash设置,因此某些配置可能很奇怪。 如果您比我还了解任何其他信息,请提出问题...
这个配置文件用于通过 logstash 解析Palo Alto Networks(PAN-OS)防火墙产生的Syslog日志,并将其转换为结构化的数据格式以便于后续处理和分析。 这个配置文件提供了以下功能: 1. 解析Palo Alto Networks(PAN-...
24优化logstash读取redis缓存日志配置.md
用于编辑Logstash配置文件的基本Emacs模式。 特征: 语法高亮 缩进 只需从MELPA安装它,然后在文件上运行Mx logstash-conf-mode 。 变更日志 v0.5(尚未标记) 改进了关键字和内置运算符的语法突出显示。 v0.4 ...
Logstash配置对IntelliJ的支持 IntelliJ IDE的插件以支持弹性配置文件 特征 语法高亮 关键字补全 大括号匹配 自动评论 安装 使用IDE内置插件系统: 文件>设置>插件>浏览存储库... >搜索“ logstash” >安装插件 手动...
ClearPassAndELK介绍该存储库的... 10-logstash-syslog.conf一个示例Logstash配置文件,它将处理ClearPass生成的SYSLOG事件并将其存储在Elasticsearch集群中。 我的计划是随着我更多地了解如何使用Kibanna分析Elasti
Meraki MX系列Logstash配置 可与Logstash v1.5一起使用并经过测试。* 这将监视您的所有事件,IDS,流和URL Syslog信息。 我开始这个项目是因为我找不到他们最新的东西并且没有我想要的东西。 我想做一些易于配置,...
Logstash配置格式的语法分析基础是原始的,仅需进行很小的更改即可使用。 logstash-config使用从PEG生成解析器(解析器表达语法)。 特别感谢Martin Angers( )。 该软件包目前正在开发中,没有API保证。 安装 ...
logstash-selinux-审计selinux audit.log 的 logstash 配置(grok 模式和 logstash.conf)
logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件...