写在最前面, 这个logstash解决时差的原理是利用timestamp字段替换logstash的@timesamp字段。
如果日志里没有这个timestamp字段,则无效。
Logstash 2.3版本
logstash的date插件配置:
date { match =>["timestamp","dd/MMM/yyyy:HH:mm:ss Z"] target =>"@timestamp"}
查看解析结果发现@timestamp比中国时间早了8小时
对于页面查看,ELK 的解决方案是在 Kibana 上,读取浏览器的当前时区,然后在页面上转换时间内容的显示。
解决方案找到两个
1、
vim vendor/bundle/jruby/1.9/gems/logstash-core-event-2.3.3-java/lib/logstash/timestamp.rb
把@time = time.utc 改成time即可
2、
这种办法与Linux服务器的时区设置有关系,有些Linux可能修改不成功,推荐用第一种。
http://www.aichengxu.com/view/6621766
1)修改logstash配置
date { match =>["timestamp","yyyy-MM-dd HH:mm:ss"] target =>"@timestamp""locale"=>"en" timezone =>"+00:00"}
添加 timezone => “+00:00”
然后测试@timestamp就是正常的时间了,@timestamp和timestamp是一致的。
2)因为kibana会读取浏览器的时区,然后+8小时,所以需要修改kibana的配置。
Settings – Advanced – dateFormat:tz 修改为UTC
Elasticsearch索引创建错误
修改之后发现logstash在按每天输出到elasticsearch时,每天8:00才创建当天索引,而8:00以前数据还是会输出到昨天的索引,如图:
解决办法如下:
vim ./vendor/bundle/jruby/1.9/gems/logstash-core-event-2.3.3-java/lib/logstash/string_interpolation.rb .withZone(org.joda.time.DateTimeZone::UTC)
修改为
.withZone(org.joda.time.DateTimeZone.getDefault())
Logstash5.3版本
解决8小时时差问题,配置如下:
date { match =>["timestamp","dd/MMM/yyyy:HH:mm:ss +0800"] target =>"@timestamp""locale"=>"en" timezone =>"UTC"}
相关推荐
Logstash6整合Hadoop-报错与解决方案.docx
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...
实战Elasticsearch、Logstash、Kibana++分布式大数据搜索与日志挖掘及可视化解决方案
企业级elk收集tomcat日志
Elasticsearch启动https访问,需要配置logstash,该配置logstash支持https的conf配置文件
crontab logstash 定时检测及服务启动 解决logstash服务频繁宕机
logstash离线安装插件步骤: 在一个联网的虚拟机上下载好插件 ./logstash-plugin install logstash-input-jdbc 查看插件是否安装 ./logstash-plugin list 打包下载好的插件(可能会有错误;多试几次) ./...
FileBeat,隶属于Beats,是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash。
Logstash ruby 插件 demo
logstash
centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件
Logstash使用中遇到的一些坑和解决方案.docx
logstash启动脚本
Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。...
logstash-5.6.8.zip
不要下,书籍不全,之前没注意 不要下,书籍不全,之前没注意 不要下,书籍不全,之前没注意
logstash-7.8.0.rpm
实战Elasticsearch、Logstash、Kibana++分布式大数据搜索与日志挖掘及可视化解决方案.pdf
logstash-5.3.1 资源下载
logstash-output-jdbc.zip