很有意思的组合
背景
在我们的系统架构中,Nginx作为所有HTTP请求的入口,是非常重要的一层。每天产生大量的Nginx Access Log,闲置在硬盘上实在是太浪费资源了。所以,能不能把Nginx日志利用起来,实时监控每个业务的访问趋势、用户行为、请求质量和后端异常呢,这就是本文要探讨的主题。
目的
- 错误码告警(499、500、502和504);
- upstream_response_time超时告警;
- request_time超时告警;
- 数据分析;
关于错误和超时监控有一点要考虑的是收到告警时,要能够快速知道是哪个后端服务节点出现了问题。
在这之前,我们都是通过随机进入一个Nginx节点tail log才能定位到,效率有些低。
架构
废话不多说,先上架构图。整体架构没太复杂的地方,随便画了一张,莫笑话我~
日志采集
这部分结合lua-resty-kafka使用Lua扩展将数据按照一定格式拼接后写入Kafka集群。Nginx+Lua的性能就不用多说了,这样一来完全可以关掉Nginx本身的日志开关,减少磁盘消耗;
消息队列
我们数据分析组的同事在这之前就已经建立Kafka集群,无需再搞一套消息队列服务。另外一个很重要的点是,我们不希望日志数据取完就删掉了,运维组除了要做监控告警之外,数据组也要读取数据做分析。因此,如Redis此类的消息队列就直接被我们pass掉了;
异常监控计算
这部分使用Heka来做,Heka使用Go语言编写,内置丰富的插件可以满足大部分的需求。若不满足需求,可以使用Go或者Lua自行开发扩展。之前使用过Logstash做业务日志收集,但它有时的CPU占用实在太吓人,不敢再在业务机上使用,并且感觉扩展不方便。就我们目前的应用来看,Heka 的性能和资源占用还是很不错的。
可以使用Filter做计算,有错误时向Heka消息流中写入告警消息,SMTPOuter匹配到告警消息后通过自定义的Encoder定制好邮件内容后再发送。
可视化
Heka层一方面做异常监控,另一方面使用Message Matcher Syntax匹配异常数据写入到Elasticsearch, 再架设一个Kibana。我们在收到告警邮件后,就可以进入Kibana后台查看异常的Log。
不足
- 邮件告警机制需要优化, 我们目前的设置是每分钟检查一次,发现错误就会一直告警。之后可以优化为发现异常时告警一次,异常结束时再发一次汇总邮件;
- Heka服务管理和进程监控需要优化,支持自动重启,不然进程挂了都不知道;
- Heka配置接入配置中心并支持自动重启(目前的配置主要是各业务的告警阀值,需要进入机器修改);
总结
整个开发过程还是比较顺利的,唯一比较耗时的是熟悉Heka的整个消息处理的流程和机制,以及如何开发扩展。另一个比较坑的是Heka的错误提示不全和调试不方便,有时完全靠猜,不过好在它本身并没有多复杂,有些问题看一看源代码就明白了。
关于消息队列的选择,前面已经提到我们已有Kafka集群就直接拿来用了。如果仅仅做异常监控,不需要消息留存, 倒可以考虑使用Redis之类轻量些的消息队列, Kafka未免有些重了。
相关推荐
nginx+lua+redis通过匹配客户端ip进行灰度发布
nginx+lua+redis实现token验证。实现基本的token验证、反向代理转发内部服务,lua连接redis封装、lua域名解析封装、lua域名脚本等
nginx+lua+docker+docker-compose实现简单服务分发
nginx+lua+redis 集群 连接插件和脚本,原来插件是没有密码功能 故 修改了一下 k可以自己下载使用
在nginx初始化中使用init_worker_by_lua_file 指令创建一个循环定时器,每次超时的时候去判断配置文件是否更新了。如果更新了重新加载。 通过在工作线程中使用rewrite_by_lua_block指令,获取任意时刻的配置情况测试...
基于nginx+lua+dyups实现服务自定义调度资源整理,自定义服务调度主要是指根据不同客户端请求进行判断,转发到不同的服务集群。
Nginx+Lua+GraphicsMagick实现动态生成指定尺寸的图片
教你如何搭建一个图片切割和缩放的服务 1.搭建GraphicsMagick服务 2.配置nginx 3.修改Lua脚本 详情见文档
nginx安装lua、jwt模块,通过lua验证jwt实现蓝绿发布样例demo,配置直接可用 luajit2-2.1-20220411.tar.gz #luajit官网存在一定的坑,下载openresty的优化版本 lua-nginx-module-0.10.22.tar.gz # 0.10.16 以后都...
lua+redis构建高性能的服务器架构。
nginx+lua+redis黑名单加载,nginx+lua+redis黑名单加载。
缩略图OpenResty(Nginx)+Lua+GraphicsMagick
lua++与C++交互 无需任何准备 直接编译运行,
基于lua的nginx自定义负载均衡基于lua的nginx自定义负载均衡
实现openresty+lua+nginx+kafka,nginx接收请求后经lua处理实时写入kafka,该压缩包为lua调用kafka的依赖包
idea+openresty+lua运行nginx服务器, 代码和软件都有, 参考资料: https://blog.csdn.net/dongyuxu342719/article/details/90413904
Nginx实战:基于Lua语言的配置、开发与架构详解
vscode+unity+Emmylua+CS调试使用教程
本文给大家介绍的是Nginx利用Lua+Redis实现动态封禁IP的方法,下面话不多说了,来一起看看详细的介绍吧 二、架构 实现 IP 黑名单的功能有很多途径: 1、在操作系统层面,配置 iptables,拒绝指定 IP 的网络请求; 2...