【问题现象】
ElasticSearch集群中client节点,访问几天后,出现client所在主机ping不通,通过vm管理机查看,发现主机在运行但黑屏,而且登录不进去。
【问题分析】
1、主机ping不通,刚开始考虑是否是网络不通或者主机down掉。通过vm管理连接,登录不进去,排除网络原因,因为vm管理机登录vm不需要网络
2、配置core文件生成
=>ulimit -c => 限制生成core文件大小 =>unlimited
=>/proc/sys/kernel/core_pattern =>core文件格式
=>/proc/sys/kernel/core_uses_pid =>是否带pid
3、开启core日志后,发现core文件也是空的
/////////begin///////
#find / -name *.out
/etc/rc.d/init.d/a.out
# ll /etc/rc.d/init.d/a.out
-rw-r--r--. 1 root root 0 9月 2 10:29 /etc/rc.d/init.d/a.out
/////////end/////////
4、查看lsof -p <es_id> |wc -l =>数量正常,不大
5、查看lsof |wc -l=>数量很大
# lsof |wc -l
362965
6、再次分析,查看运行es的用户打开的文件句柄数
# lsof |grep user_es |wc -l
360197
7、之前配置了soft limit
# cat /etc/security/limits.conf
user_es soft memlock unlimited
user_es hard memlock unlimited
【解决】
通过上面的分析,基本可以推测出,原因是elasticsearch打开的文件句柄数越来越多,
导致操作系统资源耗尽,不能再开启新的文件句柄,这种情况下,登录,ping等都不好使
目前,先通过定时重启client所在的节点,在crontab配置定时命令【0 2 * * * reboot】
【Tip】
频繁的文档更改操作会导致大量的小索引段,从而导致文件句柄打开过多的问题。
注意下ElasticSearch的段合并策略,默认是index.merge.policy.type:tiered,可选策略有:log_byte_size,log_doc
【参考】
https://www.elastic.co/guide/en/elasticsearch/guide/current/merge-process.html
【温馨提示】
如果您觉得满意,可以选择支持下,您的支持是我最大的动力:
分享到:
相关推荐
ELasticsearch的集群是由多个节点组成的,通过cluster.name设置集群名称,并且用于区分其它的集群,每个节点通过node.name指定节点的名称。 在Elasticsearch中,节点的类型主要有4种: master节点: 配置文件中node...
# 集群的名称 cluster.name: rick # 节点名称 node.name: rick node.master: true node.data: false network.bind_host: 192.168.1.24 network.host: 192.168.1.25 http.port: 9200 transport.tcp.port: 9300 ...
springboot 2.0.2集成elasticsearch5.5.1,并使用集群模式,亲测可用!!!
CentOS7下搭建多节点Elasticsearch集群
elasticsearch集群节点监控脚本异常通过mail465发送邮件通知
赠送jar包:elasticsearch-rest-client-6.8.3.jar; 赠送原API文档:elasticsearch-rest-client-6.8.3-javadoc.jar; 赠送源代码:elasticsearch-rest-client-6.8.3-sources.jar; 赠送Maven依赖信息文件:elastic...
原文链接:https://blog.csdn.net/m0_37814112/article/details/122965720 说明:包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件,里面有详细的README.txt部署参考
elasticsearch集群简单搭建
es集群安装包,资源共享,个人安装没问题,可以下载试一下
Elasticsearch集群安装配置
开箱即用,简单粗暴...我们本机启动两个es实例,也就是两个node节点,默认集群名称是elasticsearch,所以他会自动将这两个node凑成一个集群,我们什么都不用配置,它自动发现。shard负载均衡假设我们有1个index,
赠送jar包:elasticsearch-rest-client-6.3.0.jar; 赠送原API文档:elasticsearch-rest-client-6.3.0-javadoc.jar; 赠送源代码:elasticsearch-rest-client-6.3.0-sources.jar; 赠送Maven依赖信息文件:elastic...
该安装包实现利用给定参数安装单机版或者集群版es数据库,指定参数后安装过程全自动,自动修改系统内核,配置jdk,自动识别并配置内存,自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
CentOS 7 部署 Elasticsearch 7.4 集群并进行安全认证 Elasticsearch 是一个基于 Lucene 库的搜索和数据分析引擎,它提供了一个分布式的搜索引擎,可以对大规模数据进行搜索、分析和可视化。在本文中,我们将了解...
根据研究和咨询公司大佬 本人搭建的生产环境运行的es集群配置文件,版本6.5.4,操作系统是CentOS7.6 3台es做成的集群,亲测可用。 只需要更改集群名称和每台节点的名称即可使用。
ElasticSearch集群部署方式及社会公共信息系统配置文件中es相关参数的修改
赠送jar包:elasticsearch-rest-high-level-client-6.8.3.jar; 赠送原API文档:elasticsearch-rest-high-level-client-6.8.3-javadoc.jar; 赠送源代码:elasticsearch-rest-high-level-client-6.8.3-sources.jar;...
一键部署工具实现功能如下: 1、支持单节点部署 2、支持伪集群部署 3、支持分布式集群部署 ...6、支持创建、启动、停止、...说明:工具使用非常简单,只需要修改变量文件,一分钟就可以快速帮你部署elasticsearch集群。
ElasticSearch集群脑裂优化设置,配合博文ES集群优化。
Bigdesk 是 ElasticSearch 的一个集群监控工具,可生成 ElasticSearch 集群的即时图表和统计信息。可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。版本对应关系表:...