- 浏览: 175950 次
- 性别:
- 来自: 北京
最新评论
-
di1984HIT:
ElasticSearch 与 Solr 的对比测试 -
di1984HIT:
好恐怖~~~
ElasticSearch 的一次非正常master脱离的调查 -
zqb666kkk:
楼主能否测试 下 solr5.2.1和 ElasticSear ...
ElasticSearch 与 Solr 的对比测试 -
sadgod:
无法创建线程,貌似是虚存空间不足了,32位机器的话,创建不了太 ...
ElasticSearch 与 Solr 的对比测试 -
mengfei86:
好文章啊,顶起
ElasticSearch 与 Solr 的对比测试
一共有4个节点的cluster,其中es4 是master,某个时间突然es1脱离了整个cluster,调查过程如下:
[es@bigdata1 logs]$ date; ssh bd4 date
2012年 09月 03日 星期一 09:41:26 CST
2012年 09月 03日 星期一 09:41:00 CST
es4比 es1 慢 26 秒,以下日志时间修改为es1的时间
在es4的日志中:
这个时候,es4已经重试了3次,每次30s,也就是说90s以前,es1就已经出问题了,也就是42.22秒的时候。这个时间段es1发生了什么?
[2012-09-01 04:41:31,398][INFO ][monitor.jvm ] [es1] [gc][PS Scavenge][145701][1814] duration [5.8s], collections [1]/[6.5s], total [5.8s]/[46.2m], memory [22gb]->[15.8gb]/[23.3gb], all_pools {[Code Cache] [12.3mb]->[12.3mb]/[48mb]}{[PS Eden Space] [6.2gb]->[932.2kb]/[6.5gb]}{[PS Survivor Space] [214.6mb]->[259.8mb]/[815.8mb]}{[PS Old Gen] [15.5gb]->[15.6gb]/[16.2gb]}{[PS Perm Gen] [33.1mb]->[33.1mb]/[82mb]}
[2012-09-01 04:43:59,621][INFO ][monitor.jvm ] [es1] [gc][PS Scavenge][145745][1817] duration [8.9s], collections [1]/[1.6m], total [8.9s]/[46.5m], memory [22.8gb]->[2.1gb]/[23.3gb], all_pools {[Code Cache] [12.3mb]->[12.3mb]/[48mb]}{[PS Eden Space] [6.5gb]->[53.4kb]/[6.7gb]}{[PS Survivor Space] [318.4mb]->[0b]/[737.2mb]}{[PS Old Gen] [15.9gb]->[2.1gb]/[16.2gb]}{[PS Perm Gen] [33.1mb]->[33.1mb]/[82mb]}
[2012-09-01 04:43:59,621][WARN ][monitor.jvm ] [es1] [gc][PS MarkSweep][145745][14] duration [1.4m], collections [1]/[1.6m], total [1.4m]/[4.9m], memory [22.8gb]->[2.1gb]/[23.3gb], all_pools {[Code Cache] [12.3mb]->[12.3mb]/[48mb]}{[PS Eden Space] [6.5gb]->[53.4kb]/[6.7gb]}{[PS Survivor Space] [318.4mb]->[0b]/[737.2mb]}{[PS Old Gen] [15.9gb]->[2.1gb]/[16.2gb]}{[PS Perm Gen] [33.1mb]->[33.1mb]/[82mb]}
[2012-09-01 04:44:00,795][WARN ][transport.netty ] [es1] Exception caught on netty layer [[id: 0x3b3b2835, /192.168.2.14:55393 => /192.168.2.11:9300]]
java.io.IOException: 断开的管道
这期间,发生了 5.9s、5.8s、8.9s、1.4m的gc动作,特别是最后一个gc,长达1.4分钟,接近90s了。感觉应该正是这个gc导致es1无响应,从而从cluster当中被踢出去了。
很有意思的是,es1发现master es4不在了,它重新选举es3做为master,但是紧接着es3也失效了,日志如下:
[2012-09-01 04:44:04,631][INFO ][cluster.service ] [es1] master {new [es3][F4mB4HYkTfu9umD8CSkcnw][inet[/192.168.2.13:9300]], previous [es4][uAc5D7jkT_esrUTEBMmATQ][inet[/192.168.2.14:9300]]}, removed {[es4][uAc5D7jkT_esrUTEBMmATQ][inet[/192.168.2.14:9300]],}, reason: zen-disco-master_failed ([es4][uAc5D7jkT_esrUTEBMmATQ][inet[/192.168.2.14:9300]])
[2012-09-01 04:44:06,782][INFO ][discovery.zen ] [es1] master_left [[es3][F4mB4HYkTfu9umD8CSkcnw][inet[/192.168.2.13:9300]]], reason [no longer master]
[2012-09-01 04:44:06,782][INFO ][cluster.service ] [es1] master {new [es1][VMFIvWAhRQuYoCcPIeedIQ][inet[/192.168.2.11:9300]], previous [es3][F4mB4HYkTfu9umD8CSkcnw][inet[/192.168.2.13:9300]]}, removed {[es3][F4mB4HYkTfu9umD8CSkcnw][inet[/192.168.2.13:9300]],}, reason: zen-disco-master_failed ([es3][F4mB4HYkTfu9umD8CSkcnw][inet[/192.168.2.13:9300]])
我们看一下es3当时发生了什么事情:
[es@bigdata1 logs]$ date; ssh bd3 date
2012年 09月 03日 星期一 09:51:14 CST
2012年 09月 03日 星期一 09:51:11 CST
它们只差3秒,es3的日志如下:
[2012-09-01 04:44:12,631][DEBUG][action.admin.indices.status] [es3] [xabindex3][2], node[hLoNg9d0T1GYz1tqUSJwUA], [R], s[INITIALIZING]: Failed to execute [org.elasticsearch.action.admin.indices.status.IndicesStatusRequest@50d8a381]
org.elasticsearch.transport.RemoteTransportException: [es2][inet[/192.168.2.12:9300]][indices/status/s]
奇怪,04:44:06左右,es3啥都没发生,感觉就是es3没理睬es1,因此es1只好又抛弃es3,把自己组建成独立的master。
现象找到了,该怎么解决了。两个思路:
1. 把gc的时间尽量再压缩,哪怕多进行几次gc,每次时间不要太长
2. 修改zen的配置,把fault detection的timeout时间和retry times 都增加。
第一步比较麻烦,还是第二步比较简单,先把retries修改为6试试看。
发表评论
-
Vaadin初探
2013-05-02 11:00 2875以前用过服务端的echo框架,感觉挺好使的,它可以在服务器 ... -
ElasticSearch 与 Solr 的对比测试
2012-08-01 14:13 44958本文从两个方面对ElasticSearch和Solr进行对比, ... -
恶心的Android 蓝牙
2012-05-10 16:00 10085用Android 开发一个应用,其中想使用蓝牙来做数据交换。 ... -
SmartGwtEE 之 SqlDataSource 的连接池
2012-03-09 17:14 2029有个项目,使用了SmartGwtEE,并且直接采用了Smart ... -
h2 database 的修复
2012-02-06 14:03 2350为了方便,使用 h2 做为嵌入式数据库,没想到随着数据量增加, ... -
commons file upload导致jvm崩溃
2011-08-02 13:39 1964环境: Redhat Advanced Server 4, j ... -
EOS5 之 内存溢出问题的解决
2011-03-02 17:39 2296不知道普元的EOS属于哪个分类,直接放在综合类里面了。 ... -
GAE 的一些限制
2011-01-11 13:06 1312Google Appengine 提供了很方便的平台,也提供了 ... -
SmartGwt 之原生 Desktop(与gxt无关)
2010-12-29 11:36 2721在前几天尝试了一下将 extjs的gwt封装即gxt的desk ... -
SmartGwt 之 gxt desktop集成
2010-12-27 09:05 2997很是羡慕 gxt 里面的 desktop,恨 smartgwt ... -
SmartGWT 之 redraw 的烦恼
2010-11-21 15:25 2209用SmartGWT的 TileGrid 来展 ... -
GAE 之 web.xml 解析错误
2010-11-16 10:32 2144关于 Google Appengine 方面的文章不知道放在哪 ... -
SmartGWT 之 TreeGrid 的拖拽排序
2010-10-29 16:11 2393使用 ListGrid,当需要排序时,当然可以用上移下移这样的 ... -
SmartGWT 之 TreeGrid 缩进与ie8
2010-10-15 15:05 2146以前用 SmartGWT 的 TreeGrid 没有一点问题。 ... -
GWT 之 jsni及利用其它Ajax代码
2010-07-16 08:37 1790有个框架,本身已经提供了一些 Ajax 访问的代码。如果要自己 ... -
SmartGWT 之 逻辑删除以及展示
2010-05-25 10:07 2106逻辑删除而不是物理删除,是很常见的需求。我这里是因为要用到 s ... -
三天不学习,赶不上比安奇 之 Hibernate onPreUpdate
2010-05-24 10:14 1628还是Hibernate,用了以前的代码,在实体 update ... -
Funambol 之 自定义 SyncSource
2010-05-05 18:32 2105接着昨天的事情,继续往下走。 昨天已经成功的把数据源都 ... -
Funambol 之 jetty 与 gwt 集成
2010-05-04 20:01 2130目标:想把 Funambol 8.5 集成到 gwt 里面来, ... -
Eclipse 之 8年没解决的ITreeContentProvider 问题
2010-04-26 09:26 1834使用eclipse 做一个rcp应用,其中要用到一棵树。于是自 ...
相关推荐
Elasticsearch-HQ是一款强大的Elasticsearch管理工具,尤其对于那些需要通过图形用户界面来监控、管理和查询Elasticsearch集群的用户来说,它是一个不可或缺的辅助插件。这个"elasticsearch-HQ-master.zip"文件包含...
elasticsearch-head-master是该组件的一个版本,它包含了所有必要的源代码和资源,使得开发者和管理员能够直接在本地运行和调试。 Elasticsearch是一个开源的全文搜索引擎,基于Lucene构建,设计为分布式、RESTful...
Elasticsearch 5.5-Head-Master 是一个针对 Elasticsearch 的特定版本的插件,名为 "es-head"。这个插件提供了一个用户友好的Web界面,使得管理和监控Elasticsearch集群变得更加直观和方便。Elasticsearch,简称 ES...
总的来说,"elasticsearch-head-chrome-master.zip" 提供了一个便捷的 Elasticsearch 监控解决方案,尤其适合开发者和运维人员进行日常检查和调试。只需简单的安装步骤,即可在浏览器中享受丰富的功能,提升 Elastic...
Elasticsearch Head是一款非常实用的Elasticsearch管理工具,它提供了直观的图形用户界面,使得开发者和管理员能够方便地查看和操作Elasticsearch集群的状态、索引、文档等信息。这款工具无需安装,只需将其部署在...
**Elasticsearch-Head-Master** 是一个专为 Elasticsearch 设计的全文检索可视化工具,它提供了用户友好的界面,使得对 Elasticsearch 集群的管理、监控和数据操作变得更加直观和简便。Elasticsearch 是一个分布式、...
"elasticsearch-head-master-master.zip"是这个插件的一个版本,通常包含源码或者编译后的可执行文件,用于部署在服务器上以提供Web界面供用户操作ES服务。 Elasticsearch(简称ES)是一种基于Lucene的开源分布式...
在“elasticsearch-head-master.zip”这个压缩包中,包含的是Elasticsearch Head的最新版本,这使得用户能够方便地监控、管理和操作Elasticsearch实例。 Elasticsearch本身是一个开源的全文搜索引擎,基于Lucene...
Elasticsearch-Head-Master是针对Elasticsearch搜索引擎的一款强大且直观的Web界面工具,主要用于帮助用户更方便地管理和监控Elasticsearch集群。Elasticsearch,作为一个分布式、RESTful风格的搜索和分析引擎,广泛...
"elasticsearch-master.zip" 文件很可能是Elasticsearch的源码或者一个配置齐全的Elasticsearch集群镜像,用于学习、测试或部署。 在深入探讨Elasticsearch之前,我们先理解一下“es测试”这个标签。这通常意味着该...
"elasticsearch-head-chrome-master.rar"文件正是Elasticsearch Head插件的Chrome浏览器扩展程序的一个版本。 **Elasticsearch Head Chrome Extension** Elasticsearch Head Chrome Extension是一款非常实用的...
1. 下载:首先,你需要从官方源或 GitHub 上下载 Elasticsearch-Head 的源代码,如 `elasticsearch-head-master.zip`。 2. 解压:解压下载的文件到本地目录。 3. 配置:进入解压后的目录,找到 `Gruntfile.js` 文件...
kopf则是针对Elasticsearch开发的一款管理工具,它的全称为"elasticsearch-kopf",并以"master"分支的版本进行发布,即我们这里的"elasticsearch-kopf-master.zip"。 kopf的核心功能是提供了一个直观且易用的Web...
Elasticsearch-Head-Master-5.0.0版本是一个专为Elasticsearch设计的开源可视化管理工具,它基于Node.js开发,提供了直观且友好的界面,帮助用户更轻松地管理和监控Elasticsearch集群。这款工具是开发者和管理员的...
本人整理了了好几天的时间download...elasticsearch-head-master elasticsearch-head-master.zip 另附一份文档,包含各个版本的百度网盘下载资源(linux版本和Windows): 7.3.2 7.4.2 7.5.0 7.5.1 7.5.2 7.6.0 7.4.0