- 浏览: 146064 次
文章分类
最新评论
-
x_looking:
Client client = new TransportCl ...
ELASTICSEARCH常见问题 -
辣de冷wmyes:
ElasticSearch视频教程百度网盘地址:http:// ...
一、Elasticsearch安装使用教程
ElasticSearch不同类型下同名字段排序错误
- 博客分类:
- elasticsearch
虽然之前知道elasticsearch不同类型下同名字段要慎用,并且会出问题,但是只真正碰到了才印象深刻啊,前几天就碰到了,是关于一个排序的问题,事情的经过是这样的,在异常服务重启之后,某个查询突然出问题了,提示信息显示的是排序失败,如下:
1
2
{"error":"SearchPhaseExecutionException[Failed to execute phase [query], total failure; shardFailures {[Pqdw_LAFSbOfyo9yVU9aaw][xxx][0]: QueryPhaseExecutionException[[xxx][0]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@1693f17f>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][1]: QueryPhaseExecutionException[[xxx][1]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@3a18c8ca>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][2]: QueryPhaseExecutionException[[xxx][2]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@31266392>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }]","status":500}
事实上这个问题很奇怪,没有动过该索引的任何东西,不过问题出现前倒是动了下服务器,重启了ES,结果第二天就出了这个问题,看来服务端有些问题。
拿到数据,一顿调试之后发现问题了。
该索引xxx下存在不同类型的相同字段名,并且悲催的是类型不一样,原因是后面新加了两个类型,由于是动态创建的,造成了和已存在的同名字段类型的不一致,(已存在的为DateTime类型,自动创建的是String类型)
在构建查询的时候,如果有排序的条件,会调用\SortParseElement.java类里面的addSortField方法,在
1
FieldMapper fieldMapper = context.mapperService().smartNameFieldMapper(fieldName);
这句,会根据字段的名称来获取对应的FieldMappper,如String类型对应的Mapper为StringFieldMapper,DateTime类型的Mapper为LongFieldMapper,然后会选择不同的FieldDataLoader,因为不同类型存储在lucene格式是不一样的,所以如果loader类型不对,加载的数据就解析不到正确的类型(可以理解为反序列化),如下图,同名字段出现了多个定义,通过字段名拿mapping定义的时候,非常朴实的就拿了第一个,而不是我期望的.
然后数据就不对了,当做string来处理,并且认为该字段包含了多个值,调用到了错误的StringOrdValFieldDataComparator类,并且在setNextReader这个方法里面直接抛异常了
1
2
3
4
FieldData cleanFieldData = fieldDataCache.cache(FieldDataType.DefaultTypes.STRING, reader, field);
if (cleanFieldData instanceof MultiValueStringFieldData) {
throw new IOException("Can't sort on string types with more than one value per doc, or more than one token per field");
}
这个问题只有在需要排序的时候出现,并且只在拿到错误的的field mapping的时候才会出现,非常隐蔽,需要特别注意哦。
ES在多类型下的同名字段的处理,确实有些问题,但也确实不好处理,如果要支持多个类型的搜索,除非条件中明确包含了是在那个类型下,这样ES才好判断具体应该取那个mapping,当然ES最好在已经明确类型的情况下,应该选择合适的Mapping(回头向shay吐吐槽),所以最好的方法就是避免同名,否则一定要保证类型一致。
1
2
{"error":"SearchPhaseExecutionException[Failed to execute phase [query], total failure; shardFailures {[Pqdw_LAFSbOfyo9yVU9aaw][xxx][0]: QueryPhaseExecutionException[[xxx][0]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@1693f17f>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][1]: QueryPhaseExecutionException[[xxx][1]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@3a18c8ca>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][2]: QueryPhaseExecutionException[[xxx][2]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@31266392>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }]","status":500}
事实上这个问题很奇怪,没有动过该索引的任何东西,不过问题出现前倒是动了下服务器,重启了ES,结果第二天就出了这个问题,看来服务端有些问题。
拿到数据,一顿调试之后发现问题了。
该索引xxx下存在不同类型的相同字段名,并且悲催的是类型不一样,原因是后面新加了两个类型,由于是动态创建的,造成了和已存在的同名字段类型的不一致,(已存在的为DateTime类型,自动创建的是String类型)
在构建查询的时候,如果有排序的条件,会调用\SortParseElement.java类里面的addSortField方法,在
1
FieldMapper fieldMapper = context.mapperService().smartNameFieldMapper(fieldName);
这句,会根据字段的名称来获取对应的FieldMappper,如String类型对应的Mapper为StringFieldMapper,DateTime类型的Mapper为LongFieldMapper,然后会选择不同的FieldDataLoader,因为不同类型存储在lucene格式是不一样的,所以如果loader类型不对,加载的数据就解析不到正确的类型(可以理解为反序列化),如下图,同名字段出现了多个定义,通过字段名拿mapping定义的时候,非常朴实的就拿了第一个,而不是我期望的.
然后数据就不对了,当做string来处理,并且认为该字段包含了多个值,调用到了错误的StringOrdValFieldDataComparator类,并且在setNextReader这个方法里面直接抛异常了
1
2
3
4
FieldData cleanFieldData = fieldDataCache.cache(FieldDataType.DefaultTypes.STRING, reader, field);
if (cleanFieldData instanceof MultiValueStringFieldData) {
throw new IOException("Can't sort on string types with more than one value per doc, or more than one token per field");
}
这个问题只有在需要排序的时候出现,并且只在拿到错误的的field mapping的时候才会出现,非常隐蔽,需要特别注意哦。
ES在多类型下的同名字段的处理,确实有些问题,但也确实不好处理,如果要支持多个类型的搜索,除非条件中明确包含了是在那个类型下,这样ES才好判断具体应该取那个mapping,当然ES最好在已经明确类型的情况下,应该选择合适的Mapping(回头向shay吐吐槽),所以最好的方法就是避免同名,否则一定要保证类型一致。
发表评论
-
使用 Scripted Metric Aggregation 遇到的问题
2016-02-19 14:12 2404使用Scripted Metric Aggregation进行 ... -
ElasticSearch性能优化策略
2016-02-17 19:42 3489ElasticSearch性能优化主要分为4个方面的优化。 一 ... -
Elasticsearch 数据建模 - 处理关联关系
2016-02-17 14:40 1021数据建模(Modeling Your Data ... -
数据类型转换错误
2016-02-15 18:28 1556异常: Invalid shift value (64) in ... -
elasticsearch 排序异常,关键字冲突
2016-02-03 12:35 5806org.elasticsearch.action.search ... -
ElasticSearch immense term错误
2016-02-02 19:07 2570在使用ElasticSearch的过程中遇到了一个immens ... -
ELASTICSEARCH常见问题
2015-09-22 15:39 31581. ELASTICSEARCH建索引过程中崩溃问题追查 by ... -
routing实例1
2015-09-21 18:51 0package com.eg.part1; import j ... -
routing实例
2015-09-21 18:49 0创建索引: PUT /useraudit_v1 创建索引别名: ... -
elasticsearch 精确,模糊查询实例
2015-09-19 23:55 62518实例 http://www.bubuko.com/infode ... -
elasticsearch java调用实例
2015-09-19 23:55 3499http://outofmemory.cn/code-snip ... -
[维护]Elasticsearch零停机时间更新索引配置或迁移索引
2015-09-18 10:16 751另外一篇文章:http://blog.csdn.net/dm_ ... -
elasticsearch 的mapping定义
2015-09-18 10:16 1165elasticsearch 的mapping 例子一: 订单 ... -
ElasticSearch基础杂烩-配置-索引-优化
2015-09-19 23:56 601http://blog.csdn.net/huwei2003/ ... -
Elasticsearch安装中文分词插件ik
2015-09-18 10:15 1987安装步骤: 1、到github ... -
ElasticSearch的各种服务的URL
2015-09-18 10:15 492前言 elasticsearch 将各种功能、配置、服务都以A ... -
ElasticSearch集群搭建
2015-09-19 23:56 541http://www.linuxidc.com/Linux/2 ... -
elasticsearch 配置
2015-09-18 10:16 665elasticsearch.conf 主要是设置一些java运 ... -
elasticsearch中文分词集成
2015-09-17 09:35 565elasticsearch官方只提供smartcn这个中文分词 ... -
elasticsearch的Mapping定义
2015-09-17 09:35 1369Mapping,就是对索引库中 ...
相关推荐
1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
【基于Java+Springboot的毕业设计】付费问答系统(源码+演示视频+说明).rar 【项目技术】 开发语言:Java 框架:Spingboot+vue 架构:B/S 数据库:mysql 【演示视频-编号:330】 https://pan.quark.cn/s/8dea014f4d36 【实现功能】 付费问答系统通过MySQL数据库与Spring Boot框架进行开发,付费问答系统能够实现新闻类型管理,问题帖子管理,付费记录管理,新闻信息管理,用户管理,轮播图管理等功能。
关于旁路电容和耦合电容-(详细说明)
1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
重庆大学期末考试试卷,重大期末考试试题,试题及答案
labview 与 C 和BASIC 一样,LabVIEW [2]也是通用的编程系统,有一个完成任何编程任务的庞大函数库。LabVIEW [3]的函数库包括数据采集、GPIB、串口控制、数据分析、数据显示及数据存储,等等。LabVIEW [3]也有传统的程序调试工具,如设置断点、以动画方式显示数据及其子程序(子VI)的结果、单步执行等等,便于程序的调试。 LabVIEW [2](Laboratory Virtual Instrument Engineering Workbench)是一种用图标代替文本行创建应用程序的图形化编程语言。传统文本编程语言根据语句和指令的先后顺序决定程序执行顺序,而 LabVIEW 则采用数据流编程方式,程序框图中节点之间的数据流向决定了VI及函数的执行顺序。VI指虚拟仪器,是 LabVIEW 的程序模块。 LabVIEW [2] 提供很多外观与传统仪器(如示波器、万用表)类似的控件,可用来方便地创建用户界面。用户界面在 LabVIEW 中被称为前面板。使用图标和连线,可以通过编程对前面板上的对象进行控制。这就是图形化源代码,又称G代码。
Excel数据看板,Excel办公模板,Excel模板下载,Excel数据统计,数据展示
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。
PictureUnlock_s_678376.pictureunlock
工作总结,新年计划,岗位总结,工作汇报,个人总结,述职报告,范文下载,新年总结,新建计划。
附件是逆序输出单向链表_Java 版本源码,代码首先定义了一个Node类来表示链表的节点,然后定义了一个LinkedList类来表示单链表,并提供了添加节点、打印链表和逆序链表的方法。最后,在Main类中创建了一个链表实例,添加了一些元素,然后调用reverse()方法来逆序链表,并打印出逆序前后的链表。
电商数据分析.py
Excel数据看板,Excel办公模板,Excel模板下载,Excel数据统计,数据展示
重庆大学期末考试试卷,重大期末考试试题,试题及答案
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。
labview 与 C 和BASIC 一样,LabVIEW [2]也是通用的编程系统,有一个完成任何编程任务的庞大函数库。LabVIEW [3]的函数库包括数据采集、GPIB、串口控制、数据分析、数据显示及数据存储,等等。LabVIEW [3]也有传统的程序调试工具,如设置断点、以动画方式显示数据及其子程序(子VI)的结果、单步执行等等,便于程序的调试。 LabVIEW [2](Laboratory Virtual Instrument Engineering Workbench)是一种用图标代替文本行创建应用程序的图形化编程语言。传统文本编程语言根据语句和指令的先后顺序决定程序执行顺序,而 LabVIEW 则采用数据流编程方式,程序框图中节点之间的数据流向决定了VI及函数的执行顺序。VI指虚拟仪器,是 LabVIEW 的程序模块。 LabVIEW [2] 提供很多外观与传统仪器(如示波器、万用表)类似的控件,可用来方便地创建用户界面。用户界面在 LabVIEW 中被称为前面板。使用图标和连线,可以通过编程对前面板上的对象进行控制。这就是图形化源代码,又称G代码。
重庆大学期末考试试卷,重大期末考试试题,试题及答案
1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
定时器控制交通指示灯 用C语言编写,也可以改成汇编
1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。