`

ElasticSearch不同类型下同名字段排序错误

阅读更多
虽然之前知道elasticsearch不同类型下同名字段要慎用,并且会出问题,但是只真正碰到了才印象深刻啊,前几天就碰到了,是关于一个排序的问题,事情的经过是这样的,在异常服务重启之后,某个查询突然出问题了,提示信息显示的是排序失败,如下:
1
2

{"error":"SearchPhaseExecutionException[Failed to execute phase [query], total failure; shardFailures {[Pqdw_LAFSbOfyo9yVU9aaw][xxx][0]: QueryPhaseExecutionException[[xxx][0]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@1693f17f>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][1]: QueryPhaseExecutionException[[xxx][1]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@3a18c8ca>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][2]: QueryPhaseExecutionException[[xxx][2]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@31266392>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }]","status":500}
事实上这个问题很奇怪,没有动过该索引的任何东西,不过问题出现前倒是动了下服务器,重启了ES,结果第二天就出了这个问题,看来服务端有些问题。
拿到数据,一顿调试之后发现问题了。
该索引xxx下存在不同类型的相同字段名,并且悲催的是类型不一样,原因是后面新加了两个类型,由于是动态创建的,造成了和已存在的同名字段类型的不一致,(已存在的为DateTime类型,自动创建的是String类型)
在构建查询的时候,如果有排序的条件,会调用\SortParseElement.java类里面的addSortField方法,在
1
FieldMapper fieldMapper = context.mapperService().smartNameFieldMapper(fieldName);
这句,会根据字段的名称来获取对应的FieldMappper,如String类型对应的Mapper为StringFieldMapper,DateTime类型的Mapper为LongFieldMapper,然后会选择不同的FieldDataLoader,因为不同类型存储在lucene格式是不一样的,所以如果loader类型不对,加载的数据就解析不到正确的类型(可以理解为反序列化),如下图,同名字段出现了多个定义,通过字段名拿mapping定义的时候,非常朴实的就拿了第一个,而不是我期望的.
然后数据就不对了,当做string来处理,并且认为该字段包含了多个值,调用到了错误的StringOrdValFieldDataComparator类,并且在setNextReader这个方法里面直接抛异常了
1
2
3
4
FieldData cleanFieldData = fieldDataCache.cache(FieldDataType.DefaultTypes.STRING, reader, field);
        if (cleanFieldData instanceof MultiValueStringFieldData) {
            throw new IOException("Can't sort on string types with more than one value per doc, or more than one token per field");
        }
这个问题只有在需要排序的时候出现,并且只在拿到错误的的field mapping的时候才会出现,非常隐蔽,需要特别注意哦。
ES在多类型下的同名字段的处理,确实有些问题,但也确实不好处理,如果要支持多个类型的搜索,除非条件中明确包含了是在那个类型下,这样ES才好判断具体应该取那个mapping,当然ES最好在已经明确类型的情况下,应该选择合适的Mapping(回头向shay吐吐槽),所以最好的方法就是避免同名,否则一定要保证类型一致。
分享到:
评论

相关推荐

    电力系统调度过程连续潮流matlab代码.zip

    1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

    【基于Java+Springboot的毕业设计】付费问答系统(源码+演示视频+说明).rar

    【基于Java+Springboot的毕业设计】付费问答系统(源码+演示视频+说明).rar 【项目技术】 开发语言:Java 框架:Spingboot+vue 架构:B/S 数据库:mysql 【演示视频-编号:330】 https://pan.quark.cn/s/8dea014f4d36 【实现功能】 付费问答系统通过MySQL数据库与Spring Boot框架进行开发,付费问答系统能够实现新闻类型管理,问题帖子管理,付费记录管理,新闻信息管理,用户管理,轮播图管理等功能。

    关于旁路电容和耦合电容-(详细说明)

    关于旁路电容和耦合电容-(详细说明)

    Git 与 Simulink 测试:远程测试的最佳实践.zip

    1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

    重庆大学电气工程学院2011级电机学课堂测验 直流电机.pdf

    重庆大学期末考试试卷,重大期末考试试题,试题及答案

    LabVIEW 数据采集模板.zip

    labview 与 C 和BASIC 一样,LabVIEW [2]也是通用的编程系统,有一个完成任何编程任务的庞大函数库。LabVIEW [3]的函数库包括数据采集、GPIB、串口控制、数据分析、数据显示及数据存储,等等。LabVIEW [3]也有传统的程序调试工具,如设置断点、以动画方式显示数据及其子程序(子VI)的结果、单步执行等等,便于程序的调试。 LabVIEW [2](Laboratory Virtual Instrument Engineering Workbench)是一种用图标代替文本行创建应用程序的图形化编程语言。传统文本编程语言根据语句和指令的先后顺序决定程序执行顺序,而 LabVIEW 则采用数据流编程方式,程序框图中节点之间的数据流向决定了VI及函数的执行顺序。VI指虚拟仪器,是 LabVIEW 的程序模块。 LabVIEW [2] 提供很多外观与传统仪器(如示波器、万用表)类似的控件,可用来方便地创建用户界面。用户界面在 LabVIEW 中被称为前面板。使用图标和连线,可以通过编程对前面板上的对象进行控制。这就是图形化源代码,又称G代码。

    营业额日报.xlsx

    Excel数据看板,Excel办公模板,Excel模板下载,Excel数据统计,数据展示

    Matlab菌丝检测识别项目.zip

    提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。

    PictureUnlock_s_678376.pictureunlock

    PictureUnlock_s_678376.pictureunlock

    年教师岗位通用工作总结.docx

    工作总结,新年计划,岗位总结,工作汇报,个人总结,述职报告,范文下载,新年总结,新建计划。

    逆序输出单向链表-Java 版本

    附件是逆序输出单向链表_Java 版本源码,代码首先定义了一个Node类来表示链表的节点,然后定义了一个LinkedList类来表示单链表,并提供了添加节点、打印链表和逆序链表的方法。最后,在Main类中创建了一个链表实例,添加了一些元素,然后调用reverse()方法来逆序链表,并打印出逆序前后的链表。

    电商数据分析.py

    电商数据分析.py

    财务日报分析.xlsx

    Excel数据看板,Excel办公模板,Excel模板下载,Excel数据统计,数据展示

    重庆大学2015 电机学第1次课堂测验_磁路与变压器(含参考答案) .pdf

    重庆大学期末考试试卷,重大期末考试试题,试题及答案

    springboot项目,

    提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。

    单片机与LabVIEW上位机联合使用.zip

    labview 与 C 和BASIC 一样,LabVIEW [2]也是通用的编程系统,有一个完成任何编程任务的庞大函数库。LabVIEW [3]的函数库包括数据采集、GPIB、串口控制、数据分析、数据显示及数据存储,等等。LabVIEW [3]也有传统的程序调试工具,如设置断点、以动画方式显示数据及其子程序(子VI)的结果、单步执行等等,便于程序的调试。 LabVIEW [2](Laboratory Virtual Instrument Engineering Workbench)是一种用图标代替文本行创建应用程序的图形化编程语言。传统文本编程语言根据语句和指令的先后顺序决定程序执行顺序,而 LabVIEW 则采用数据流编程方式,程序框图中节点之间的数据流向决定了VI及函数的执行顺序。VI指虚拟仪器,是 LabVIEW 的程序模块。 LabVIEW [2] 提供很多外观与传统仪器(如示波器、万用表)类似的控件,可用来方便地创建用户界面。用户界面在 LabVIEW 中被称为前面板。使用图标和连线,可以通过编程对前面板上的对象进行控制。这就是图形化源代码,又称G代码。

    重庆大学 2011-2012(2)数字电子技术II.pdf

    重庆大学期末考试试卷,重大期末考试试题,试题及答案

    顺从宗族联动机器人matlab代码.zip

    1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

    单片机实验或课设-定时器控制交通指示灯

    定时器控制交通指示灯 用C语言编写,也可以改成汇编

    最近邻KNN分类附matlab代码.zip

    1.版本:matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

Global site tag (gtag.js) - Google Analytics