转载请出自出处:http://eksliang.iteye.com/blog/2148370
作者:eksliang(ickes) blg:http://eksliang.iteye.com/
概述
长期以来,我们一直有一个深分页问题。如果直接跳到很靠后的页数,查询速度会比较慢。这是因为Solr的需要为查询从开始遍历所有数据。直到Solr的4.7这个问题一直没有一个很好的解决方案。直到solr4.7引入了游标才解决这个问题。
问题
深分页的问题是很清楚。Solr必须为返回的搜索结果准备一个列表,并返回它的一部分。如果该部分来源于该列表的前面并不难。但如果我们想返回第10000页(每页20条记录)的数据,Solr需要准备一个包含大小为200000(10000 * 20)的列表。这样,它不仅需要时间,还需要内存。像我们现在生产上的历史数据达到了6个亿的数据,如果直接跳转到最后一页,必定内存溢出。
solr4.7是怎么解决这个问题的?
答:Solr 4.7的发布改变了这一状况,引入了游标的概念。游标是一个动态结构,不需要存储在服务器上。游标包含了查询的结果的偏移量,因此,Solr的不再需要每次从头开始遍历结果直到我们想要的记录,游标的功能可以大幅提升深翻页的性能。
用法
游标的使用非常简单。在第一个查询中,我们需要传递一个额外的参数- cursorMark = *,告诉Solr返回游标。在返回中除了搜索结果,我们还可以得到nextCursorMark信息。看看下面这个例子。
http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=*
返回结果如下:
<response> <lst name="responseHeader"> <int name="status">0</int> <int name="QTime">186</int> <lst name="params"> <str name="sort">price desc,id asc</str> <str name="q">*:*</str> <str name="cursorMark">*</str> <str name="rows">3</str> </lst> </lst> <result name="response" numFound="4160002" start="0"> <doc> <str name="id">a004180000</str> <str name="name">ickes_4180000</str> <float name="price">5180000.0</float> <str name="price_c">5180000.0,USD</str> <str name="url">www.eksliang.iteye4180000</str> <long name="_version_">1483095619858857993</long> </doc> <doc> <str name="id">a004179999</str> <str name="name">ickes_4179999</str> <float name="price">5179999.0</float> <str name="price_c">5179999.0,USD</str> <str name="url">www.eksliang.iteye4179999</str> <long name="_version_">1483095619858857992</long> </doc> <doc> <str name="id">a004179998</str> <str name="name">ickes_4179998</str> <float name="price">5179998.0</float> <str name="price_c">5179998.0,USD</str> <str name="url">www.eksliang.iteye4179998</str> <long name="_version_">1483095619858857991</long> </doc> </result> <str name="nextCursorMark">AoIISp4UvCphMDA0MTc5OTk4</str> </response>
我们看到,除了平时返回的结果外,还多了一个游标数据nextCursorMark,使用这个值作为我们翻下一页的参数。
在这个基础上要得到下一页数据怎么办:让cursorMark的值等于上次返回的nextCursorMark
例如现在的下一页是这样的
http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UvCphMDA0MTc5OTk4
这个时候就可以得到下一页的数据,数据如下:
<response> <lst name="responseHeader"> <int name="status">0</int> <int name="QTime">234</int> <lst name="params"> <str name="sort">price desc,id asc</str> <str name="q">*:*</str> <str name="cursorMark">AoIISp4UvCphMDA0MTc5OTk4</str> <str name="rows">3</str> </lst> </lst> <result name="response" numFound="4160002" start="0"> <doc> <str name="id">a004179997</str> <str name="name">ickes_4179997</str> <float name="price">5179997.0</float> <str name="price_c">5179997.0,USD</str> <str name="url">www.eksliang.iteye4179997</str> <long name="_version_">1483095619858857990</long> </doc> <doc> <str name="id">a004179996</str> <str name="name">ickes_4179996</str> <float name="price">5179996.0</float> <str name="price_c">5179996.0,USD</str> <str name="url">www.eksliang.iteye4179996</str> <long name="_version_">1483095619858857989</long> </doc> <doc> <str name="id">a004179995</str> <str name="name">ickes_4179995</str> <float name="price">5179995.0</float> <str name="price_c">5179995.0,USD</str> <str name="url">www.eksliang.iteye4179995</str> <long name="_version_">1483095619858857988</long> </doc> </result> <str name="nextCursorMark">AoIISp4UtiphMDA0MTc5OTk1</str> </response>
这个时候进一步查询就变得相当简单了,直接
http://192.168.238.133:8080/solr/collection1/select?q=*:*&rows=3&sort=price desc,id asc&cursorMark=AoIISp4UtiphMDA0MTc5OTk1
solrj对Solr Deep Paging的支持
直接上代码
static void deepPaging() throws SolrServerException{ HttpSolrServer server = new HttpSolrServer("http://192.168.238.133:8080/solr/collection1"); server.setSoTimeout(10000); server.setConnectionTimeout(10000); server.setDefaultMaxConnectionsPerHost(12); server.setAllowCompression(true); SolrQuery query = new SolrQuery(); query.setQuery( "*:*" ); query.setRows(4); query.addSort("price",ORDER.desc).addSort("id", ORDER.desc); query.set(CursorMarkParams.CURSOR_MARK_PARAM, "*"); QueryResponse rsp = server.query( query ); List<CursorMark> beans = rsp.getBeans(CursorMark.class); System.out.println(rsp.getNextCursorMark());//得到下一个游标 for (CursorMark cursorMark : beans) { System.out.println(cursorMark); } }
返回结果如下:
AoIISp4UuiphMDA0MTc5OTk3 CursorMark [id=a004180000, name=ickes_4180000, price=5180000.0, url=www.eksliang.iteye4180000] CursorMark [id=a004179999, name=ickes_4179999, price=5179999.0, url=www.eksliang.iteye4179999] CursorMark [id=a004179998, name=ickes_4179998, price=5179998.0, url=www.eksliang.iteye4179998] CursorMark [id=a004179997, name=ickes_4179997, price=5179997.0, url=www.eksliang.iteye4179997]
参考:http://solr.pl/en/2014/03/10/solr-4-7-efficient-deep-paging/
相关推荐
solr搜索引擎支持分页 有问题可以QQ(271287607)
solr.warsolr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包solr.war包...
基于solr-geo空间搜索 1、Solr的schema.xml配置 定义坐标field 2、Solr的data-config.xml配置 建立索引 3、java查询语法 坐标距离、分页、排序
在本套课程中,我们将全面的讲解Solr,从Solr基础到Solr高级,再到项目实战,基本上涵盖了Solr中所有的知识点。 主讲内容 章节一:Solr基础(上) 1. 环境搭建 2. 核心讲解 3. 数据导入 4. 各种中文分析器 章节二:...
solr
solr文档
Solr 8.11.2是8.x系列的最后一个版本,新版本已经是9.0版本了。 1,什么是solr? Solr是一个独立的企业级搜索应用服务器,他对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务提供一定格式...
Solr定时更新Solr定时更新
Solr 依存于Lucene,因为Solr底层的核心技术是使用Lucene 来实现的,Solr和Lucene的本质区别有以下三点:搜索服务器,企业级和管理。Lucene本质上是搜索库,不是独立的应用程序,而Solr是。Lucene专注于搜索底层的...
如何使用solr搭建服务器
solr技术文solr技术文solr技术文
solr增量更新-
solr manageschema 配置文件,增加了分词器后的配置文件
solr
支持solr5.5 solr6.0中IK分词需要的资料
solr-6.2.0 强大的分布式搜索引擎,包含各种详细例子及源码解析
solr技术分析及运用超详细教程solr开发指南,包括solr服务器搭建,新增数据库配置,配置增量更新,配置分词器,常见异常,删除默认字段,调试技巧,solr日志,,solr基本查询语法,solr多字段匹配,solri集成solr...
使用Solr内置的Jetty服务器启动Solr (1)借助X Shell上传solr的安装包到/usr/local/目录下,使用 tar -zxvf命令进行解压. (2)使用内置的Jetty来启动Solr服务器只需要在example目录下,执行start.jar程序即可,...
Solr(Cloudera)使用手册
solr(solr-9.0.0.tgz)