solr-searching过程分析(一)
——searching过程粗略梳理
下午看了一会solr的启动过程,往细的看相当繁琐。换个头绪先看看solr的searching过程。
1.拦截请求,解析请求并构建相应的handler。
发送检索请求,例如:http://localhost:8983/solr3.5/core2/select/?q=*%3A*&version=2.2&start=0&rows=10&indent=on
首先他将被SolrDispatchFilter拦截。
doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
|
通过对request的分析,获知当前request是做什么的(/select),并构造相应的handler(SearchHandler)。
2.SolrCore出面处理上层工作(具体工作交由handler处理)
将handler、SolrQueryRequest、SolrQueryResponse交由solrCore的execute方法处理
public void execute(SolrRequestHandler handler, SolrQueryRequest req, SolrQueryResponse rsp)
|
在该方法中主要还是由handler来完成的。
SolrRequestHandler是一个接口,他主要的方法就是:
public void handleRequest(SolrQueryRequest req, SolrQueryResponse rsp);
|
SolrRequestHandler的实现类的结构图如下:
其中RequestHandlerBase为大部分的Handler实现了部分功能,主要包括
public void handleRequest(SolrQueryRequest req, SolrQueryResponse rsp){
......
handleRequestBody( req, rsp );
......
}
|
然而具体怎么做就交给具体的子类去执行了!(handleRequestBody( req, rsp );)
例如:这里是做检索,那么就交由SearchHandler处理。
(这里的设计方式有点类似于servlet,GenericSerlet实现了一些公用方法,而具体的则有其子类完成,例如HttpServlet)
3.SearchHandler具体的检索过程
现在的检索没有使用shards,在跟踪代码的过程中,发现以下过程是检索的主要环节。
if (!rb.isDebug()) {
for ( SearchComponent c : components ) {
<strong> c.process(rb);</strong>
}
}
|
从中可知真正的检索需要经过多个SearchComponent,在当前的实验环境下包括6个,如下:
4.各个SearchComponent配合工作完成检索
我们先重点了解QueryComponent。
获得SolrIndexSearcher,这个对象是检索的主要执行者。
同时获取SolrIndexSearcher.QueryCommand、SolrIndexSearcher.QueryResult,并将其作为查询条件和查询结果提交给SolrIndexSearcher进行检索。
searcher.search(result,cmd);
|
在SolrIndexSearcher中search方法如下:
public QueryResult search(QueryResult qr, QueryCommand cmd) throws IOException {
<strong>getDocListC(qr,cmd);</strong>
return qr;
}
|
getDocListC又是一个比较复杂的方法,在这里加入的cache。
如果当前检索被缓存了(缓存也是个重点内容,后续详细分析!),那么直接返回结果,否则重新进行检索,检索的方法是:
private void getDocListNC(QueryResult qr,QueryCommand cmd)
|
在该方法中,和我们使用lucene进行检索十分相似,采用的具体方法是:
super .search(query, luceneFilter, collector);
|
检索完成将结果进行封装,放入QueryResult当中。
qr.setDocList( new DocSlice( 0 ,sliceLen,ids,scores,totalHits,maxScore));
|
检索完成后,将结果放入缓存中,“造福后人”!
至此QueryComponent的工作就算完成了。
如果做简单查询(如:http://localhost:8983/solr3.5/core2/select/?q=*%3A*&version=2.2&start=0&rows=10&indent=on)
那么后面5个Component就直接过了(没有真正被执行)。
5.收尾工作
将结果封装好,写入相应的ResponseHeaders,关闭SolrQueryRequest、solrCore。
-----------------------------------------------------
以上是solr-searching最粗略的过程,本着先脉络后细节的思想,以后再对各个重要环节做深入分析。
searching主要执行方法如下:
SolrDispatchFilter(doFilter,execute)
->SolrCore(execute)
->RequestHandlerBase(handleRequest)
->SearchHandler(handleRequestBody) //有可能执行多个Component
->QueryComponent(process)
->SolrIndexSearcher(search,getDocListC)
相关推荐
solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar
solr数据库导入所需jar包,包括solr-dataimporthandler-6.0.1.jar,solr-dataimporthandler-extras-6.0.1.jar
solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-...
包涵apache-solr-core-3.5.0.jar和apache-solr-solrj-3.5.0.jar两个文件,搭建solr全文检索环境必须要添加的包
solr-4.10.3.rar
solr自动更新包
solr增量更新-
solr 增量更新所需要的包 solr-dataimporthandler-6.5.1 + solr-dataimporthandler-extras-6.5.1 + solr-data-import-scheduler-1.1.2
solr(solr-9.0.0-src.tgz)源码
solr-4.10.3安装包
最新版windows solr-8.8.2.zip最新版windows solr-8.8.2.zip最新版windows solr-8.8.2.zip
经测试apache-solr-dataimportscheduler1.0 版本在solr5.5上已经不能使用,这是本人自己根据情况修改后打的jar包亲测可用
apache-solr-dataimportscheduler1.4 / solr 7.5 ,天下没有免费的JAR包
apache-solr-core-1.4.0.jar,apache-solr-core-1.4.0.jar
solr-dataimporthandler-8.9.0.jar 和 solr-dataimporthandler-extras-8.9.0.jar
solr定时增量jar, 通过配置信息,连接数据库,实现定时任务同步数据库数据到搜索引擎中。
solr6 solr-dataimporthandler-scheduler-1.1源码,可以自己编译适应不同版本solr
solr 5.x定时生成索引依赖jar
solr6.1.0版本jar已经不再提供读取自动索引配置文件路径的方法,因此apache-solr-dataimportscheduler-1.0内调用该方法的所有操作都无法实现。于是需要下载apache-solr-dataimportscheduler-1.0-with-source.jar并...
solr-data-import-scheduler-1.1.2,用于solr定时更新索引的jar包,下载后引入到solr本身的dist下面,或者你tomcat项目下面的lib下面