- 浏览: 450148 次
- 性别:
- 来自: 北京
博客专栏
-
张小庆,在路上
浏览量:8576
文章分类
最新评论
-
bad_brain:
很好的文章,帮助我快速了解zookeeper提供的能力以及为什 ...
Zookeeper与paxos算法 -
ixu:
支持,已经买了 是对工作流和BPM的很好总结啊
无知者无畏,一本写了四年的书 -
yangsong158:
看来,我与这个时代有些脱节了。必需加快赶上来。谢谢你的奉献。必 ...
无知者无畏,一本写了四年的书 -
黄粱一梦11:
目标 人没有目标就很容易迷失自己,常常陷入困惑中
PM成长日记第二话-一定要想清楚自己要什么 -
fenian_zhq:
支持。就凭你这个感悟,必须买一本收藏!
无知者无畏,一本写了四年的书
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:<o:p></o:p>
实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/<o:p></o:p>
用Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/<o:p></o:p>
<o:p> </o:p>
solr介绍solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里,例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services,我们的应用需要通过这个服务与solr进行交互。<o:p></o:p>
solr安装和配置关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:<o:p></o:p>
使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html<o:p></o:p>
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html<o:p></o:p>
下面主要说说需要注意的地方。<o:p></o:p>
Solr的安装非常简单,下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
- <Context docBase="D:/solr.war" debug="0" crossContext="true" >
- <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />
- </Context>
<o:p></o:p>
观察这个指定的solr主位置,里面存在两个文件夹:conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。<o:p></o:p>
schema.xml主要包括types、fields和其他的一些缺省设置。<o:p></o:p>
solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。<o:p></o:p>
上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个
- <uniqueKey>url</uniqueKey>
对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。
- /**
- * Created by IntelliJ IDEA.
- * User: ronghao
- * Date: 2007-11-3
- * Time: 14:40:59
- * 中文切词 对庖丁切词的封装
- */
- public class ChineseTokenizerFactory extends BaseTokenizerFactory {
- /**
- * 最多切分 默认模式
- */
- public static final String MOST_WORDS_MODE = "most-words";
- /**
- * 按最大切分
- */
- public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
- private String mode = null;
- public void setMode(String mode) {
- if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
- || "default".equalsIgnoreCase(mode)) {
- this.mode=MOST_WORDS_MODE;
- } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
- this.mode=MAX_WORD_LENGTH_MODE;
- }
- else {
- throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);
- }
- }
- @Override
- public void init(Map<String, String> args) {
- super.init(args);
- setMode(args.get("mode"));
- }
- public TokenStream create(Reader input) {
- return new PaodingTokenizer(input, PaodingMaker.make(),
- createTokenCollector());
- }
- private TokenCollector createTokenCollector() {
- if( MOST_WORDS_MODE.equals(mode))
- return new MostWordsTokenCollector();
- if( MAX_WORD_LENGTH_MODE.equals(mode))
- return new MaxWordLengthTokenCollector();
- throw new Error("never happened");
- }
- }
<o:p></o:p>
在schema.xml的字段text配置里加入该分词器。<o:p></o:p>
- <fieldtype name="text" class="solr.TextField" positionIncrementGap="100">
- <analyzer type="index">
- <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
- <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
- <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>
- <filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
- </analyzer>
- <analyzer type="query">
- <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
- <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
- <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
- <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>
- <filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
- </analyzer>
- </fieldtype>
- </types>
<o:p></o:p>
完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp<o:p></o:p>
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home。<o:p></o:p>
与自己的应用进行集成Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。<o:p></o:p>
应用删除数据-->根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。<o:p></o:p>
检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。<o:p></o:p>
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。<o:p></o:p>
关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置<o:p></o:p>
- <Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>
另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。<o:p></o:p>
- String[] array = StringUtils.split(query, null, 0);
- for (String str : array) {
- result = result + URLEncoder.encode(str, "UTF-8") + "+";
- }
<o:p></o:p>
评论
是比较杂乱,重新编排了一下。
<!--</span-->这个啊。
我仔细看了下,比较杂乱。
大家想要学习solr,可以参考下ibm文章,最好的方法还是官网上的教程,wiki。问题发到mail-list上。
发表评论
-
Zookeeper与paxos算法
2012-03-22 20:36 16687一、 zookeeper是什么 ... -
关于异常的问与答
2010-09-16 22:34 1112今天的问题是关于异常 ... -
一家公司发展的胡言乱语
2010-01-16 23:06 2805终于一天早上,睁开极 ... -
数据驱动测试
2009-12-05 22:25 4151我们从一个最简单的登录例子开始。最开始我们需要验证在用户名和密 ... -
《Head First Process-深入浅出流程》连载预告
2009-10-17 22:58 6139似乎一到年末,就会忙 ... -
也说炮轰
2009-10-05 13:13 1911社区里目前最火的无疑 ... -
使用selenium测试showModalDialog模态对话框
2009-07-27 21:10 7010Selenium目前没有提供对IE模态对话框(即通过showM ... -
(Multi-stage Continuous Integration)多阶段持续集成
2009-05-26 23:08 1219一、目前的情况 目前我 ... -
JbpmSide 流程设计器进度
2009-03-26 22:15 4400汇报一下设计器当前进度以及下一阶段主要的开发目标。 当前进度主 ... -
jBPM-side流程设计器功能规划
2009-03-08 21:57 2212目标: jBPM-side ProcessDesigne ... -
Flex框架Riawave应用以及对AJAX开发框架的思考
2009-03-01 22:05 1177Jbpmside要使用Flex开发流 ... -
你服务,你全家才服务
2009-02-19 14:18 1642在拥挤的公交车上读完《工作流管理(模型、方法和系统)》,自从搬 ... -
工作流技术基础读后
2009-02-09 18:03 1645大概花了三天的时间读完这本书,书本身也 ... -
BPM向左,工作流向右(二)工作流系统杂谈
2008-11-07 11:28 2290当 面对一个完整的工作流系统时,你可能会被它众多的功能所困惑: ... -
基于memcached的SNA实现
2008-10-28 17:34 3665系统要集群,使用SNA方案。一、 缓存的处理缓存要使用统一的缓 ... -
SNA方案之session炒冷饭
2008-09-04 14:49 2046SNA方案中,session的处理是一个重要方面。原帖见这里: ... -
一次性能调优的实战
2008-09-01 12:56 1889项目情况:是一个大型 ... -
BPM向左,工作流向右(一)什么是业务流程
2008-08-26 17:43 2379从事工作流以及相关开 ... -
js组件的测试,是个问题
2008-08-11 19:06 1064用js编写自己的组件,测试一直是个头疼的问题。最开始大量使用a ... -
工作流之收回
2008-07-15 18:31 1560收回 收回是工作 ...
相关推荐
NULL 博文链接:https://kunkun39.iteye.com/blog/1765564
使用lucenesolr搭建Oracle数据库全文搜索服务.docx
SOLR搭建企业级搜索引擎 很详细 很不错哦
主要介绍了如和用solr搭建搜索平台的详细步骤,同时对配置文件进行了详细介绍。 运行容器:Tomcat6.0.20 Solr版本:apache-solr-1.4.0 分词器:mmseg4j-1.6.2 词库:sogou-dic
lucene的应用.pdf 01solr企业级搜索引擎准备阶段.pdf 02solr企业级搜索引擎实战演练.pdf 适合新手搭建solr使用
使用Solr为大数据库搭建搜索引擎,内容很好的,不忽悠
solr全文检索环境搭建, 我已经把solr环境都准备好了。你只需要根据我在文档中的说明放到你的环境下就可以了。
solr的基本搭建,拼音检索,三种分词器(smartcn ,IK,mmseg4j)的安装,停词器的安装
使用Solr为大数据库搭建搜索引擎,霍庆,刘培植,如今信息快速发展,数据库信息不断增多,尤其是对于中文信息,传统的数据库搜索方式(like%%)不仅效率低下,而且搜索速度极慢,此
SOLR搭建企业搜索平台,步骤清晰,适合初学者
里面有关于solr环境搭建的详细文档说明,还有schema.xml,solrconfig.xml这两个文件里的配置说明,还有创建索引,删除索引的代码。及性能的优化。
Solr集群搭建:Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用...
solr配置搜索引擎平台 一、 SOLR搭建企业搜索平台 二.... 三,,,,
Solr服务器采用java5开发的,是基于Lucene全文搜索的。 要想搭建Solr,首先进行java环境的配置,安装对应的jdk以及tomcat,在此就不多讲。 以下是在jdk1.7和tomcat1.7的环境下搭建最新版本的solr4.10.3。
适用于Java后台开发Solr搜索服务使用者,包括Java使用Solr服务、Solr服务器的搭建,以及Solr服务器集群的搭建
Solr是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr可以独立运行在Jetty、Tomcat等这些Servlet容器中。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对...
Solr服务器是基于solr搭建的一个服务器,服务器配置全部实现。可用于全局搜索。