学习使用solr(一)，solr和tomcat的配置及数据库中表的全量索引(下)

 

        在tomcat中部署好了solr之后，接下来就要对数据库中的表建立索引了。

        首先回顾一下文件的结构：

        tomcat的$CATALINA_HOME是/usr/local/tomcat-solr-blog，solr的$SOLR_HOME是/usr/local/tomcat-solr-blog/solr。具体的情况可以去大体看一下上一篇文章：学习使用solr(一)，solr和tomcat的配置及数据库中表的全量索引(上)。

 

        第二步，为数据库中的表建立全量索引。

        我此次建立的索引是针对一张表的，多张表的还没研究。

        首先说一下我所索引的数据表的结构和数据吧，为了简单起见，一张图就表示了它。由下图可见，我的数据表格里就有两列，一列int型的solr_id，一列varchar型的solr_text。数据是李白的《静夜思》。由于我只完成了全索引的建立，所以此处对数据没什么要求。
        

        有了数据之后就开始对此表建立全索引了。

        1，先要修改solrconfig.xml文件，它存在于$SOLR_HOME/conf（此处的路径问题可以去上里查找，一般看到这篇文章的应该都知道在哪里可以找得到solrconfig.xml）。在其中增加如下配置：

<requestHandler name = "/dataimport" class = "org.apache.solr.handler.dataimport.DataImportHandler">     
    <lst name = "defaults">  
    <str name = "config">data-config.xml</str>
    </lst>
</requestHandler>

        增加好了之后，先重启一下tomcat看看有什么问题。启动tomcat，查看日志发现报了一个错误：

        Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler'

        在加载DataImportHandler时出错了，这是因为没有往项目里面导入apache-solr-dataimporthandler-3.6.2.jar这个jar包。好了，这里我碰到了一个没有解决的问题。现在看solrconfig.xml这个文件当中的某段配置，如下：

  <lib dir="../../dist/" regex="apache-solr-cell-\d.*\.jar" />
  <lib dir="../../contrib/extraction/lib" regex=".*\.jar" />

  <lib dir="../../dist/" regex="apache-solr-clustering-\d.*\.jar" />
  <lib dir="../../contrib/clustering/lib/" regex=".*\.jar" />

  <lib dir="../../dist/" regex="apache-solr-dataimporthandler-\d.*\.jar" />
  <lib dir="../../contrib/dataimporthandler/lib/" regex=".*\.jar" />
  
  <lib dir="../../dist/" regex="apache-solr-langid-\d.*\.jar" />
  <lib dir="../../contrib/langid/lib/" regex=".*\.jar" />

  <lib dir="../../dist/" regex="apache-solr-velocity-\d.*\.jar" />
  <lib dir="../../contrib/velocity/lib" regex=".*\.jar" />

        

        观察这段代码不难发现，它正密集的指出了一些jar包所在的位置，其中有这样一项，

<lib dir="../../dist/" regex="apache-solr-dataimporthandler-\d.*\.jar" />

 

        似乎为我指明了我的apache-solr-dataimporthandler-3.6.2.jar包应该放在哪里。于是我按照路径，在配置文件往上两级建立了dist文件夹，并将jar包放进去。再重启tomcat。发现没用……这里，促使我开始研究tomcat的原理了。

        其实这个问题很好解决，直接找到/usr/local/tomcat-solr-blog/webapps/solr-example/WEB-INF/lib，将jar包拖进去，再重启tomcat看看。报了一个新错误：Can't find resource 'data-config.xml'。接下来就来建立data-config.xml文件。

 

        2，在solrconfig.xml的同级目录下，新建data-config.xml，并且填入内容如下：      

<dataConfig>  
  <dataSource type="JdbcDataSource"
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://host/db_name"
              user="root"
              password="****"/>
  <document>  
    <entity name="solr_test"   
            query="select solr_id,solr_text from solr_test">  
    </entity>  
  </document>  
</dataConfig>

      

        这个xml文件的各项都很好理解，显示配置了数据库的驱动，地址，用户名和密码。然后又对对哪个表建立索引进行了配置，先按照这个配置去写，这是最简单的全量配置的写法。

        新建完了之后要把数据库的驱动的jar包加到工程里面，我将mysql驱动的jar包也放到了/usr/local/tomcat-solr-blog/webapps/solr-example/WEB-INF/lib之下。然后再重启tomcat看看情况。启动成功，没有报错。但此时还没建立全量索引。只能说明连接数据库的部分没有出错。好吧，最后一步，配置schema.xml文件。

 

        3，改写schema.xml文件。首先找到schema.xml，它也跟solrconfig.xml是属于同级目录。打开来看一下，发现这个文件好长，有好多的配置项和注释啊。所以，我就简化了一下，把我不需要的全部删掉，最后删减玩的schema.xml是下面这个样子。

<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.5">
 
  <types>
    <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
    <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/> 	
 </types>

 <fields>
   <field name="solr_id" type="int" indexed="true" stored="true" />
   <field name="solr_text"  type="string" indexed="true" stored="true"/>
 </fields>

 <uniqueKey>solr_id</uniqueKey>

</schema>

         我只选取了比较重要的几个节点，<types>定义了field的类型，在此我需要int和string，<fields>相当于是数据表里的字段，跟data-config.xml及数据库中的字段都是对应的，你要对哪些个字段建索引，就要写哪些个字段。最后是个主键。关于schema.xml的详细解释，可以去百度一下。修改完成后，再重启一下tomcat。报了一个错误，仔细看一下有两点很重要，Error initializing QueryElevationComponent.和For input string: "MA147LL/A"。解释这个问题，就要先看一下solrconfig.xml这个文件中有如下配置：

<searchComponent name="elevator" class="solr.QueryElevationComponent" >
    <!-- pick a fieldType to analyze queries -->
    <str name="queryFieldType">string</str>
    <str name="config-file">elevate.xml</str>
  </searchComponent>

       此处用到了一个QueryElevationComponent，它需要一个配置文件elevate.xml，其内容如下：

<elevate>
 <query text="foo bar">
  <doc id="1" />
  <doc id="2" />
  <doc id="3" />
 </query>
 
 <query text="ipod">
   <doc id="MA147LL/A" />  <!-- put the actual ipod at the top -->
   <doc id="IW-02" exclude="true" /> <!-- exclude this cable -->
 </query>
 
</elevate>

       我们从中可以看到有一项id的值为MA147LL/A。关于这个问题，我做了一系列的尝试，最后试着解释它一下：由于QueryElevationComponent启动是要求必须有一个uniqueKey，我此处定义的uniqueKey是int类型的。而我们看elevate.xml时发现它有两个string类型的id值。所以此处就报错了。修改这个问题的两个方式，一是把你的schema.xml中的uniqueKey的值设置为一个string类型的值，二是直接在solrconfig.xml中直接注释掉这一段的配置，两者我都试过，都能成功。这里我采用的是后者。注释掉了之后再重启tomcat，又报了一个错：undefined field text。这个问题我百度了一下，也没找到根源。但知道了原因是有一个步骤要使用一个名字叫text的field，但是我们没有，这里不妨定义一下，在schema.xml文件的<fields>中加上如下一句：

<field name="text" type="string" stored="false" indexed="false"/>

       然后再重启下tomcat。没有报错了，好的，这说明配置过程已经可以了。下面就要建立索引了。访问如下的地址：http://localhost:8983/solr-example/admin/dataimport.jsp?handler=/dataimport，出现如下界面：点击页面左下方的full-import按钮，生成索引。具体变化我忘了，在运行完了之后看看tomcat的日志，发现《静夜思》被打出来了。

 

回到http://localhost:8983/solr-example/admin/之后什么都不要做，保持查询框中的内容是*:*，直接点击search，看到打出来如下的内容，你就开心吧，全量索引建立完成。

 

        好了，在这个过程中，我有好多的问题都没找到最终的原因，之后还有添加中文分词，中文分词是干嘛的，增亮索引以及在项目中使用solr等一系列问题要解决。

 

       希望你学习solr的时候这两篇文章可以帮助到你。小菜鸟要努力学习，欢迎大神批评指正。

 

 

 

 

 

 

评论

2 楼 ztplant 2013-09-10  

jeriffe 写道

不错的文章

此回复是对菜鸟最大的鼓励，乃神回复

1 楼 jeriffe 2013-08-24  

不错的文章