前一篇中全量索引的data-config.xml 的配置为
<dataConfig> <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://199.xxx.xxx.xxx/quentinxxz_com" user="qqq" password="qqq"/> <document> <entity name="product" query="select id, price,modify_time from tts_product"> <field column="price" name="tts_price"/> <field column="modify_time" name="tts_modify_time"/> </entity> </document> </dataConfig>
对应的增量索引的data-config.xml 的配置为
<dataConfig> <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://199.xxx.xxx.xxx/quentinxxz_com" user="qqq" password="qqq"/> <document> <entity name="product" query="select id, price,modify_time from tts_product" deltaImportQuery="select id, price,modify_time from tts_product where ID='${dih.delta.id}'" deltaQuery="select id from tts_product where modify_time >'${dih.last_index_time}'"> <!----> <field column="price" name="tts_price"/> <field column="modify_time" name="tts_modify_time"/> </entity> </document> </dataConfig>
${dih.last_index_time}为dataimport.properties中的last_index_time信息
${dih.delta.id}为deltaQuery所查询出来的主键id
conf/dataimport.properties中自动存储的信息
#Wed Jul 30 10:58:44 GMT+08:00 2014 last_index_time=2014-07-30 10\:58\:37 product.last_index_time=2014-07-30 10\:58\:37
query是获取全部数据的SQL
deltaImportQuery是获取增量数据时使用的SQL
deltaQuery是获取pk的SQL
parentDeltaQuery是获取父Entity的pk的SQL
注:从配置文件来看,增量的效率似乎很低,"select id, price,modify_time from tts_product where ID='${dih.delta.id}"给我们的感觉是每有一条纪录,就根据id去查一定数据库。其实不然,仔细查看dataImportHanlder的源码,会发现实际执行的sql语句已经做过处理了,DIH会将多个id进行组合,修改sql语句,再执行一次查询。
相关推荐
NULL 博文链接:https://iamyida.iteye.com/blog/2215358
solr增量导入更新索引包
solr数据库导入所需jar包,包括solr-dataimporthandler-6.0.1.jar,solr-dataimporthandler-extras-6.0.1.jar
solr定时增量更新索引所需jar包包括:solr-dataimporthandler-4.0.0.jar、solr-dataimportscheduler.jar(6.x适用)、solr-dataimporthandler-extras-4.0.0.jar。
solr自动更新包
solr定时增量jar, 通过配置信息,连接数据库,实现定时任务同步数据库数据到搜索引擎中。
solr-dataimporthandler-8.9.0.jar 和 solr-dataimporthandler-extras-8.9.0.jar
solr6 solr-dataimporthandler-scheduler-1.1源码,可以自己编译适应不同版本solr
solr6定时增量更新jar包
solr-dataimporthandler-scheduler-1.1源码,可以自己编译适应不同版本solr
solr-dataimporthandler数据库连接,
solr导入数据用到的solr-dataimporthandler-7.1.0.jar
solr-dataimporthandler-7.5.0.jar包下载吧,最新的包
Solr数据库插入(全量和增量)索引,全量一般用于第一次创建索引情况,批量一般更新数据部分创建索引。
主要讲解了 solr客户端如何调用带账号密码的solr服务器调用,实现添加索引和查询索引,以及分组查询
solr-dataimporthandler-5.5.2.jar solr-dataimporthandler-5.5.2.jar solr-dataimporthandler-5.5.2.jar
在tomcat中配置solr,以及solr 全文搜索建立索引的相关方法总结
solr7版本中的数据导入jar包 低版本的没试过,估计低版本的solr配合之前apache-solr-dataimportscheduler-1.0.jar这些能行,不行就试试我这个。