1, Solr
合并索引数据有两种方法,第一种是
1.4
版本中引入的,通过
CoreAdminHandler
来实现,示例如下:
http://localhost:8983/solr/admin/cores?action=mergeindexes&core=core0&indexDir=/opt/solr/core1/data/index&indexDir=/opt/solr/core2/data/index
上述命令会将
core1
和
core2
的索引合并到
core0
中去,这里最值得注意的一点是:一旦合并完成,必须在
core0
上调用
commit
操作,否则索引数据的变化对于
searchers
来说是暂时不可见的,只有等到下次
core0
重新装载起来时才可见。
第二种方法是
Solr3.3
中引入的,也是通过
CoreAdminHandler
来实现,示例如下:
http://localhost:8983/solr/admin/cores?action=mergeindexes&core=core0&srcCore=core1&srcCore=core2
同第一种方法一样,
一旦合并完成,必须在
core0
上调用
commit
操作,否则索引数据的变化对于
searchers
来说是暂时不可见的,只有等到下次
core0
重新装载起来时才可见。
使用
”srcCore”
和
”indexDir”
这两种方法的区别:
1)
使用
”indexDir”
参数,你可以合并不是与
Solr
核相关联的索引数据,比如通过
Lucene
直接创建的索引
2)
使用
”indexDir”
参数,你必须注意索引数据不是直接写入的,这就意味着如果它是一个
solr
核的索引,必须要关闭
IndexWriter
,这样才能触发一个
commit
命令。
3)
“indexDir”
必须指向
solr
核所在的主机上的磁盘路径,这就限制比较多了,而相反,你可以只给
srcCore
一个
solr
核的名称,而不关心它的实际索引路径在哪。
4)
使用
”srcCore”
,你必须确保即使源索引数据同时存在写操作的时候,合并后的索引页不会损坏。
2, solr
索引合并的时候,底层其实调用的还是
Lucene
,因此你
schema.xml
中配置的
uniqueKeys
它并不知道,因此当你对两个包含相同文档(由
uniqueKey
确定)的索引进行合并时,你会得到双倍的文档数,
solr
这个地方应该改下,毕竟你不是简单的
Lucene
包装嘛。。。
http://localhost:8080/searchserver/core0/update?commit=true
3,使用lucene的IndexMergeTool合并
java -classpath ./lucene-misc-3.4-SNAPSHOT.jar:./lucene-core-3.4-SNAPSHOT.jar org.apache.lucene.misc.IndexMergeTool mergeIndex ./data/deal/index/ ./data_CJK/deal/index/
分享到:
相关推荐
索引合并策略
solr mapreduce索引器 lucene-solr Solr MapReduce contrib项目的副本。 使用shade插件将其重新打包为Maven项目,以避免打包和清单冲突。 这使我们可以在hadoop集群上运行它,该...将Solr索引合并到分片数 上线 选项
这种方法大大减少了索引大小并加速了所有索引操作和合并,允许同时使用 Solr 作为 NoSQL 数据库和搜索引擎。 编解码器将存储的字段中继到 NOSQL 存储,同时将所有其他索引组件保留在通常的基于文件的存储布局中。 ...
6.2.5 索引的合并 151 6.2.6 索引的定时更新 152 6.2.7 索引的备份和恢复 153 6.2.8 修复索引 154 6.3 读写并发控制 154 6.4 优化使用 Lucene 155 6.4.1 索引优化 155 6.4.2 查询优化 157 6.4.3 实现时间加权排序 ...
基本上,这将允许您限制将存储在 Solr/Elasticsearch 索引中的内容的 MIME 类型,而无需限制抓取/解析过程,因此无需使用 URLFilter 插件系列。 这也解决了一个特殊的极端情况,当某些 URL 没有任何格式可以过滤,...
例如,我们可以通过 mutiGet 将多次请求合并一次、异步访问等方式来提升缓存读取的性能。此外,我们还需要选择合适的缓存策略,例如基于时间的缓存、基于版本的缓存等。 三、产品逻辑优化 产品逻辑优化经常会容易...
功能含:PPT解析、合成、显示、上传、下载,关键词检索,全文索引,用户管理等。项目执行完后,技术或平台经验含:JavaScript,CSS,Html5, github,Ajax,JSON/XML,Android/iOS,Spring MVC,Hibernate,Restlet...
yl-hbase-rep hbase快照,复制实现机制,源码解析 复制对等方的实现代码 批量加载代码示例 ...也可以通过编码的方式,通过bulkload生成hfile然后再合并到hbase 致谢 yl-hbase-rep实现机制参考了lily
它可以操作的一种方式是,它可以从索引(Apache Solr)获取视频文件uuid,并提取帧。 然后通过合并和处理这些框架进行预处理,以便在框架中找到轮廓时获得更好的结果。 分析估计的文本轮廓以获取假定的字幕。 估算...
增强型搜索引擎将拼写检查和自动完成功能添加到搜索引擎•使用Solr和Lucene索引《洛杉矶时报》的页面。 使用Java和Python进行边缘列表创建和页面排名计算。 •使用PHP和Apache开发了一个网站。 合并了自动完成和拼写...
│ 10.solr单机版安装.avi │ 11.中文分析器配置.avi │ 12.导入数据-dao.avi │ 13.索引库导入数据-完成.avi │ 淘淘商城第七天笔记.doc │ ├─08.第八天 │ 14.搜索服务切换到集群.avi │ 01.课程计划.avi │ 02...
通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ...
通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ...