搜索引擎迁移记录
背景:
项目中存在一个旧项目,搜索主要依赖数据库的like模糊匹配,由于数据量和用户量的不断增多,考虑迁移至ElasticSearch中。
内容比较多,会分几次发布,希望大家持续关注,本次主要发出一个大纲情况。
涉及内容:
ElasticSearch+LogStash+Kibana
大纲:
部署ElasticSearch
软件版本: elasticsearch-2.3.5
软件环境: CentOS 6.7+JDK 1.7
部署步骤
配置修改:
启动ES
插入测试数据
开发Java客户端:
集成POM文件
集成spring-data-elasticsearch
开发数据层
JUNIT测试
设计正式环境索引和Type
设计正式环境各字段类型
ES正式环境优化
过程中遇到的问题以及解决方案
部署LogStash
软件版本:logstash-2.4.1.tar.gz
软件环境:CentOS 6.7+JDK 1.7
部署步骤
配置修改
安装测试
下载并配置插件
logstash-input-jdbc
logstash-input-beats
运行测试
遇到的问题以及解决方案
部署Kibana
软件版本:kibana-4.5.4
软件环境:CentOS 6.7+JDK 1.7
部署步骤
配置修改
安装测试
结果展示
遇到的问题以及解决方案