1.介绍
大多数公司在使用 Elasticsearch 之前,都已经维护有一套 Hadoop 系统。因此,在实时数据慢慢变得冷却,不再被经常使用的时候,一个需求自然而然的就出现了:怎么把 Elasticsearch 索引数据快速转移到 HDFS 上,以解决 Elasticsearch 上的磁盘空间;而在我们需要的时候,又可以较快的从 HDFS 上把索引恢复回来继续使用呢? Elasticsearch 为此提供了 snapshot 接口。通过这个接口,我们可以快速导入导出索引镜像到本地磁盘,网络磁盘,当然也包括 HDFS。
环境
- hadoop 2.3.1
- elasticearch 2.2.0
2.安装 repository-hdfs
2.1 下载repository-hdfs插件,通过标准的 elasticsearch plugin 安装命令安装:
$ bin/plugin install elasticsearch/elasticsearch-repository-hdfs/2.2.0
2.2 修改config/elasticsearch.yml配置
# 禁用 jsm
security.manager.enabled: false
2.3 创建仓库
$ curl -XPUT '192.168.204.139:9200/_snapshot/my_backup?pretty' -d
'{
"type":"hdfs",
"settings":{
"uri":"hdfs://192.168.204.160:9000",
"path":"/es_backup/rep_1"
}
}'
- hdfs_backup仓库的名称
- uri是hdfs地址
- path是hdfs文件目录
创建仓库报错:Server IPC version 9 cannot communicate with client version 4 将hadoop下面的jar包,拷贝到plugins/repository-hdfs/internal-libs/目录下
commons-httpclient-3.1.jar
commons-io-2.4.jar
commons-lang-2.6.jar
commons-logging-1.1.3.jar
commons-net-3.1.jar
commons-cli-1.2.jar
guava-11.0.2.jar
hadoop-common-2.3.0.jar
hadoop-auth-2.3.0.jar
hadoop-hdfs-2.3.0.jar
slf4j-api-1.7.5.jar
protobuf-java-2.5.0.jar
htrace-core-3.0.4.jar
相关推荐
sqoop导入数据到hdfs,所有相关的操作命令均在更改相关地址就行。
elasticsearch定制备份数据shell脚本,全程可配置化,异常发邮件提醒
ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件
ElasticSearch官方测试数据
ElasticSearch测试数据
elastic数据导出工具,可以直接将es中的数据导入存储到Mysql,也可以指定存储到本地文件夹中,可以选择以json格式或者sql语句的形式
消费kafka数据,然后批量导入到Elasticsearch,本例子使用的kafka版本0.10,es版本是6.4,使用bulk方式批量导入到es中,也可以一条一条的导入,不过比较慢。 <groupId>org.elasticsearch <artifactId>elastic...
ES 官方示例数据
es的备份归档以及删除原数据操作,本人按照实际项目,在测试服务器上测试成功,内有截图以及各项操作的语句
因为你不知道将Hive的数据导入到了ElasticSearch后,数据量是否准确,所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,注意,这个项目打包后,最好另起一个进程调用,并且开始时间为文章1或者2最大...
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
springboot整合elasticsearch7,进行数据同步。elasticsearch相关度查询、排序。高亮显示;自动补全等功能。代码仅供参考,代码中有具体的注释,可以根据代码及注释内容,对自己项目架构及业务进行修改、整合。
好记性不如烂笔头哦~,ElasticSearch,简称es,es是一个开源的高拓展的分布式全文搜索引擎它可以近乎实时的存储、检索数据;本身拓展性很好,可以拓展到上百台服务器,处理PB级别的数据。es也是用Java开发并使用...
同步mysql数据到elasticsearch的工具,功能丰富,用法简单,配置灵活,扩展性强;
elasticsearch数据备份工具之elasticdump
真实开发环境的es设计开发文档,可以参考试试,版本比较老了
Elasticsearch测试数据 1000条
ElasticSearch数据导入 文件导入 单个索引导入 文件按格式采用Json
本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例....