pom.xml
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch-spark-20_2.11</artifactId>
<version>7.4.2</version>
</dependency>
代码
private static Map<String, String> getEsConf() {
Map<String, String> esOptions = new HashMap<String, String>();
esOptions.put("es.nodes", "ip");
esOptions.put("es.port", "9200");
esOptions.put("pushdown", "true");
esOptions.put ("es.nodes.wan.only", "true");
esOptions.put("es.mapping.date.rich", "false");
esOptions.put("es.index.auto.create", "true");
return esOptions;
}
private static Dataset registerEsTable(SparkSession spark, String indexAndType) {
Dataset ds = spark.read().format("es").options(getEsConf()).load(indexAndType);
return ds;
}
main:
SparkSession spark = SparkSession.builder()
.master("local[*]")
.config("spark.sql.warehouse.dir", "/data/sparkwh")
.config("spark.executor.memory","5g")
.appName("xxd").getOrCreate();
Dataset ds = registerEsTable(spark, "xxindex");
相关推荐
window版本 elaticsearch7.4.2、kibana7.4.2、elasticsearch-analysis-ik-7.4.2,es全文检索整套资源
Elastic 为全球范围内数以千计的公司(从初创企业到全球 2000 强企业)打造搜索解决方案,帮助他们搜索文档、监测基础设施、保护企业免受安全威胁,不一而足。
ElasticSearch7.4.2-ik分词.zip
elasticsearch7.4.2以及拼音分词器
elasticsearch-7.4.2.rar
elasticsearch-analysis-ik-7.4.2,es7.4.2 ik分词
elasticsearch-7.4.2版本安装包,包括已经编译好的:ik / pinyin / jieba插件
elasticsearch7.4.2版本linux安装包
elasticsearch-analysis-ik-7.4.2.zip elasticsearch 中文分词 要匹配主程序
Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,ES能够横向扩展至数以百计...
elasticsearch-7.4.0-win64.rar
在elasticsearch 中默认提供的分词器是对中文不友好的,所以我们需要额外的 进行安装一个中文的分词器
elasticsearch-6.2.2.tar.gz elasticsearch-6.2.3.zip elasticsearch-6.6.2.tar.gz elasticsearch-6.8.4.zip elasticsearch-7.3.2-linux-x86_64.tar.gz elasticsearch-7.3.2-windows-x86_64.zip elasticsearch-...
elasticsearch,analysis-ik + analysis-pinyin,7.4.2下载
该资源名称为elasticsearch-7.4.2-windows-x86_64.zip,是全文搜索引擎Elasticsearch的最新版本,是window版本,官网下载龟速,有需要的可以下载这一个呀。
elasticsearch中文分词插件 7.4.2版本
Elasticsearch 子项目:服务器 org.elasticsearch/elasticsearch/7.4.2/elasticsearch-7.4.2.jar