在原有的spark程序中,其中包含hhase,spark等,会出现jar包冲突导致有异常的问题,程序中都是使用maven。
在异常中,包含nosuchmethod的异常错误信息,可以看出是guava版本与hadoop版本不一致导致,Hadoop中使用的是12版本,而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本,会导致类中的方法找不到的异常。
解决办法是,es的依赖不使用maven,把es以及依赖搞成一个单独的jar,给程序调用。首先,创建一个单独的maven项目,xml配置文件如下:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<!-- <groupId>Es001</groupId> <artifactId>es-shaded</artifactId> <version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging> -->
<groupId>my.elasticsearch</groupId>
<artifactId>es-shaded</artifactId>
<version>1.0-SNAPSHOT</version>
<name>Es001</name>
<url>http://maven.apache.org</url>
<properties>
<elasticsearch.version>2.3.1</elasticsearch.version>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>${elasticsearch.version}</version>
</dependency>
<dependency>
<groupId>org.elasticsearch.plugin</groupId>
<artifactId>shield</artifactId>
<version>${elasticsearch.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.1</version>
<configuration>
<createDependencyReducedPom>false</createDependencyReducedPom>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<relocations>
<relocation>
<pattern>com.google.guava</pattern>
<shadedPattern>my.elasticsearch.guava</shadedPattern>
</relocation>
<relocation>
<pattern>org.joda</pattern>
<shadedPattern>my.elasticsearch.joda</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.common</pattern>
<shadedPattern>my.elasticsearch.common</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.thirdparty</pattern>
<shadedPattern>my.elasticsearch.thirdparty</shadedPattern>
</relocation>
<relocation>
<pattern>com.fasterxml.jackson</pattern>
<shadedPattern>my.elasticsearch.jackson</shadedPattern>
</relocation>
</relocations>
<transformers>
<transformer
implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" />
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
<repositories>
<repository>
<id>elasticsearch-releases</id>
<url>http://maven.elasticsearch.org/releases</url>
<releases>
<enabled>true</enabled>
<updatePolicy>daily</updatePolicy>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
</project>
然后使用eclipse或者命令对项目进行build,执行完后会在对于的本地maven配置的repository中找到该jar,最后在spark程序提交的时候,不需要再项目jar中导入改jar包,而是提交的时候手工执行本地jar就ok,也就是spark-submit执行时,后面--jars 后面加入本地之前弄好的es的jar即可,问题解决。
分享到:
相关推荐
阿里云Elasticsearch7.x jar包 elasticsearch-7.4.0.jar httpasyncclient-4.1.4.jar lucene-core-8.2.0.jar
包含 elasticsearch-hadoop-6.6.1.jar elasticsearch-hadoop-hive-6.6.1.jar elasticsearch-spark-20_2.11-6.6.1.jar elasticsearch-storm-6.6.1.jar 等
elasticsearch5.5.1客户端所需jar包,可用于普通java工程使用elasticsearch客户端,解决必须用maven工程问题
本篇文章主要介绍了Hbase、elasticsearch整合中jar包冲突的问题解决,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
由于公司的项目是比较传统的java项目,没有用mave需要手动下载导入jar包,所以整理了一套java连接Elasticsearch所必须要的jar包。我使用的Elasticsearch版本为6.4.2(版本不一样需要下载对应版本的jar,不然会报错的...
Elasticsearch5.6版本的Jar包,本人亲自测试,适用于5版本和6版本,5版本以下没测试过。
elasticsearch 5.4 maven依赖jar包 x-pack-transport5.4.0所有依赖jar包
elasticsearch所需jar包
ES-Spark插件,使用该插件可以使用Spark向ES插入数据或者使用Spark读取ES的数据
Elasticsearch 的包,涉及到Java与Elasticsearch的所有需要的东西
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。...,Elasticsearch 大数据 搜索引擎 分布式集群 部署,全量elasticsearch5.x jar包,你值得拥有
elasticsearch5.1.1.jar中/ elasticsearch / monstor / OS中的OsProbe.class用elasticsearch5.6.1.jar中的OsProbe.class 替换完打包版本
elasticsearch6.5.3的jar包
中文-英文对照文档,中英对照文档,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压 【***.jar中文文档.zip】,再解压其中的 【***-...
ElasticSearch+Spark 构建高相关性搜索服务&千人千面推荐系统
SpringBoot 集成ElasticSearch两个依赖的jar下载,大家可以看一下,我的项目启动了,不懂加Q 243517277,请注明来源
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch(hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本)源代码
Elasticsearch之Java客户端Jest的全部依赖jar包,亲测有效。
用于hbase同步数据到es(replication机制)
java 操作es库所需基础jar包,包中es文件夹中为基础jar other中的暂时未发现用途。描述就这样了