在先前装的CDH5.14集群中,默认安装的spark是1.6.0版本。我们现在可以现有的集群中再装spark2.x版本,能和spark1.6版本并存。
当前CDH支持的Spark2.X最新版本是Spark2.3.0,目前Apache Spark最近版本是2.3.1,即CDH的版本更新是慢半拍的,但基本上不影响使用。
下面是在CDH中安装Spark2.3的步骤:
这是官方给出安装和升级方法说明:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
一. 安装准备
1. 下载所需的安装包
http://archive.cloudera.com/spark2/csd/
SPARK2_ON_YARN-2.3.0.cloudera3.jar
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha1
manifest.json
说明:要选择相对应的系统、CDH版本
我的系统是CentOS6.7所以选择了el6,都选择cloudera3相应的parcel包
2. Spark2.3安装需求
二、安装步骤
1. 上传CSD包到CM节点的/opt/cloudera/csd目录
# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera3.jar
2. 上传parcel的3个包到CM的/opt/cloudera/parcel-repo目录下
[root@hadoop0 parcel-repo]# ls
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha
manifest.json
如之前有manifest.json文件,先把之前的更名后再上传
3. 安装JDK1.8
安装Spark2.X必需要安装JDK1.8以上版本,因我们在安装CDH5.14时默认选择安装的是JDK1.7.0_67版本,所以要把JDK进行版本升级。否则在后面在安装spark2时会报错:
Java version 1.8 is required for Spark 2.3.
具体安装过程和报错解决在后面详细介绍。
4. 重启CM和集群
# service cloudera-scm-agent restart
5. 通过CM安装Spark2
CM页面-> 主机 -> Parcel页面可以看到新的spark2的parcel包
2.3.0.cloudera3-1.cdh5.13.3.p0.458809
然后点击 下载-进行分配-激活
6. 在集中添加服务
可以看到正常启动
三、遇到的问题
在集群中安装jdk1.8,修改CDH的JAVA_HOME方法
下面解决安装Spark2时出现jdk版本低的问题,
问题:在添加Spark服务进出现下面的错误
解决:
在每个节点安装JDK1.8(可以与jdk1.7版本并存)
[root@hadoop1 ~]# rpm -ivh jdk-8u181-linux-x64.rpm
warning: jdk-8u181-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
Preparing... ########################################### [100%]
1:jdk1.8 ########################################### [100%]
在CM节点配置JAVA_HOME
[root@hadoop0 ~]# vi /etc/default/cloudera-scm-server
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
在CM中每个主机的上配置JAVA_HOME
在CM中的点 -> 主机 -> 选择一host
在高级页添加新的JAVA_HOME目录
Spark1.6与Spark2出现兼容性问题
如果新装的Spark2与之前的Spark1.6出现兼容性问题,请删除Spark1.6服务后再添加Spark2服务器
CDH (5.8 and higher) parcel required for SPARK2 (2.2.0.cloudera4-1.cdh5.13.3.p0.603055) is not available.
在Parcel Settings里面uncheck 包的依赖关系检验
---------------------
作者:常飞梦
来源:CSDN
原文:https://blog.csdn.net/lichangzai/article/details/82225494
版权声明:本文为博主原创文章,转载请附上博文链接!
相关推荐
详细阐述升级的全过程及需要备份的目录与方法 Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程
自编译spark3适配CDH6.3.2
内容概要:由于cdh6.3.2的spark版本为2.4.0,并且spark-sql被阉割,现基于cdh6.3.2,scala2.12.0,java1.8,maven3.6.3,,对spark-3.2.2源码进行编译 应用:该资源可用于cdh6.3.2集群配置spark客户端,用于spark-sql
CDH5.16.1安装详细文档,包括添加spark2服务,安装es、kibana、MySQL等
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
CDH6针对hive on spark的调优文档,这个是生产的实战经验
http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 请自行跳转至 官方下载对应parcels
cdh离线安装教程;enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-server-...
cdh5.13的安装文档,详细记录了安装的步骤和一下常见问题的解决办法
http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 请自行跳转至 官方下载对应parcels
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
CDH5.14安装文档(包含spark2和kafka的安装)
hadoop-eclipse-plugin
CDH6.3.2之升级spark-3.3.1
开源的hadoop生态圈的安装和维护很难,通过cloudera公司的cdh来管理,但是对于CDH的安装对于初学者总会存在一定的困难,本文档详细介绍CDH的离线安装和使用
CDH5.13.2资源下载
spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188
CDH5.8+Oryx2.2推荐系统环境搭建 1 一、 安装准备 1 1 准备4台主机搭建集群 1 2 在/etc/hosts增加(所有主机) 1 3 禁用IPV6(所有主机) 1 4 关闭防火墙(所有主机) 1 5 禁用selinux(所有主机) 2 6 配置时钟同步...
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark-2.4.6-cdh5.16.2