官方doc
https://wiki.cloudera.com/display/DOC/HBase+Installation
首先升级yum:
在 /etc/yum.repos.d/ 下创建cloudera-cdh3.repo 然后把
[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
mirrorlist=http://archive.cloudera.com/redhat/cdh/3/mirrors
gpgkey = http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 0
追加到cloudera-cdh3.repo 里。
然后执行:
yum update yum
参照:
https://wiki.cloudera.com/display/DOC/CDH3+Installation
安装hadoop:
更新好yum 就能通过yum 下载hadoop 了 很方便。
在集群中每个节点都下载hadoop
yum install hadoop-0.2X
然后创建hadoop用户(这里注意,下载了cloudera 的hadoop 后,会自动创建一个hadoop组和两个用户:mapred、hdfs 。 用户本人没用)
所以创建用户时必须加上 -g hadoop (吧hadoop 用户也加入hadoop组)
修改hadoop集群配置文件:
vi /etc/hadoop/conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> <!--hdfs 备份最好多做些,防止数据丢失-->
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/namenode</value>
</property>
<property>
<!-- specify this so that running 'hadoop namenode -format' formats the right dir -->
<name>dfs.data.dir</name>
<value>/data/datanode</value>
</property>
</configuration>
vi /etc/hadoop/conf/mapred-site.xml (因为hbase和mapreduce 没关系,所以这个配置文件没做详细修改)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hbase150:9001</value>
</property>
<!--add fair schedualer -->
<property>
<name>mapred.jobtracker.taskScheduler</name>
<value>org.apache.hadoop.mapred.FairScheduler</value>
</property>
<property>
<name>mapred.fairscheduler.allocation.file</name>
<value>/etc/hadoop/conf/pools.xml</value>
</property>
<!-- Enable Hue plugins -->
<property>
<name>mapred.jobtracker.plugins</name>
<value>org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin</value>
<description>Comma-separated list of jobtracker plug-ins to be activated.
</description>
</property>
<property>
<name>jobtracker.thrift.address</name>
<value>0.0.0.0:9290</value>
</property>
</configuration>
vi /etc/hadoop/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hbase150:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp</value>
</property>
</configuration>
各节点之间的hadoop用户ssh无密码登陆以及其它细节这里就不说了,网上多的是,配置文件贴出来是希望分享下,或者接受大家 宝贵耳朵建议。
启动hdfs(不用启动mapreduce。):
执行 /usr/lib/hadoop/bin/start-dfs.sh
注意:启动会遇到用户权限问题。因为cloudera 吧hdfs相关的目录权限设置的是hdfs用户(mapreduce 也是) 所以这里就需要用root 把相关目录给hadoop: chown -R hadoop [目录名]
还有启动之前需要对namenode 进行format 这里会问是否真的要format [Y/N] 千万别输入小写的y 要输入大写.. 因为这个我郁闷了好久..
还有namenode 的safemode leave 的时候,出现没有权限的报错,提示大概是:需要更高权限的用户。 而我的用户是hadoop 对hdfs来说是最高权限的用户啊。郁闷了很久后 发现时namenode 没启动起来导致的。。。
hdfs成功启动后,安装zookeeper (hbase需要zookeeper)
hbase自带有zookeeper 我这里是自己安装zookeeper。
参照
https://wiki.cloudera.com/display/DOC/ZooKeeper+Installation
即可搭建起zookeeper集群
遇到的问题类似 ,同样是因为用cloudera 的zookeeper时会有目录所属用户问题。 把相关目录全chown 给hadoop就行。
还遇到个棘手的问题就是:参照上篇博客:
http://cloudera.iteye.com/blog/902949
还有,这里我没有用cloudera 的命令:
/etc/init.d/hadoop-zookeeper start
因为cloudera 的这个启动文件会自动su 到zookeeper 用户,而我全是用hadoop用户操作的。
所以我是用:
/usr/lib/zookeeper/bin/zkServer.sh start
启动的。
可用
/usr/lib/zookeeper/bin/zkServer.sh status
查看状态
用
/usr/lib/zookeeper/bin/zkServer.sh stop
停止。
zookeeper集群安装完毕后即可安装hbase
安装hbase:
参照:
https://wiki.cloudera.com/display/DOC/HBase+Installation
我也没用cloudera 的启动,原因同上。
我用:
/usr/lib/hbase/bin/start-hbase.sh
启动。这里注意了,需要修改start-hbase.sh的源码。因为hbase会自动启动zookeeper 所以注释掉源码中的zookeeper启动的那行。
stop-hbase.sh亦是。
另外 这种启动方式还需要在master中配置/etc/hbase/conf/regionservers
这样只需在master 中执行启动hbase 的命令即可,不用再slaves 中逐一启动regionserver了。
最后,想说下,最好把日志log 都统一管理起来。我吧日志都放到/data/log 下了。 (/data目录是我专门用来放hadoop hbase 的东西的,namenode 和datanode 也全都在/data目录下。)
分享到:
相关推荐
Cloudera-HBase最佳实践及优化.zip Cloudera 对 HBase最佳实践及优化介绍,权威出品,值得信赖。
cloudera-CDH5.16.1安装包,cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz。cloudera-CDH5.16.1安装包,cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz。
cdh 大数据软件 支持centos7 cdh 大数据软件 支持centos7 cdh 大数据软件 支持centos7 cdh 大数据软件 支持centos7
cloudera manager 5.6 cdh5.6 centos7.1 jdk1.8 结合官方文档原创安装,常见故障预处理
cloudera manager5.x版本集群搭建过程包括共享文件夹设置、centos配置、时间服务器等
Cloudera安装部署集群搭建+yum本地源+数据库操作实例
Cloudera CDH集群运维手册,带截图的,挺详细,有用Cloudera cdh集群的可以看看
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Ubuntu14.04在线安装Cloudera Manager集群部署,涉及ssh免密码登陆,ntp时间同步,集群安装
它主要受到Minix和Unix思想的启发,是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。
Cloudera 对 HBase最佳实践及优化介绍,权威出品,值得信赖。
一. Cloudera Manager 4 二. 下载地址 4 三....四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 ...5. 启动service cloudera-scm-agent start 失败 42
Centos7 安装Cloudera。本文适用于安装最新版本的Cloudera Manger,在1.2 节中请选择最近版本的 Cloudera manager相关rpm安装包下载,并在后面的步骤中使用对应的rpm安装。否则在3.3节中安装 cm服务到40%时会卡住不...
cloudera-manager-centos7-cm5.14.2_x86_64.tar.gz 建议配合我的博客一起使用——《Cloudera 平台搭建》
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何使用Cloudera Manager自动搭建Hadoop相关集群,简化为多台服务器搭建Hadoop集群工作,提高工作效率。至于如何使用Cloudera Manager来管理...
CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel+cloudera-manager-centos7-cm5.9.1文件太大上传不了(2G)。里面是baiduwangpan链接和提取码。要者自提 Centos7!Centos7!Centos7!Centos7!Centos7!Centos7!别看错了!
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
CentOS 6.5 CDH 5.6 操作系统基本设置 # IP设置 # Hostname 设置 # hosts 设置 # selinux 设置 # 防火墙设置 配置 httpd 服务 # 检查 httpd 是否安装 # 安装 httpd # 启动httpd服务 service httpd restart 设置...
即便是菜鸟也可以自己搭建Hadoop集群的教程,Linux上CentOS 7 安装CDH 5.12.1进行集群搭建。以及遇到的问题总结。和大家分享,共同进步。 本来不想设置分数,但是最低就是1分。。。。。
用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化,提高运行效率;同时Cloudera中...