准备:
1、JDK安装调试完毕
2、hadoop安装调试完毕。
3、下载hbase,地址:http://www.apache.org/dyn/closer.cgi/hbase/ ;本次安装使用版本hbase-0.94.0-security(未确认是否要打补丁)
4、 ulimit 和 nproc: Base是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see "java.io.IOException...(Too manyopen files)" in my logs?异常。
所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成 OutOfMemoryError异常。
设置ulimit:
如果你使用的是Ubuntu,你可以这样设置:
在文件 /etc/security/limits.conf 添加一行,如:
hadoop - nofile 32768
可以把 hadoop 替换成你运行Hbase和Hadoop的用户。如果你用两个用户,你就需要配两个。还有配nproc hard 和 softlimits. 如:
hadoop soft/hard nproc 32000
在 /etc/pam.d/common-session 加上这一行:
session required pam_limits.so
否则在 /etc/security/limits.conf上的配置不会生效.
还有注销再登录,这些配置才能生效!
5、修改Hadoop HDFS Datanode同时处理文件的上限:dfs.datanode.max.xcievers
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了). 在你加载之前,先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096:
<property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>
对于HDFS修改配置要记得重启.
如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。例如: 02/12/1220:10:31 INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry...
安装:
1、解压 hbase-0.94.0-security.tar.gz文件;
2、将hbase-0.94.0-security拷贝到linux安装目录下;
3、拷贝hbase-0.94.0-security/src/main/resources/hbase-default.xml中的内容到hbase-0.94.0-security/conf/hbase-site.xml中。
4、 修改 hbase-site.xml:
设置hbase.rootdir的值为: hdfs://namenode:90000/hbase;
设置hbase.master的值为:namenode:60010
设置hbase.master.port 的值为:60000
设置hbase.zookeeper.quorum的值为 ( zookeeper 集群数量配置必须为奇数) :datanode1,datanode2,datanode3
5、修改:hbase-env.sh:
设置环境变量:JAVA_HOME=/home/yousuo/jdk1.7.0_03
6、在Master节点修改regionservers,列出所有slave机器,一行一个机器名:
datanode1
datanode2
datanode3
7、打包部署文件到集群所有机器上,路径保持一致。(可以使用rsync同步)
运行hbase
1、 修改/etc/profile文件,在文件末尾加上环境变量:
export HBASE_HOME=/home/yousuo/hbase export PATH=$PATH:$HBASE_HOME/bin
在各客户端执行source /etc/profile
2、在hbase/bin 目录下执行 chmod +x * 添加执行权限,然后执行 start-hbase.sh 启动hbase服务。
3、执行命令hbase shell登录成功显示如下:
HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version 0.94.0, r1332822, Tue May 1 21:03:16 UTC 2012
4、在控制台输入list成功则显示如下:
TABLE SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/yousuo/hbase/lib/slf4j-log4j12-1.5.8.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/yousuo/hadoop/lib/slf4j-log4j12-1.4.3.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. 0 row(s) in 1.0830 seconds hbase(main):002:0>
本文参考了以下文档:http://www.yankay.com/wp-content/hbase/book.html
相关推荐
大数据技术基础实验报告-HBase安装配置和应用实践
HBase安装配置与实践: 1. HBase安装 1.2 将解压的文件名hbase-1.0.1.1改为hbase,以方便使用 1.3 配置环境变量 1.4添加HBase权限 1.5查看HBase版本,确定hbase安装成功 2. HBase配置 2.1伪分布式模式配置 接...
zookeeper及hbase安装配置,安装时先检查zookeeper,hbase是否与hadoop版本对应
指导手册06:HBase安装部署 hbase配置文件
Hadoop和Hbase安装使用教程
Zookeeper和Hbase安装总结手册.
大数据实验Hbase安装部署和使用javaapi调用,详细且成功率高,纯自己手写的,hadoop和hbase版本是采用林子雨老师教材中的,自己在此教程上改良,引入先安装zookeeper方法避免诸多问题产生。
本资源为hbase的安装和使用,内含hbase安装工具包,hbase的安装说明,hbase的使用说明 。
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装,hbase动态添加删除节点,hbase集群正常状态及启动,hbase 问题汇总
hbase 安装
文档是我自己一步步完成实验写成的,给初学大数据的朋友共享一下希望能有所帮助
NULL 博文链接:https://username2.iteye.com/blog/2106533
Hadoop Hbase 完美安装教程,有图,清晰明了!更新到最新版!
Linux下,基于Hadoop集群的Zookeeper、Hbase的安装及配置指导文档。 HBase作为Hadoop生态系统的一部分,是基于hadoop集群的HDFS之上的分布式数据库,HDFS为HBase提供了高可靠的底层存储支持和数据的持久化;hadoop...
在本地模式下,hbase只需要安装JDK就可以了。 若使用HDFS文件系统模式,除了JDK,还需要安装hadoop(HDFS是hadoop的旗舰级文件系统,是hadoop项目的核心子项目,安装hadoop会带有hdfs),本版本hbase依赖安装的hadoop...
Hbase安装详细文档,有配置,有说明,有截图,非常详细
来自一位老学姐的Hbase安装详细教程(清华大学镜像下)及基本操作,希望能带给你们些许帮助。主要包含Hbase的下载过程及其遇到的小问题,后续会继续完善该文档!
hadoop hive hbase安装过程
python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题
hbase安装lzo压缩包的编译文件master