`
hunray
  • 浏览: 219488 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

hbase伪分布式配置

阅读更多
软件环境
RedHat5.4 x64
hadoop-1.1.1 http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1-bin.tar.gz
hbase-0.94.4  http://mirror.bjtu.edu.cn/apache/hbase/stable/hbase-0.94.4.tar.gz
java jdk1.6

jdk安装和配置
略过...

安装和配置ssh
确认ssh是否安装
[root@localhost ~]# which ssh
/usr/bin/ssh
[root@localhost ~]# which sshd
/usr/sbin/sshd
[root@localhost ~]# which ssh-keygen
/usr/bin/ssh-keygen
配置SSH,使其可以自动登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试:$ ssh localhost

关闭防火墙
这个非常坑爹,一定要关了。
$ chkconfig iptables off

配置hadoop
配置hadoop
将hadoop解压后,配置conf目录下的四个文件:
conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.3.206:8020</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/var/log/hadoop_data</value>
  </property>
</configuration>

conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.3.206:8021</value>
</property>
</configuration>

conf/hadoop-env.sh
将  #export JAVA_HOME=/usr/lib/jvm/java-6-sun
改为  export JAVA_HOME=***/***(自己的JAVA_HOME的主目录)

通过以上步骤hadoop即安装配置完成,进入bin目录
$./start-all.sh     //启动hadoop的各个监护进程
可以通过http://localhost:50070   和http://localhost:50030 查看namenode和jobtracker。
$./stop-all.sh    //关闭hadoop的各个监护进程

配置hbase
./hbase-0.94.4 /conf/hbase-env.sh
修改下面的行:
# export JAVA_HOME=/usr/java/jdk1.6.0/
export JAVA_HOME=/usr/java/jdk1.6.0_38

# export HBASE_MANAGES_ZK=true
export HBASE_MANAGES_ZK=true

./hbase-0. 94.4/conf/hbase-site.xml
修改为下面的:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.3.206:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property> 
<name>hbase.zookeeper.quorum</name> 
<value>192.168.3.206</value> 
</property>
</configuration>
hdfs://192.168.3.206:8020与hadoop中core-site.xml的配置项一致

替换Hbase中的jar包
需要{HADOOP_HOME}下hadoop-core-*.jar和{HBASE_HOME}/lib下hadoop-core-*.jar保持一致。如果不一致Hbase启动时会因为hadoop和Hbase的客户端协议不一致而导致HMaster启动异常。报错如下:
localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)

设置hosts
[root@xiekang-pc bin]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost localhost
192.168.3.206           xiekang-pc xiekang-pc

启动
完成以上操作,就可以正常启动Hbase了,启动顺序:先启动Hadoop,再启动Hbase,关闭顺序:先关闭Hbase,再关闭Hadoop。

官网资料
部分翻译过的中文资料,解决了我的阅读障碍。。。 
http://abloz.com/hbase/book.html

分享到:
评论

相关推荐

    Windows7下eclipse调试Fedora虚拟机的hadoop+hbase伪分布式

    公司进行战略调整阶段,终于可以闲下心来潜心研究分布式应用Hadoop。至于hadoop的应用结构,在这里不必多说,大家网上搜索相关文章即可。 既然研究hadoop,就需要基础的环境搭建。由于资源有限,只能在本机windows...

    大数据开发之Hbase基本使用及存储设计实战教程(视频+笔记+代码)

    │ Day1505_Hbase伪分布式配置文件的修改.mp4 │ Day1506_Hbase伪分布式的启动及hbase命令的使用.mp4 │ Day1507_Hbase shell中namespace的常用操作.mp4 │ Day1508_Hbase shell中表的DDL操作.mp4 │ Day1509_Hbase ...

    hadoop2.6及hbase0.96伪分布式安装配置文件

    hadoop2.6及hbase0.96伪分布式安装配置文件

    hadoop2.4.1伪分布式搭建

    hadoop2.4.1伪分布式搭建 包含网络配置修改 无密码登录

    大数据技术开发环境搭建.docx

    HBase伪分布式配置 57 HBase Shell编程实践 60 HBase JAVA API编程实践 64 安装MySQL 68 Hive安装 70 Redis安装和使用 74 MongoDB安装和使用 83 Neo4j安装和使用 96 安装Spark 103 使用 Spark Shell 编写...

    Hbase 安装与基本使用

    NULL 博文链接:https://username2.iteye.com/blog/2106533

    分布式数据库HBase安装配置与实践.doc

    该文档内容如下: HBase安装配置与实践: 1. HBase安装 1.2 将解压的文件名hbase-1.0.1.1改为hbase,以方便使用 ...2.1伪分布式模式配置 接下来测试运行HBase。 1.3.2编程实践 附:设置Linux环境变量的方法和区别

    伪分布式基于hadoop3.1.3生态环境大数据集群

    hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4....

    Hbase+Spring boot实战分布式文件存储

    并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境支持。 2-1 HBase简介及其在大数据生态圈的位置 2-2 HBase数据存储模型及与关系型数据库的区别 2-3 Hadoop伪分布式集群安装 2-4 HBase...

    hadoop2.7分布式完全安装配置手册

    hadoop2.7分布式完全安装配置手册,含hbase1.2安装配置,图文并茂,一看就会。

    hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置

    hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置

    hbase-cdh5:Hbase-cloudera Docker

    CDH版本:cdh5.1 java:jdk7u67(64位) HBase模式:伪分布式裸露端口动物园管理员服务器:2181 hbase-master:65000 hbase-master Web UI:65010 hbase-regionserver:65020 hbase-regionserver Web UI:65030如何...

    大数据技术原理与应用实验

    实验二 Hadoop伪分布式环境安装 6 实验三 Hadoop完全分布式环境安装 18 实验四 Hadoop商业版安装 36 第二章 分布式文件系统HDFS 45 实验五 HDFS Shell命令使用 45 实验六 Eclipse开发插件配置 64 实验七 HDFS Java ...

    hbase:实验一-Hive3安装与部署.pdf

    实验目的: 学习Hive基本知识;2)提高Linux操作技能;3)巩固Hadoop相关知识;...1)配置伪分布式Hadoop3系统;2)配置并运行Hive服务HiveServer2;3)以beeline连接HiveServer2,可以运行初级查询命令。

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    基于Hadoop的大数据处理系统.pdf

    伪分布式模式配置也很简单,只需在单机模式基础上配置core- site.xml,hdfs-site.xml,mapred-site.xml和yarn-site.xml这4个⽂件(对应的默认参数在core-default.xml,hdfs-default.xml,mapred- default.xml和yarn-...

    Hadoop面试题(一)

      单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述   1)Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务,配置维护,命名服务。   2)Flume:一个高...

    大数据面试题,唬住50k.pdf

    下列哪个是 Hadoop 运⾏的模式 a)单机版 b)伪分布式 c)分布式 答案 ABC 单机版,伪分布式只是学习⽤的。 1. ⾯试题 1. Hadoop的核⼼配置是什么? Hadoop的核⼼配置通过两个xml⽂件来完成:1,hadoop-default.xml;2...

    IT十八掌课程-徐培成-大数据-配套PPT

    '[IT18掌www.it18zhang.com]010.Hadoop配置-独立与伪分布式模式.pptx' '[IT18掌www.it18zhang.com]Ambari Hadoop集群管理工具.pptx' '[IT18掌www.it18zhang.com]Spark调优.pptx' '[IT18掌www.it18zhang.com]011....

    2017最新大数据架构师精英课程

    122_hbase的HA配置演示-和Hadoop的HA集成 123_hbase版本机制 124_hbase-ttl-min-versions-keep-deleted-cells" @- N5 [2 s; S3 T$ H' C 125_keep-deleted-cells控制是否保留删除的shell$ V8 |; Q7 g" ]- C# j% |! y ...

Global site tag (gtag.js) - Google Analytics