整了一天HBase集群配置,终于可以运行,明天测试,今天做个小结。
1:需要配置SSH密钥
master机: 1):ssh-keygen -t rsa 两个回车
2):cp id_rsa.pub authorized_keys
3):将authorized_keys 文件复制到各个slave(DataNode)机器
scp /home/Administrator/.ssh/authorized_keys 机器名:/home/Administrator/.ssh/
4):在所有机器执行用户权限命令chmod
chmod 644 authorized_keys
5):测试 ssh 机器名,查看能否登陆
注意:ssh localhost出现 closed by connection:1,需要在服务里点击属性,登陆,查找配置一个用户,重新启动即可。
2:1):host name配置
cygwin下就是更改用户名,我的电脑那里
linux下 vi /etc/hostname
2):往host中添加机器的hostname和IP。Master需要知道所有的slave的信息。对应的slave只需要知道Master和 自身的信息即可。
vi /etc/hosts
192.169.1.109 机器名
3: hadoop配置
1): 所有core-site.xml fs.default.name=> hdfs://master:9000
2):所有hdfs-site.xml dfs.permissions=>false, dfs.replication=>1
3):所有mapred-site.xml mapred.job.tracker=>192.168.1.109:9001
4):masters添加master的IP, slaves添加slave的IP
4: 需要去掉hadoop的安全模式 ./hadoop dsfadmin -safemode leave
最后查看 http://192.168.1.109:50030/jobtracker.jsp
4: HBase配置
1): hbase-site.xml
<configuration> <property>
<name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.1.10:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name> <value>192.168.1.9,192.168.1.17,192.168.1.18</value> </property>
</configuration>
hbase.zookeeper.quorum 的个数必须是奇数。
2): hbase-env.sh export HBASE_MANAGES_ZK=true
3): regionservers 添加DataNode的IP
4): 把 hadoop/下hadoop-core.jar代替原来的hbase/lib/下的hadoop-core-0.20-append-r1056497.jar
(解决错误 org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41) )
注意 :每个机器的hadoop,hbase存放的目录要一致
最后http://192.168.1.10:60010/master.jsp
分享到:
相关推荐
HBase2集群配置.pdf HBase2集群配置.pdf HBase2集群配置.pdf HBase2集群配置.pdf
HBase集群搭建
搭建hbase集群的详细操作;搭建hbase集群的详细操作;
hbase需要搭建集群,这里详细的介绍了集群的安装方式以及配置文件的一些修改
文档是我自己一步步完成实验写成的,给初学大数据的朋友共享一下希望能有所帮助
关于HBase集群监控在java代码中的实现操作,供大家参考
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
zookeeper+hbase集群搭建+搭建过程报错解决+原理,通俗易懂,详细配置注解!!!
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
一步一步教你在WINDOW CYGWIN下完成HBASE集群环境搭建。
2. JDK安装部署 3. Zookeeper安装部署 4. Nginx安装部署 5. Hadoop安装部署 6. HBase安装部署 7. MongoDB数据库安装部署; 8. ElasticSearch集群安装部署; 9. 应用服务器的安装及部署
-------hadoop配置--------- core-site.xml <name>fs.defaultFS <value>hdfs://slave-01:9000 <name>hadoop.tmp.dir <value>/root/hadoopv3/tmp hdfs-site.xml <name>dfs.replication <value>3 ...
hbase集群部署文档,附带简单基本命令、!!!!!!!
HBase集群环境搭建
新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档
大数据技术基础实验报告-HBase安装配置和应用实践
HBase集群环境安装
记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装,hbase动态添加删除节点,hbase集群正常状态及启动,hbase 问题汇总
高可用hbase安装,包括基本环境处理、安装zookeeper、安装hadoop、安装hbase整个过程