hbase启动时,有些regionserver起不来,
看了日志发现,应该是系统时间不同步导致。
于是把所有机器时间以master为标准同步。
之后启动正常。
时间校准的方法。
由于集群无法访问外网,不能internet,又因为懒得弄时间服务器,
机器不多,手工设置了下时间。
date --set "11/19/11 10:00:00" (月/日/年 时:分:秒)
regionserver的log中错误代码如下:
2011-11-19 08:58:46,453 DEBUG org.apache.hadoop.hbase.regionserver.PriorityCompactionQueue: Create PriorityCompactionQueue
2011-11-19 08:58:46,453 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Runs every 10000000ms
2011-11-19 08:58:46,469 INFO
org.apache.hadoop.hbase.regionserver.HRegionServer: Attempting connect
to Master server at baby6:60000
2011-11-19 08:58:46,781 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Master isn't available yet, retrying
2011-11-19 08:58:49,784 INFO
org.apache.hadoop.hbase.regionserver.HRegionServer: Attempting connect
to Master server at baby6:60000
2011-11-19 08:58:49,785 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Connected to master at baby6:60000
2011-11-19 08:58:49,805 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Telling master at baby6:60000 that we are up
2011-11-19 08:58:49,809 FATAL
org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected
startup because clock is out of sync
org.apache.hadoop.hbase.ClockOutOfSyncException:
org.apache.hadoop.hbase.ClockOutOfSyncException: Server
baby7,60020,1321664325801 has been rejected; Reported time is too far
out of sync with master. Time difference of 72256ms > max allowed of
30000ms
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:95)
at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:79)
at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:1557)
at org.apache.hadoop.hbase.regionserver.HRegionServer.tryReportForDuty(HRegionServer.java:1514)
at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:573)
at java.lang.Thread.run(Thread.java:619)
Caused by: org.apache.hadoop.ipc.RemoteException:
org.apache.hadoop.hbase.ClockOutOfSyncException: Server
baby7,60020,1321664325801 has been rejected; Reported time is too far
out of sync with master. Time difference of 72256ms > max allowed of
30000ms
at org.apache.hadoop.hbase.master.ServerManager.checkClockSkew(ServerManager.java:184)
at org.apache.hadoop.hbase.master.ServerManager.regionServerStartup(ServerManager.java:132)
at org.apache.hadoop.hbase.master.HMaster.regionServerStartup(HMaster.java:643)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)
at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:771)
at org.apache.hadoop.hbase.ipc.HBaseRPC$Invoker.invoke(HBaseRPC.java:257)
at $Proxy5.regionServerStartup(Unknown Source)
at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:1553)
... 3 more
分享到:
相关推荐
10、设置私钥并同步时间。 11、启动所有的hbase (1)、分别启动zk /home/zookeeper-xxx/bin/./zkServer.sh start (2)、启动hdfs集群 /root/hadoop/sbin/./start-dfs.sh (3)、启动hbase,在主节点...
【大数据技术主题论坛】奇虎360技术经理赵健博介绍目前360搜索、安全、监控等业务都使用了HBase集群,同时重点介绍了奇虎360近一年来结合业务对HBase作出的改进,如针对集群大、Region多致使启动时间过长进行的优化...
一. Cloudera Manager 4 二. 下载地址 4 三....四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 ...5. 启动service cloudera-scm-agent start 失败 42
Ambari Metrics ,Hbase rootdir路径问题 50 11.15.2. Atlas 51 12. Ambari集成ElasticSearch6.x 51 12.1. 通过SSH把源码传到centos机器上 51 12.2. 复制源码到Ambari 51 12.3. 编辑metainfo.xml文件 51 12.4. 启动/...
Apache Atlas编译时间太长,编译经常报错? 这里有一个编译成功的 apache-atlas-2.1.0-bin.tar.gz,内置Hbase和Solr, Centos7平台使用。 使用方法: 拷贝到Centos7系统下自定义的文件夹里 tar -zxvf apache-atlas-...
07_HBase Backup Masters配置、启动、测试 08_HBase 压缩配置测试 09_分布式集群搭建:大数据框架回顾说明 10_分布式集群搭建:集群环境说明及基本配置 11_分布式集群搭建:集群安装配置 12_分布式集群搭建:...
因为NameNode保存了整个HDFS的元数据信息,一旦NameNode挂掉,整个HDFS就无法访问,同时Hadoop生态系统中依赖于HDFS的各个组件,包括MapReduce、Hive、Pig以及HBase等也都无法正常工作,并且重新启动NameNode和进行...
Chronos依赖ZooKeeper实现与HBase类 似的Leader Election机制,ChronosServer启动时将自己的信息写到ZooKeeper的Master临时节点上,如果主服务器已经存在,那么就记 录到BackupServers节点上。一旦Master临时节点...
Snapp用户界面一个Web界面,用于查看随时间推移的照片系列。用法单击(或点击)图像的右/左一半转到下一个/上一个图像。安装与配置启动它git clone git@github....
EMR Launcher从Config S3存储桶中读取EMR群集配置文件,然后调用EMR服务的RunJobFlow API,这将导致启动Analytical Dataset Generator ( ADG )EMR群集 ADG Cluster配置为Ingest HBase EMR群集的只读副本; 在集群...
2.2.3 从数据库中拉数据技术点4 使用MapReduce 将数据导入数据库 技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出...
技术点44 提取并可视化任务执行时间 6.4 优化 . 6.4.1 剖析MapReduce 的用户代码 技术点45 剖析map 和reduce 任务 6.4.2 参数配置 6.4.3 优化 shuffle 和 sort 阶段 技术点46 避免reducer 技术点...
我们搞大数据开发,多数是集群环境,有大量的配置,有时一个环境问题花费大量时间排查,为了提升效率,开发了这套脚本。 这套脚本安装一个3台机器的zookeeper、kafka、storm、hadoop、elasticsearch、hbase、flink、...
31、任务增加超时时间,对超时任务kill datax进程,可配合重试策略避免网络问题导致的datax卡死。 32、添加项目管理模块,可对任务分类管理; 33、对RDBMS数据源增加批量任务创建功能,选择数据源,表即可根据模板...
在Hbase实现中,会在ZK上存储一些ROOT表的地址和HMaster的地址,HRegionServer也会把自己以临时节点(Ephemeral)的方式注册到Zookeeper中,使得HMaster可以随时感知到各个HRegionServer的存活状态,同时,一旦...
它提供a)通过HTTP实现创建服务合同(类似于JAX-RS,但具有强大的版本控制),b)自动状态/监视支持,c)包括JWT的安全支持的启动/ d)具有功能的对象映射存储系统,这些功能利用了HBase的面向列的特性。 该框架有...
a)它是 NameNode 的热备 b)它对内存没有要求 c)它的⽬的是帮助 NameNode 合并编辑⽇志,减少 NameNode 启动时间 d)SecondaryNameNode 应与 NameNode 部署到⼀个节点 答案 C。 1. 1. 下列哪项可以作为集群的管理? a...
快速启动 前言 自己很早就想搞一个总的仓库就是将自己平时遇到的和学习到的东西整合在一起,方便后面用的时候快速的查找与使用,之前是通过branch的方式去整理,感觉不直观,一咬牙就花了点时间将所有的分支整合在...