昨天使用hbase的bulk load的时候,出现了以下异常:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2427)
at java.lang.Class.getMethod0(Class.java:2670)
at java.lang.Class.getMethod(Class.java:1603
这个异常也是比较常见的,是hadoop执行bulk load的时候找不到zookeeper的jar包,需要将zookeeper的jar放在$HADOOP_HOME/lib下。
可是zookeeper的jar包是在$HADOOP_HOME/lib下,并且前天在调用bulk load命令的时候,是没有任何问题的。
在服务器上执行hadoop命令的时候,发现调用的hadoop命令不是当前用户下安装的hadoop,这就是问题所在了,于是指定当前用户目录下的$HADOOP_HOME/bin/hadoop执行bulk load程序,一切正常。
呵呵,原来是环境变量改变了。
补充:
是环境变量的问题影响的,由于前两天一个同事在另一个用户下使用cloudera的安装程序安装了hadoop,将安装的hadoop命令放在
/usr/bin下了,检查了一下自己用户下的环境变量,看到PATH中/usr/bin在$HADOOP_HOME之前,这样执行hadoop命令,肯
定是先找到/usr/bin下的hadoop了,所以需要将当前用户下的环境变量修改一下,将$HADOOP_HOME提到/usr/bin之前。
分享到:
相关推荐
Spark跨集群bulk load(6-2)
博客配套文件,详细演示了如何通过MR程序的方式bulkload数据到hbase,代码可直接用于生产环境。
pg_bulkload是一种用于PostgreSQL的高速数据加载工具,相比copy命令。最大的优势就是速度。优势在让我们跳过shared buffer,wal buffer。直接写文件。pg_bulkload的direct模式就是这种思路来实现的,它还包含了数据...
pg_bulkload是用于PostgreSQL高速数据加载实用程序。 pg_bulkload旨在将大量数据加载到数据库中。 您可以绕过PostgreSQL共享缓冲区将数据加载到表中。 pg_bulkload还具有一些ETL功能; 输入数据验证和数据转换。 ---...
pg_bulkload:PostgreSQL高速数据加载实用程序
工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据 工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据
kettle快速加载到oracle之oracle批量加载-Oracle Bulk Loader
cassandra-bulkload-example 上海交通研究中心船舶数据 csv 生成批量加载代码示例 SSTable。生成 SSTables 跑步: $ ./gradlew run这将在data目录下生成 SSTable(s)。批量加载首先,使用schema.cql文件创建架构: $ ...
通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录 通过 WAL(使用 Put)将具有 PARQUET 格式的 hdfs 文件加载到 Hbase 的包。 该包基于仅使用 Mapper 加载表。 很快我将添加如何使用 reducer 以及使用 MR ...
ngraph-lmdb-bulkload ####node 插件,用于将节点和边到
hbase批量加载 从RCFile进行HBase批量加载的临时代码 这将使用LoadIncrementalFiles从HFileOutputFormat2中Mapreduce写入的数据中加载HBase表。
基于hadoop的,java实现hive快速导数据到Hbase解决方案。
NULL 博文链接:https://787141854-qq-com.iteye.com/blog/2067818
hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)
arcMap连接PostgreSQL用的,亲测可用。PostgreSQL版本:9.1
HBase批量加载 使用 MapReduce 作业从文本文件加载 HBase
java API实现hbase的bulkload,包含有hbase的工具类
bulkload方式从hive import hbase有现成的sql可以使用 如果输入是CSV文件或parquet文件,当然也可以先建立一个hive外部表,再从hive import到hbase 也可以通过编码的方式,通过bulkload生成hfile然后再合并到hbase ...
SQL SERVER BULK INSERT用法
bulk collect bulk collect bulk collect例子特殊应用