wingmzy
- 浏览: 13588 次
- 性别:
- 来自: 广州
-
最新评论
文章列表
http://hi.baidu.com/ops_bd/item/d133c06b50b746076995e611
hadoop hive hbase 生态系统整合
1 hive hbase 整合需要hive_hbase-handler.jar，目前的整合对版本搭配很敏感。
而我所使用的是 hadoop-0.20.2 + hive-0.6.0 + hbase-0.20.3
2 download hbase-0.20.3
tar hbase-0.20.3
3 config hbase-0.20.3
hbase-site.xml
<property>
<name>hbase.rootdir</name>
<val ...
http://www.hadoopor.com/thread-1677-1-3.html
sqoop 安装以及配置笔记
- 博客分类：
- sqoop 安装以及配置笔记
sqoop 安装以及配置笔记
1.下载 http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz
2.下载 http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz
3
tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz
tar -zxvf hadoop-0.20.2-CDH3B4.tar.gz
4. 复制3里hadoop-core-0.20.2-CDH3B4.jar到sqoop的lib下
5.在某处复制mysql-connector-jav ...
hive加载公用库当启动hive时自动把一下公用或常用的库加入环境，而不必每次都
add jar *.jar;
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/hive/lib/hive_contrib.jar,file:///usr/local/hive/lib/hive-json-serde.jar</value>
</property>
hadoop中的map-reduce是处理<key,value>这样的键值对，故指定<key,value>的分割符等参数可以分成三类：
map输出时分割符
分桶时的分隔符
reduce输出时的分割符
下面分别叙述：
1. map输出时分割符
参数：
stream.map.output.field. ...