Pig Hive HBase Zookeeper安装和配置
evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_
hadoop@zqh:~$ cd /usr/local
hadoop@zqh:/usr/local$ sudo mkdir pig
hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/download
hadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz
hadoop@zqh:/home/zqhxuyuan/download$ sudo mv pig-0.10.0 /usr/local/pig/
hadoop@zqh:~$ sudo vi /etc/profile
export PIG_HOME=/usr/local/pig/pig-0.10.0
export PATH=$PATH:$PIG_HOME/bin
hadoop@zqh:~$ source /etc/profile
hadoop@zqh:~$ pig -x local 以本地模式启动pig,后面介绍和Hadoop一起使用
HBase,Zookeeper的安装和Pig的一样.解压,创建文件夹,配置文件...
export PIG_HOME=/usr/local/pig/pig-0.10.0
export HBASE_HOME=/usr/local/hbase/hbase-0.92.0
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.3.3
export PATH=$PATH:$PIG_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin
export PIG_HADOOP_VERSION=20 #指定pig连接的hadoop为0.20.x
export PIG_CLASSPATH=$HADOOP_HOME/conf
Pig+Hadoop模式运行max_temp.pig(Hadoop:The Definitive Guide)P371
1.编写pig脚本,注意LOAD的路径
max_temp.pig
LOAD 'micro-tab/sample.txt' --如果以Hadoop模式运行,这里的路径是HDFS中的相对路径
2.启动伪分布式Hadoop集群
hadoop@zqh:~$ cd /usr/local/hadoop/hadoop-0.20.2
hadoop@zqh:/usr/local/hadoop/hadoop-0.20.2$ bin/start-all.sh 启动hadoop
3.拷贝输入文件到HDFS分布式文件系统,注意要和pig脚本LOAD的文件路径要对应
hadoop@zqh:~$ hadoop dfs -put input/ncdc/micro-tab micro-tab
因为设置了HADOOP_HOME所以可以在任意目录下执行hadoop命令
input/ncdc/micro-tab是本地文件系统的文件夹, micro-tab是hadoop HDFS分布式文件系统. 为相对路径.
hadoop@zqh:~$ hadoop dfs -ls
/usr/hadoop/input
/usr/hadoop/output
/usr/hadoop/micro-tab 这就是我们刚刚上传的文件 绝对路径为: hdfs://localhost:9000/usr/hadoop/micro-tab
所以max_temp.pig LOAD的路径其实就是: hdfs://localhost:9000/usr/hadoop/micro-tab/sample.txt
4.hadoop模式运行pig脚本
pig max_temp.pig hadoop模式运行pig脚本
5.hadoop上查看运行情况
localhost:50030
在Completed Jobs中可以看到:
User Name Map Reduce...
hadoop PigLatin:max_temp.pig
localhost:50070
点击Browser the filesystem可以查看在HDFS上的文件系统
分享到:
相关推荐
分享一下Hadoop、HBase、Hive、Pig、Zookeeper相关资料。
NULL 博文链接:https://ainn2006.iteye.com/blog/1733917
hadoop,hbase,hdfs,pig,hive,zookeeper
一、 HBase技术介绍 ...此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
hadoop,hive,pig,zookeeper,hbase,hdfs
使用到的技术包括:hadoop,hive,hbase,pig,zookeeper,oozie,机器学习等等。 这个项目主要使用hadoop等技术,做一些我认为酷的事情。 项目中有详尽的中文注释,以便初学hadoop等知识的同学学习。
的查询,往往是要通过类似 Hive、Pig 等系统进行全表的 MapReduce 计算,这种方式既浪费 了机器的计算资源,又因高延迟使得应用黯然失色。于是,针对 HBase Secondary Indexing 的方案出现了。 Solr Solr 是一个...
CentOS 6.5 安装Ambari,Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...
ZooKeeper 顾名思义 动物园管理员,他是拿来管大象 (Hadoop) 、 蜜蜂 (Hive) 、 小猪 (Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。
ZooKeeper 就是动物园管理员的意思,它是用来管理 Hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,Apache Hbase、Apache Solr、Dubbo 都用到了 ZooKeeper,其实就是一个集群管理工具,是集群的入口。ZooKeeper...
Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并...
Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5...
Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5...
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。...此外,Hadoop还包括了Hive,Hbase,ZooKeeper,Pig,Avro,Sqoop,Flume,Mahout等项目。
Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件...此外,Hadoop还包括了Hive,Hbase,ZooKeeper,Pig,Avro,Sqoop,Flume,Mahout等项目。
Apache Ambari是一种基于...Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 本文档个人工作总结,描述如何部署、如何自定义服务、ambari基本架构等经验总结
, HCatalog, Pig, Hive, HBase, ZooKeeper and Ambari. Hortonworks is the major contributor of code and patches to many of these projects. These projects have been integrated and tested as part of the ...